Data & intelligence artificielle

⚡ Serving Haute Performance & Local

LLM Rapides, Locaux & Économes : Inférence Optimisée & LLM en Local (vLLM, llama.cpp, Ollama)

Optimisez et servez vos modèles en local : mécanique de la phase Prefill vs Decode, KV cache et PagedAttention, quantification INT4/INT8, batching continu vLLM et orchestration sur matériel local.

  • 4 modules
  • 16 leçons
  • 4 h de contenu
  • Exercices Python exécutables
  • Évaluation finale
#Inférence LLM#vLLM PagedAttention#Quantification GGUF AWQ#llama.cpp#Ollama Local

Ce que vous allez apprendre

  • Anatomie de l'inférence : prefill, decode, KV cache
  • Quantification et formats (GGUF, AWQ, GPTQ)
  • Serving haute performance : vLLM et batching continu
  • LLM en local : Ollama, llama.cpp, coûts et matériel

Programme

4 modules · 16 leçons · 4 h de contenu

1Anatomie de l'inférence : prefill, decode, KV cache4 leçons · 1 h
  1. 1.1Les deux phases de l'inférence autoregressive : Prefill (Compute-Bound) et Decode (Memory-Bound)
  2. 1.2Le mécanisme du KV Cache : principe, consommation mémoire et dimensionnement
  3. 1.3FlashAttention et PagedAttention : supprimer la fragmentation de mémoire vidéo
  4. 1.4Décodage spéculatif (Speculative Decoding) : accélérer avec un petit modèle d'ébauche
2Quantification et formats (GGUF, AWQ, GPTQ)4 leçons · 1 h
  1. 2.1Théorie de la quantification post-entraînement : passage de FP16 à INT8 et INT4
  2. 2.2Quantification par poids seuls (AWQ, GPTQ) vs quantification poids-activations
  3. 2.3Le format GGUF et l'écosystème GGML pour l'exécution CPU et GPU unifié
  4. 2.4Impact sur la perplexité et choix du niveau de quantification adapté (Q4_K_M vs Q8_0)
3Serving haute performance : vLLM et batching continu4 leçons · 1 h
  1. 3.1Architecture du moteur de serving vLLM : allocation de blocs de mémoire paginée
  2. 3.2Continuous Batching (Itération-level batching) vs batching statique traditionnel
  3. 3.3Mise en place d'un serveur d'inférence compatible OpenAI avec vLLM
  4. 3.4Benchmarking de débit (Tokens/sec), latence TTFT (Time to First Token) et ITL
4LLM en local : Ollama, llama.cpp, coûts et matériel4 leçons · 1 h
  1. 4.1Prise en main d'Ollama : gestion des Modelfiles, téléchargement et API locale
  2. 4.2Compilation et utilisation avancée de llama.cpp sur CPU et Apple Silicon (Metal)
  3. 4.3Dimensionnement matériel : choix CPU, GPU, VRAM unifiée et calcul du coût par million de tokens
  4. 4.4Sécurisation et intégration d'un LLM local dans une application d'entreprise

Comment se déroule la formation

À votre rythme

Des leçons courtes ; votre progression est enregistrée et vous reprenez là où vous vous êtes arrêté.

En pratiquant

Des exemples de code Python à modifier et exécuter dans le navigateur, sans rien installer.

Une validation

Une évaluation finale s'ouvre quand vous avez parcouru l'essentiel de la formation.

Dans le même domaine

  • Data & intelligence artificielle📊 Intermédiaire · Calcul Vectorisé

    Data Science avec NumPy & Pandas

    Calcul matriciel vectorisé, manipulation de DataFrames, séries temporelles et modélisation statistique avancée avec NumPy et Pandas.

    ▶ Exercices Python

    4 modules · 16 leçons · 8 h

    Voir le programme Accès sur attribution
  • Data & intelligence artificielle🤖 Avancé · Deep Learning & MLOps

    Intelligence artificielle avec Python

    Deep Learning avec PyTorch, réseaux convolutifs, Transformers pour le NLP, quantification et déploiement d'API d'inférence en production.

    ▶ Exercices Python

    4 modules · 16 leçons · 8 h

    Voir le programme Accès sur attribution
  • Data & intelligence artificielle🐘 Avancé · Architecture Interne & PostGIS

    PostgreSQL Avancé & Données Spatiales PostGIS

    Maîtrisez les rouages de PostgreSQL (MVCC, WAL, EXPLAIN ANALYZE), l'indexation avancée GIN et BRIN, l'extension spatiale PostGIS et le part…

    4 modules · 16 leçons · 8 h

    Voir le programme Accès sur attribution