Data & intelligence artificielle

⚡ LLMs de Production & QLoRA

LLMOps, Fine-Tuning & Quantization de Modèles Génératifs

Cycle de vie des LLMs en production : attention multi-têtes, fine-tuning frugal par paramètres (PEFT/QLoRA), alignement DPO et serving vLLM.

  • 4 modules
  • 16 leçons
  • 4 h de contenu
  • Exercices Python exécutables
  • Évaluation finale
#LLMOps Maroc#Fine-Tuning QLoRA#Quantization GGUF#vLLM Inférence#IA Générative

Ce que vous allez apprendre

  • Architecture des Transformers & Mécanismes d'Attention
  • Techniques de Fine-Tuning efficace (PEFT, QLoRA)
  • Alignement (DPO/RLHF) & Quantization (GGUF, AWQ)
  • Inférence haute performance avec vLLM & Ollama & Projet Pratique

Programme

4 modules · 16 leçons · 4 h de contenu

1Architecture des Transformers & Mécanismes d'Attention4 leçons · 1 h
  1. 1.1Mécanisme d'attention scaled dot-product et Multi-Head Attention
  2. 1.2Décodeurs autorégressifs, masquage causal et Rotary Positional Embeddings (RoPE)
  3. 1.3FlashAttention, KV-Cache et gestion de la mémoire GPU lors de la génération
  4. 1.4Tokenisation avancée (BPE, SentencePiece) et formats de prompts structurés
2Techniques de Fine-Tuning efficace (PEFT, QLoRA)4 leçons · 1 h
  1. 2.1Limites du Full Fine-Tuning et principes du Parameter-Efficient Fine-Tuning (PEFT)
  2. 2.2Low-Rank Adaptation (LoRA) : décomposition matricielle W + B · A
  3. 2.3QLoRA : Quantification 4-bit NormalFloat (NF4), double quantification et paged optimizers
  4. 2.4Pipeline d'entraînement Hugging Face TRL (SFTTrainer) et gestion des datasets
3Alignement (DPO/RLHF) & Quantization (GGUF, AWQ)4 leçons · 1 h
  1. 3.1Principes de l'alignement : RLHF avec modèle de récompense PPO vs DPO direct
  2. 3.2Direct Preference Optimization (DPO) : formulation mathématique et mise en œuvre
  3. 3.3Formats et algorithmes de quantization : GGUF pour CPU/Metal et AWQ/GPTQ pour GPU
  4. 3.4Évaluation automatique des LLMs : perplexité, benchmarks MMLU et LLM-as-a-Judge
4Inférence haute performance avec vLLM & Ollama & Projet Pratique4 leçons · 1 h
  1. 4.1PagedAttention et architecture du moteur d'inférence vLLM
  2. 4.2Continuous Batching, spéculation de tokens et parallélisme tensoriel
  3. 4.3Déploiement local et conteneurisé avec Ollama et OpenAI-compatible APIs
  4. 4.4Projet Pratique : Fine-tuning d'un LLM open-source et déploiement vLLM

Comment se déroule la formation

À votre rythme

Des leçons courtes ; votre progression est enregistrée et vous reprenez là où vous vous êtes arrêté.

En pratiquant

Des exemples de code Python à modifier et exécuter dans le navigateur, sans rien installer.

Une validation

Une évaluation finale s'ouvre quand vous avez parcouru l'essentiel de la formation.

Dans le même domaine

  • Data & intelligence artificielle📊 Intermédiaire · Calcul Vectorisé

    Data Science avec NumPy & Pandas

    Calcul matriciel vectorisé, manipulation de DataFrames, séries temporelles et modélisation statistique avancée avec NumPy et Pandas.

    ▶ Exercices Python

    4 modules · 16 leçons · 8 h

    Voir le programme Accès sur attribution
  • Data & intelligence artificielle🤖 Avancé · Deep Learning & MLOps

    Intelligence artificielle avec Python

    Deep Learning avec PyTorch, réseaux convolutifs, Transformers pour le NLP, quantification et déploiement d'API d'inférence en production.

    ▶ Exercices Python

    4 modules · 16 leçons · 8 h

    Voir le programme Accès sur attribution
  • Data & intelligence artificielle🐘 Avancé · Architecture Interne & PostGIS

    PostgreSQL Avancé & Données Spatiales PostGIS

    Maîtrisez les rouages de PostgreSQL (MVCC, WAL, EXPLAIN ANALYZE), l'indexation avancée GIN et BRIN, l'extension spatiale PostGIS et le part…

    4 modules · 16 leçons · 8 h

    Voir le programme Accès sur attribution