Data & intelligence artificielle

🧬 Architecture GPT de Zéro

Comprendre les LLM de l'intérieur : Construire un GPT de zéro avec PyTorch

Construisez un GPT complet de zéro avec PyTorch : tokenisation BPE, embeddings, attention multi-têtes causale, boucles d'entraînement, calcul de perplexité et lois d'échelle de Chinchilla.

  • 5 modules
  • 20 leçons
  • 5 h de contenu
  • Exercices Python exécutables
  • Évaluation finale
#LLM PyTorch#Attention Multi-Têtes#Tokenisation BPE#Entraînement GPT#Scaling Laws

Ce que vous allez apprendre

  • Du texte aux tokens : tokenisation BPE et vocabulaire
  • Embeddings, encodage positionnel et attention
  • Architecture Transformer décodeur (GPT)
  • Entraînement, perte, optimisation et génération
  • Lois d'échelle, pré-entraînement et limites

Programme

5 modules · 20 leçons · 5 h de contenu

1Du texte aux tokens : tokenisation BPE et vocabulaire4 leçons · 1 h
  1. 1.1Du texte brut aux IDs : vocabulaires, tokens spéciaux et dictionnaires
  2. 1.2Algorithme Byte Pair Encoding (BPE) pas à pas et fusion de paires
  3. 1.3Entraîner un tokeniseur BPE personnalisé avec SentencePiece / Tiktoken
  4. 1.4Gestion des tokens inconnus, padding et limites de longueur
2Embeddings, encodage positionnel et attention4 leçons · 1 h
  1. 2.1Plongements lexicaux (Token Embeddings) et projection matricielle
  2. 2.2Encodage positionnel : appris vs sinusoïdal vs RoPE
  3. 2.3Attention produit scalaire scalé (Scaled Dot-Product Attention)
  4. 2.4Multi-Head Attention et masquage causal décodeur
3Architecture Transformer décodeur (GPT)4 leçons · 1 h
  1. 3.1Normalisation de couche : LayerNorm vs RMSNorm et connexions résiduelles
  2. 3.2Réseau Feed-Forward (FFN), activations GeLU et SwiGLU
  3. 3.3Assemblage du bloc Transformer décodeur complet
  4. 3.4Architecture finale du mini-GPT : empilement de blocs et tête LM
4Entraînement, perte, optimisation et génération4 leçons · 1 h
  1. 4.1Fonction de perte : entropie croisée et masquage des cibles
  2. 4.2Optimisation avec AdamW, scheduler cosinus et gradient clipping
  3. 4.3Boucle d'entraînement en mini-batchs et calcul du perplexité
  4. 4.4Stratégies de décodage : greedy, température, top-k et top-p (nucleus)
5Lois d'échelle, pré-entraînement et limites4 leçons · 1 h
  1. 5.1Lois d'échelle de Chinchilla : paramètres, tokens et budget compute
  2. 5.2Préparation de données à grande échelle (FineWeb, RefinedWeb)
  3. 5.3Stabilité numérique, fp16/bf16 et gestion de la mémoire GPU
  4. 5.4Limites architecturales des Transformers et perspectives (Mamba, SSM)

Comment se déroule la formation

À votre rythme

Des leçons courtes ; votre progression est enregistrée et vous reprenez là où vous vous êtes arrêté.

En pratiquant

Des exemples de code Python à modifier et exécuter dans le navigateur, sans rien installer.

Une validation

Une évaluation finale s'ouvre quand vous avez parcouru l'essentiel de la formation.

Dans le même domaine

  • Data & intelligence artificielle📊 Intermédiaire · Calcul Vectorisé

    Data Science avec NumPy & Pandas

    Calcul matriciel vectorisé, manipulation de DataFrames, séries temporelles et modélisation statistique avancée avec NumPy et Pandas.

    ▶ Exercices Python

    4 modules · 16 leçons · 8 h

    Voir le programme Accès sur attribution
  • Data & intelligence artificielle🤖 Avancé · Deep Learning & MLOps

    Intelligence artificielle avec Python

    Deep Learning avec PyTorch, réseaux convolutifs, Transformers pour le NLP, quantification et déploiement d'API d'inférence en production.

    ▶ Exercices Python

    4 modules · 16 leçons · 8 h

    Voir le programme Accès sur attribution
  • Data & intelligence artificielle🐘 Avancé · Architecture Interne & PostGIS

    PostgreSQL Avancé & Données Spatiales PostGIS

    Maîtrisez les rouages de PostgreSQL (MVCC, WAL, EXPLAIN ANALYZE), l'indexation avancée GIN et BRIN, l'extension spatiale PostGIS et le part…

    4 modules · 16 leçons · 8 h

    Voir le programme Accès sur attribution