Data & intelligence artificielle

🧪 Données Synthétiques & Distillation

Données d'Entraînement & Petits Modèles : Données Synthétiques & Distillation de LLM

Créez des petits modèles ultra-performants : génération de données d'entraînement synthétiques par LLM frontière, filtrage MinHash, distillation de connaissances (KD, CoT) et déploiement edge souverain.

  • 4 modules
  • 16 leçons
  • 4 h de contenu
  • Exercices Python exécutables
  • Évaluation finale
#Données Synthétiques#Model Collapse#Evol-Instruct#Distillation KD#Petits Modèles Spécialisés

Ce que vous allez apprendre

  • Pourquoi des données synthétiques : enjeux et risques
  • Génération, diversité et filtrage qualité
  • Distillation : du grand modèle au petit modèle
  • Évaluer et déployer un petit modèle spécialisé

Programme

4 modules · 16 leçons · 4 h de contenu

1Pourquoi des données synthétiques : enjeux et risques4 leçons · 1 h
  1. 1.1L'épuisement du web textuel public et le rôle des données générées
  2. 1.2Le risque d'effondrement de modèle (Model Collapse) et dérive de variance
  3. 1.3Économie comparée : coût d'annotation humaine vs coût de génération par IA
  4. 1.4Taxonomie des données synthétiques : dialogues, raisonnement, code, données tabulaires
2Génération, diversité et filtrage qualité4 leçons · 1 h
  1. 2.1Méthodologie Self-Instruct et UltraFeedback : amorçage à partir de graines (seeds)
  2. 2.2Maximiser la diversité : techniques Evol-Instruct et complexification automatique
  3. 2.3Pipelines de filtrage qualité : déduplication MinHash, perplexité et scoring de récompense
  4. 2.4Décontamination des jeux d'évaluation : détection d'overlap n-grammes et d'embeddings
3Distillation : du grand modèle au petit modèle4 leçons · 1 h
  1. 3.1Principes théoriques de la distillation de connaissances : divergence KL et Logits matching
  2. 3.2Distillation par séquence (Sequence-level KD) vs distillation au niveau des tokens
  3. 3.3Distillation de chaînes de pensée (Chain-of-Thought / Reasoning Distillation)
  4. 3.4Mise en œuvre pratique avec Hugging Face TRL et PyTorch
4Évaluer et déployer un petit modèle spécialisé4 leçons · 1 h
  1. 4.1Benchmarking rigoureux : comparaison du modèle distillé vs enseignant et modèle de base
  2. 4.2Analyse des cas de régression et oubli catastrophique (Catastrophic Forgetting)
  3. 4.3Quantification et optimisation pour le edge/mobile : compression post-distillation
  4. 4.4Étude de cas de production : distillation d'un modèle 70B vers un modèle 3B pour un domaine vertical

Comment se déroule la formation

À votre rythme

Des leçons courtes ; votre progression est enregistrée et vous reprenez là où vous vous êtes arrêté.

En pratiquant

Des exemples de code Python à modifier et exécuter dans le navigateur, sans rien installer.

Une validation

Une évaluation finale s'ouvre quand vous avez parcouru l'essentiel de la formation.

Dans le même domaine

  • Data & intelligence artificielle📊 Intermédiaire · Calcul Vectorisé

    Data Science avec NumPy & Pandas

    Calcul matriciel vectorisé, manipulation de DataFrames, séries temporelles et modélisation statistique avancée avec NumPy et Pandas.

    ▶ Exercices Python

    4 modules · 16 leçons · 8 h

    Voir le programme Accès sur attribution
  • Data & intelligence artificielle🤖 Avancé · Deep Learning & MLOps

    Intelligence artificielle avec Python

    Deep Learning avec PyTorch, réseaux convolutifs, Transformers pour le NLP, quantification et déploiement d'API d'inférence en production.

    ▶ Exercices Python

    4 modules · 16 leçons · 8 h

    Voir le programme Accès sur attribution
  • Data & intelligence artificielle🐘 Avancé · Architecture Interne & PostGIS

    PostgreSQL Avancé & Données Spatiales PostGIS

    Maîtrisez les rouages de PostgreSQL (MVCC, WAL, EXPLAIN ANALYZE), l'indexation avancée GIN et BRIN, l'extension spatiale PostGIS et le part…

    4 modules · 16 leçons · 8 h

    Voir le programme Accès sur attribution