Data & intelligence artificielle

🎯 Alignement Avancé RLHF & DPO

RLHF, DPO & IA Constitutionnelle : Alignement & Post-Entraînement des LLM

Maîtrisez le pipeline de post-entraînement moderne : fine-tuning supervisé (SFT), modèles de récompense, RLHF avec PPO, DPO, GRPO et principes d'IA constitutionnelle pour aligner les modèles.

  • 5 modules
  • 20 leçons
  • 5 h de contenu
  • Exercices Python exécutables
  • Évaluation finale
#Post-Training LLM#RLHF PPO#Direct Preference Optimization#GRPO DeepSeek#IA Constitutionnelle

Ce que vous allez apprendre

  • Du modèle pré-entraîné à l'assistant : SFT
  • Données de préférences et modèles de récompense
  • RLHF et optimisation PPO
  • DPO, GRPO et récompenses vérifiables
  • IA constitutionnelle et évaluation de l'alignement

Programme

5 modules · 20 leçons · 5 h de contenu

1Du modèle pré-entraîné à l'assistant : SFT4 leçons · 1 h
  1. 1.1Le pipeline moderne de post-entraînement : du modèle brut (Base) à l'instruct (Chat)
  2. 1.2Fine-Tuning Supervisé (SFT) : formats de conversations (ChatML, ShareGPT)
  3. 1.3Sélection et curation des données d'instructions : qualité vs volume (LIMA)
  4. 1.4Masquage de la perte (Loss Masking) sur les tokens utilisateur vs assistant
2Données de préférences et modèles de récompense4 leçons · 1 h
  1. 2.1Pourquoi la supervision simple ne suffit pas : la modélisation des préférences humaines
  2. 2.2Constitution de jeux de données appariés (Chosen vs Rejected)
  3. 2.3Architecture et entraînement d'un Reward Model (RM) avec la fonction de perte Bradley-Terry
  4. 2.4Pièges du Reward Hacking et dérives d'optimisation
3RLHF et optimisation PPO4 leçons · 1 h
  1. 3.1Formulation de l'alignement comme un problème d'apprentissage par renforcement
  2. 3.2Algorithme PPO (Proximal Policy Optimization) appliqué aux LLM
  3. 3.3Régularisation par divergence KL pour éviter l'effondrement de la politique
  4. 3.4Architecture d'entraînement distribuée (Acteur, Critique, Référence, Récompense)
4DPO, GRPO et récompenses vérifiables4 leçons · 1 h
  1. 4.1Direct Preference Optimization (DPO) : éliminer le modèle de récompense explicite
  2. 4.2Dérivation mathématique et fonction de perte implicite de DPO
  3. 4.3Group Relative Policy Optimization (GRPO) : l'approche DeepSeek-R1 sans critique
  4. 4.4Entraînement sur récompenses vérifiables : code, mathématiques et tests unitaires
5IA constitutionnelle et évaluation de l'alignement4 leçons · 1 h
  1. 5.1Principes de l'IA Constitutionnelle (RLAIF) : auto-critique guidée par des principes
  2. 5.2Rédaction de chartes constitutionnelles et génération de données synthétiques d'alignement
  3. 5.3Évaluation de l'alignement : compromis Helpfulness vs Harmlessness vs Honesty (HHH)
  4. 5.4Phénomène de taxe d'alignement (Alignment Tax) et préservation des capacités cognitives

Comment se déroule la formation

À votre rythme

Des leçons courtes ; votre progression est enregistrée et vous reprenez là où vous vous êtes arrêté.

En pratiquant

Des exemples de code Python à modifier et exécuter dans le navigateur, sans rien installer.

Une validation

Une évaluation finale s'ouvre quand vous avez parcouru l'essentiel de la formation.

Dans le même domaine

  • Data & intelligence artificielle📊 Intermédiaire · Calcul Vectorisé

    Data Science avec NumPy & Pandas

    Calcul matriciel vectorisé, manipulation de DataFrames, séries temporelles et modélisation statistique avancée avec NumPy et Pandas.

    ▶ Exercices Python

    4 modules · 16 leçons · 8 h

    Voir le programme Accès sur attribution
  • Data & intelligence artificielle🤖 Avancé · Deep Learning & MLOps

    Intelligence artificielle avec Python

    Deep Learning avec PyTorch, réseaux convolutifs, Transformers pour le NLP, quantification et déploiement d'API d'inférence en production.

    ▶ Exercices Python

    4 modules · 16 leçons · 8 h

    Voir le programme Accès sur attribution
  • Data & intelligence artificielle🐘 Avancé · Architecture Interne & PostGIS

    PostgreSQL Avancé & Données Spatiales PostGIS

    Maîtrisez les rouages de PostgreSQL (MVCC, WAL, EXPLAIN ANALYZE), l'indexation avancée GIN et BRIN, l'extension spatiale PostGIS et le part…

    4 modules · 16 leçons · 8 h

    Voir le programme Accès sur attribution