Data & intelligence artificielle

📏 Évaluation LLM & Benchmarks Pro

Mesurer la qualité des modèles : Évaluation des LLM (benchmarks, LLM-as-judge & tests)

Mesurez rigoureusement la qualité des modèles : benchmarks publics, métriques n-grammes vs sémantiques, méthodologie LLM-as-a-Judge, détection d'hallucinations et suivi en production.

  • 4 modules
  • 16 leçons
  • 4 h de contenu
  • Exercices Python exécutables
  • Évaluation finale
#Évaluation LLM#LLM-as-a-Judge#Benchmarks MMLU GSM8k#Détection Hallucinations#CI/CD Régression LLM

Ce que vous allez apprendre

  • Pourquoi évaluer : métriques classiques et limites
  • Benchmarks publics et contamination des données
  • Évaluations sur mesure et LLM-as-judge
  • Hallucinations, régression et suivi en production

Programme

4 modules · 16 leçons · 4 h de contenu

1Pourquoi évaluer : métriques classiques et limites4 leçons · 1 h
  1. 1.1Les défis uniques de l'évaluation des modèles de langage génératifs
  2. 1.2Métriques n-grammes : BLEU, ROUGE, METEOR et leurs angles morts
  3. 1.3Similarités sémantiques basées sur embeddings (BERTScore)
  4. 1.4Exact Match, F1-Score et précision lexicale sur données tabulaires
2Benchmarks publics et contamination des données4 leçons · 1 h
  1. 2.1Grands benchmarks standardisés : MMLU, GSM8k, HumanEval, ARC
  2. 2.2Leaderboards publics (HuggingFace Open LLM, LMSYS Chatbot Arena)
  3. 2.3Phénomène de contamination des données (Data Contamination) et détection
  4. 2.4Biais des benchmarks fermés et saturation des scores
3Évaluations sur mesure et LLM-as-judge4 leçons · 1 h
  1. 3.1Création d'un jeu de données d'évaluation aligné sur votre cas métier
  2. 3.2Le patron LLM-as-a-Judge : prompts d'évaluation, grilles et scoring
  3. 3.3Atténuer les biais du LLM-juge : position bias, verbosity bias, self-enhancement
  4. 3.4Évaluation pairwise vs notation absolue et calibration statistique
4Hallucinations, régression et suivi en production4 leçons · 1 h
  1. 4.1Mesure et classification des hallucinations (Faithfulness, Factual Recall)
  2. 4.2Métriques RAG : fidélité au contexte, pertinence des réponses et rappel (Ragas)
  3. 4.3Tests de régression continus et intégration dans la CI/CD logicielle
  4. 4.4Monitoring temps réel en production et détection de dérive (Prompt Drift)

Comment se déroule la formation

À votre rythme

Des leçons courtes ; votre progression est enregistrée et vous reprenez là où vous vous êtes arrêté.

En pratiquant

Des exemples de code Python à modifier et exécuter dans le navigateur, sans rien installer.

Une validation

Une évaluation finale s'ouvre quand vous avez parcouru l'essentiel de la formation.

Dans le même domaine

  • Data & intelligence artificielle📊 Intermédiaire · Calcul Vectorisé

    Data Science avec NumPy & Pandas

    Calcul matriciel vectorisé, manipulation de DataFrames, séries temporelles et modélisation statistique avancée avec NumPy et Pandas.

    ▶ Exercices Python

    4 modules · 16 leçons · 8 h

    Voir le programme Accès sur attribution
  • Data & intelligence artificielle🤖 Avancé · Deep Learning & MLOps

    Intelligence artificielle avec Python

    Deep Learning avec PyTorch, réseaux convolutifs, Transformers pour le NLP, quantification et déploiement d'API d'inférence en production.

    ▶ Exercices Python

    4 modules · 16 leçons · 8 h

    Voir le programme Accès sur attribution
  • Data & intelligence artificielle🐘 Avancé · Architecture Interne & PostGIS

    PostgreSQL Avancé & Données Spatiales PostGIS

    Maîtrisez les rouages de PostgreSQL (MVCC, WAL, EXPLAIN ANALYZE), l'indexation avancée GIN et BRIN, l'extension spatiale PostGIS et le part…

    4 modules · 16 leçons · 8 h

    Voir le programme Accès sur attribution