Data & intelligence artificielle

🔬 Interprétabilité Mécanistique & SAE

Ouvrir la Boîte Noire : Interprétabilité des LLM (Probing, SAE & Circuits)

Pénétrez à l'intérieur des représentations internes des Transformers : hypothèse de la représentation linéaire, sondes linéaires, autoencodeurs parcimonieux (SAE), analyse de circuits et steering vectors.

  • 4 modules
  • 16 leçons
  • 4 h de contenu
  • Exercices Python exécutables
  • Évaluation finale
#Interprétabilité LLM#Sondes Linéaires#Sparse Autoencoders SAE#Activation Patching#Steering Vectors

Ce que vous allez apprendre

  • Représentations internes et hypothèse linéaire
  • Probing et attribution
  • Autoencodeurs parcimonieux (SAE) et features
  • Circuits, steering et enjeux de sûreté

Programme

4 modules · 16 leçons · 4 h de contenu

1Représentations internes et hypothèse linéaire4 leçons · 1 h
  1. 1.1L'espace des activations : géométrie des états cachés d'un Transformer
  2. 1.2L'hypothèse de la représentation linéaire (Linear Representation Hypothesis)
  3. 1.3Le problème de la superposition : comment les modèles stockent plus de concepts que de dimensions
  4. 1.4Extraction des états cachés avec PyTorch : hooks d'activation et tensors
2Probing et attribution4 leçons · 1 h
  1. 2.1Sondes linéaires (Linear Probes) : principes mathématiques et régularisation L2
  2. 2.2Entraînement d'une sonde de classification (détection de vérité, concepts syntaxiques)
  3. 2.3Les pièges du probing : mémorisation de la sonde vs véritable connaissance du modèle
  4. 2.4Méthodes d'attribution par gradient : Integrated Gradients et patch d'activation (Activation Patching)
3Autoencodeurs parcimonieux (SAE) et features4 leçons · 1 h
  1. 3.1Pourquoi les neurones individuels sont polyémantiques
  2. 3.2Architecture des Sparse Autoencoders (SAE) : dictionnaire surcomplet et pénalité L1
  3. 3.3Entraînement d'un SAE avec PyTorch : reconstruction d'activations et sparsity (L0 norm)
  4. 3.4Extraction et interprétation des caractéristiques (features) monémantiques
4Circuits, steering et enjeux de sûreté4 leçons · 1 h
  1. 4.1Analyse de circuits mécanistiques : têtes d'induction (Induction Heads) et propagation de signaux
  2. 4.2Activation Addition et Steering Vectors : piloter le comportement du LLM sans fine-tuning
  3. 4.3Détection des tromperies (Sycophancy, Deception) et concepts dangereux
  4. 4.4L'interprétabilité mécanistique comme pilier de l'alignement et de la sûreté de l'IA

Comment se déroule la formation

À votre rythme

Des leçons courtes ; votre progression est enregistrée et vous reprenez là où vous vous êtes arrêté.

En pratiquant

Des exemples de code Python à modifier et exécuter dans le navigateur, sans rien installer.

Une validation

Une évaluation finale s'ouvre quand vous avez parcouru l'essentiel de la formation.

Dans le même domaine

  • Data & intelligence artificielle📊 Intermédiaire · Calcul Vectorisé

    Data Science avec NumPy & Pandas

    Calcul matriciel vectorisé, manipulation de DataFrames, séries temporelles et modélisation statistique avancée avec NumPy et Pandas.

    ▶ Exercices Python

    4 modules · 16 leçons · 8 h

    Voir le programme Accès sur attribution
  • Data & intelligence artificielle🤖 Avancé · Deep Learning & MLOps

    Intelligence artificielle avec Python

    Deep Learning avec PyTorch, réseaux convolutifs, Transformers pour le NLP, quantification et déploiement d'API d'inférence en production.

    ▶ Exercices Python

    4 modules · 16 leçons · 8 h

    Voir le programme Accès sur attribution
  • Data & intelligence artificielle🐘 Avancé · Architecture Interne & PostGIS

    PostgreSQL Avancé & Données Spatiales PostGIS

    Maîtrisez les rouages de PostgreSQL (MVCC, WAL, EXPLAIN ANALYZE), l'indexation avancée GIN et BRIN, l'extension spatiale PostGIS et le part…

    4 modules · 16 leçons · 8 h

    Voir le programme Accès sur attribution