Data & intelligence artificielle

👁️ Vision, Audio Whisper & OCR Document

Texte, Image, Audio & Documents : LLM Multimodaux (Vision, Parole & Documents)

Concevez des pipelines multimodaux de bout en bout : architectures vision-langage (CLIP, SigLIP), transcription et synthèse vocale avec Whisper, et extraction structurée de documents scannés complexes.

  • 4 modules
  • 16 leçons
  • 4 h de contenu
  • Exercices Python exécutables
  • Évaluation finale
#LLM Multimodal#Vision-Language Models#Whisper Audio#ColPali Document Retrieval#VQA

Ce que vous allez apprendre

  • Architectures multimodales : encodeurs et projection
  • Vision-langage : description, VQA, analyse d'images
  • Parole : Whisper, synthèse vocale et assistants vocaux
  • Documents : OCR, tableaux, formulaires et factures

Programme

4 modules · 16 leçons · 4 h de contenu

1Architectures multimodales : encodeurs et projection4 leçons · 1 h
  1. 1.1Principe des modèles multimodaux unifiés : alignement d'espaces sémantiques hétérogènes
  2. 1.2Encodeurs visuels (Vision Transformers / CLIP) et extraction de patchs visuels
  3. 1.3Couches de projection et adaptateurs : MLP projecteurs, Q-Former et cross-attention
  4. 1.4Modèles pionniers et actuels : LLaVA, Pixtral, Qwen2-VL
2Vision-langage : description, VQA, analyse d'images4 leçons · 1 h
  1. 2.1Description détaillée d'images (Image Captioning) et détection d'objets guidée par prompt
  2. 2.2Visual Question Answering (VQA) et raisonnement visuel pas-à-pas
  3. 2.3Localisation et coordonnées normalisées (Grounding & Bounding Boxes)
  4. 2.4Hallucinations visuelles dans les VLM et techniques d'atténuation
3Parole : Whisper, synthèse vocale et assistants vocaux4 leçons · 1 h
  1. 3.1Architecture du modèle OpenAI Whisper : encodeur Mel-spectrogramme et décodeur texte
  2. 3.2Transcription robuste, horodatage au mot près et gestion multilingue avec faster-whisper
  3. 3.3Synthèse vocale neuronale (TTS) et clonage vocal moderne
  4. 3.4Construction d'un assistant vocal temps réel de bout en bout (Speech-to-Speech)
4Documents : OCR, tableaux, formulaires et factures4 leçons · 1 h
  1. 4.1Traitement intelligent de documents (IDP) : limitations de l'OCR traditionnel
  2. 4.2Extraction de structures complexes : tableaux fusionnés, formulaires et reçus
  3. 4.3Parsing de PDF vectoriels vs documents scannés basse résolution
  4. 4.4Construction d'un pipeline d'extraction de factures vers JSON typé Pydantic

Comment se déroule la formation

À votre rythme

Des leçons courtes ; votre progression est enregistrée et vous reprenez là où vous vous êtes arrêté.

En pratiquant

Des exemples de code Python à modifier et exécuter dans le navigateur, sans rien installer.

Une validation

Une évaluation finale s'ouvre quand vous avez parcouru l'essentiel de la formation.

Dans le même domaine

  • Data & intelligence artificielle📊 Intermédiaire · Calcul Vectorisé

    Data Science avec NumPy & Pandas

    Calcul matriciel vectorisé, manipulation de DataFrames, séries temporelles et modélisation statistique avancée avec NumPy et Pandas.

    ▶ Exercices Python

    4 modules · 16 leçons · 8 h

    Voir le programme Accès sur attribution
  • Data & intelligence artificielle🤖 Avancé · Deep Learning & MLOps

    Intelligence artificielle avec Python

    Deep Learning avec PyTorch, réseaux convolutifs, Transformers pour le NLP, quantification et déploiement d'API d'inférence en production.

    ▶ Exercices Python

    4 modules · 16 leçons · 8 h

    Voir le programme Accès sur attribution
  • Data & intelligence artificielle🐘 Avancé · Architecture Interne & PostGIS

    PostgreSQL Avancé & Données Spatiales PostGIS

    Maîtrisez les rouages de PostgreSQL (MVCC, WAL, EXPLAIN ANALYZE), l'indexation avancée GIN et BRIN, l'extension spatiale PostGIS et le part…

    4 modules · 16 leçons · 8 h

    Voir le programme Accès sur attribution