Data & intelligence artificielle

⚙️ Avancé · Lakehouse, Spark & Airflow

Data Engineer & Pipelines de Données

Construisez des architectures Lakehouse résilientes : stockage colonnaire Parquet et Delta, traitement Spark, orchestration Airflow et gouvernance dbt.

  • 4 modules
  • 12 leçons
  • 6 h de contenu
  • Exercices Python exécutables
  • Évaluation finale
#Data Engineering#ETL ELT#Apache Airflow#Lakehouse Delta#Apache Spark#dbt Core

Ce que vous allez apprendre

  • Fondements du Data Engineering & Architecture des Données
  • Traitement Distribué avec Apache Spark
  • Orchestration de Flux avec Apache Airflow
  • Qualité des Données, CI/CD & Observabilité

Programme

4 modules · 12 leçons · 6 h de contenu

1Fondements du Data Engineering & Architecture des Données3 leçons · 1 h 30
  1. 1.1Paradigmes ETL vs ELT et formats de stockage colonnaires (Parquet, ORC, Avro)
  2. 1.2Architecture Medallion (Bronze, Silver, Gold) et patterns de Lakehouse
  3. 1.3Formats de tables modernes : Delta Lake, Apache Iceberg et garanties ACID
2Traitement Distribué avec Apache Spark3 leçons · 1 h 30
  1. 2.1Architecture interne de Spark : Driver, Executors, DAG et plan d'exécution
  2. 2.2Optimisation des shuffles, partitionnement, salting et broadcast joins
  3. 2.3Ingestion et traitement de flux temps réel avec Spark Structured Streaming
3Orchestration de Flux avec Apache Airflow3 leçons · 1 h 30
  1. 3.1Principes fondamentaux d'Airflow, DAGs en Python et TaskFlow API (@task)
  2. 3.2Conception de pipelines idempotents, gestion du backfilling et politiques de retry
  3. 3.3Synchronisation événementielle (Sensors), Triggers asynchrones et XComs
4Qualité des Données, CI/CD & Observabilité3 leçons · 1 h 30
  1. 4.1Validation automatisée de schémas et de données avec Great Expectations et dbt-test
  2. 4.2Industrialisation des transformations analytiques avec dbt (data build tool)
  3. 4.3Observabilité des données, traçabilité du lignage (Data Lineage) avec OpenLineage

Comment se déroule la formation

À votre rythme

Des leçons courtes ; votre progression est enregistrée et vous reprenez là où vous vous êtes arrêté.

En pratiquant

Des exemples de code Python à modifier et exécuter dans le navigateur, sans rien installer.

Une validation

Une évaluation finale s'ouvre quand vous avez parcouru l'essentiel de la formation.

Dans le même domaine

  • Data & intelligence artificielle📊 Intermédiaire · Calcul Vectorisé

    Data Science avec NumPy & Pandas

    Calcul matriciel vectorisé, manipulation de DataFrames, séries temporelles et modélisation statistique avancée avec NumPy et Pandas.

    ▶ Exercices Python

    4 modules · 16 leçons · 8 h

    Voir le programme Accès sur attribution
  • Data & intelligence artificielle🤖 Avancé · Deep Learning & MLOps

    Intelligence artificielle avec Python

    Deep Learning avec PyTorch, réseaux convolutifs, Transformers pour le NLP, quantification et déploiement d'API d'inférence en production.

    ▶ Exercices Python

    4 modules · 16 leçons · 8 h

    Voir le programme Accès sur attribution
  • Data & intelligence artificielle🐘 Avancé · Architecture Interne & PostGIS

    PostgreSQL Avancé & Données Spatiales PostGIS

    Maîtrisez les rouages de PostgreSQL (MVCC, WAL, EXPLAIN ANALYZE), l'indexation avancée GIN et BRIN, l'extension spatiale PostGIS et le part…

    4 modules · 16 leçons · 8 h

    Voir le programme Accès sur attribution