⚡ Expert · Calcul Distribué Spark & Kafka

Big Data & Traitement Distribué avec Spark et Kafka

Maîtrisez le calcul massivement parallèle avec Apache Spark (PySpark), les flux temps réel avec Apache Kafka et le streaming continu.

#Big Data#Apache Spark#Apache Kafka#PySpark Streaming#Calcul Distribué#KRaft Cluster

Ce que vous allez apprendre

4 modules · 16 leçons · 8 h de contenu

1Écosystème Big Data & Fondations de PySpark4 leçons · 2 h

1.1Limites des approches monolithiques en mémoire (Pandas) et principe de distribution horizontale (Scale-Out)
1.2Architecture Spark : Driver, Cluster Manager, Executors, partitions de données et plan d'exécution DAG
1.3Concept des RDD (Resilient Distributed Datasets) : transformations paresseuses (lazy evaluation) et actions
1.4Session Spark, chargement de volumétries massives et types de fichiers orientés colonnes (Parquet, ORC)

2Traitement par lots (Batch) avec Spark SQL & DataFrames4 leçons · 2 h

2.1Manipulation de Spark DataFrames : filtrage, sélection, création de colonnes dérivées avec pyspark.sql.functions
2.2Opérations de regroupement et agrégations distribuées sur des millions d'enregistrements
2.3Optimisation des jointures distribuées : Broadcast Joins vs Shuffle Hash Joins et impact sur le réseau
2.4Optimiseur Catalyst, plan logique/physique et mise en cache stratégique (cache(), persist())

3Architecture de messagerie distribuée avec Apache Kafka4 leçons · 2 h

3.1Paradigme Publish/Subscribe vs journal de commit distribué (Distributed Commit Log)
3.2Composants Kafka : Clusters, Brokers, Topics, Partitions, Facteur de réplication et décalage (Offset)
3.3Producteurs (Producers) : clés de partitionnement, garanties de livraison (At-least-once, Exactly-once)
3.4Groupes de consommateurs (Consumer Groups), rééquilibrage automatique (Rebalancing) et parallélisme d'ingestion

4Traitement de flux en continu (Spark Structured Streaming)4 leçons · 2 h

4.1Modèle unifié de traitement flux/batch : tables infinies non bornées (Unbounded Tables)
4.2Connexion de PySpark à un topic Kafka : lecture du flux binaire et désérialisation JSON en continu
4.3Fenêtrage temporel glissant (Sliding Windows) et gestion des données arrivées en retard avec Watermarking
4.4Modes de sortie (Append, Update, Complete) et persistance fiable avec points de reprise (Checkpoints)

À votre rythme

Des leçons courtes ; votre progression est enregistrée et vous reprenez là où vous vous êtes arrêté.

En pratiquant

Des exemples de code Python à modifier et exécuter dans le navigateur, sans rien installer.

Une validation

Une évaluation finale s'ouvre quand vous avez parcouru l'essentiel de la formation.

Data & intelligence artificielle📊 Intermédiaire · Calcul Vectorisé
Data Science avec NumPy & Pandas
Calcul matriciel vectorisé, manipulation de DataFrames, séries temporelles et modélisation statistique avancée avec NumPy et Pandas.
▶ Exercices Python
4 modules · 16 leçons · 8 h
Voir le programme Accès sur attribution
Data & intelligence artificielle🤖 Avancé · Deep Learning & MLOps
Intelligence artificielle avec Python
Deep Learning avec PyTorch, réseaux convolutifs, Transformers pour le NLP, quantification et déploiement d'API d'inférence en production.
▶ Exercices Python
4 modules · 16 leçons · 8 h
Voir le programme Accès sur attribution
Data & intelligence artificielle🐘 Avancé · Architecture Interne & PostGIS
PostgreSQL Avancé & Données Spatiales PostGIS
Maîtrisez les rouages de PostgreSQL (MVCC, WAL, EXPLAIN ANALYZE), l'indexation avancée GIN et BRIN, l'extension spatiale PostGIS et le part…
4 modules · 16 leçons · 8 h
Voir le programme Accès sur attribution