Litong Xu

Data Warehouse MovieLens avec dbt & Snowflake – Technologies: dbt, Snowflake, Amazon S3, SQL – Conception et mise en place d'un pipeline pour ingérer les données depuis S3 vers Snowflake avec dbt. – Implémentation de modèles incrémentiels, snapshots et tests pour assurer la qualité des données et le suivi des évolutions. – Production de datasets prêts pour l'analyse, facilitant le reporting et les cas d'usage analytics. Pipeline de Streaming avec Apache Spark & Kafka – Technologies: Apache Kafka, Apache Spark (Structured Streaming), Python, Databricks – Conception et mise en œuvre d'un pipeline de streaming en temps réel pour l'ingestion et la validation des factures. – Simulation d'un flux continu de données avec Kafka afin de tester et dimensionner les workflows d'ingestion. Pipeline ETL pour les données de Formule 1 avec Databricks et Spark – Technologies: Databricks, Spark, SQL, Azure Data Lake, Azure Data Factory – Développement d'un pipeline ETL dans Databricks utilisant l'architecture medallion pour le traitement incrémentiel des données dans Delta Lake. – Automatisation de l'exécution du pipeline avec Azure Data Factory, améliorant l'efficacité et la fiabilité des workflows.