Salah D.
Senior Data Engineer
Salaire / Taux journalier
Paris, France
Mobilité : Paris, Île-de-France
Freelance
Peut venir sur site
Expertises
Langues
À propos
Introduction
Senior Data Engineer (9 ans) — Data Engineering, MLOps & Cloud AWS. Pipelines batch/streaming (Apache Spark, Airflow, Kafka), architecture Lakehouse (Apache Iceberg, Databricks, AWS Athena/Glue), infrastructure cloud (Terraform, Kubernetes/EKS). MLOps & GenAI : serving de modèles ML/vision (MLflow, KServe, FastAPI) à fort volume. Expérience marketplace à plusieurs milliers d'événements/seconde. Missions : migration Lakehouse/Databricks, industrialisation ML, optimisation cloud.
Expérience de travail
Senior Data Engineer
leboncoin
août 2021 - Présent
5 ans 3 mois
Paris, France
• Membre de l'équipe centrale Data Platform, sur une marketplace à fort trafic (plusieurs milliers d'événements par seconde). • Conception de pipelines batch big data résilients avec Apache Airflow (orchestration) et Apache Spark (traitement), déployés sur AWS EKS (Kubernetes). • Migration d'un data warehouse AWS Redshift vers une architecture Lakehouse - Apache Iceberg basée sur AWS Athena & AWS Glue. • Développement d'applications streaming à fort débit avec Apache Kafka (Python) et Kafka Streams (Java). • Simplification et standardisation du serving de modèles de machine learning (MLOps) — de centaines à plusieurs milliers de requêtes/seconde — avec FastAPI, MLflow, MLServer et KServe sur Kubernetes. • Provisioning et monitoring de l'infrastructure data avec Terraform (Infrastructure as Code). • Mise en place d'outillage et de bonnes pratiques pour les Data Engineers et Data Scientists.
Data Engineer
Launchmetrics
nov. 2019 - mai 2021
1 an 7 mois
Paris, France
• Collecte, enrichissement et livraison de données "social listening" pour plus de 1 000 marques (beauté, cosmétique, luxe) : plusieurs centaines de millions de documents issus des réseaux sociaux et du web, traités et livrés chaque semaine. Indexation et recherche avancée via Elasticsearch. • Migration de nombreux scripts Python autonomes vers Apache Airflow (Google Cloud Composer), centralisant l'orchestration et améliorant la fiabilité des pipelines de données. • Benchmark comparatif de moteurs de requêtes Athena, Trino, Starburst, Kyuubi pour des workloads analytiques à grande échelle, guidant les choix d'architecture data (coût, latence, scalabilité). • Développement et maintenance d'applications web pour la génération de datasets/datamarts et l'export de données (backend Python Flask, frontend D3.js), afin de simplifier l'accès à la donnée pour les Data Analysts.
Data Analyst
Artefact
oct. 2018 - déc. 2019
1 an 3 mois
Paris, France
• Pilotage de projets de data engineering pour un portefeuille clients diversifié ; migration de scripts Python legacy vers Apache Airflow pour une orchestration automatisée et monitorée. • Construction de pipelines de données end-to-end (ingestion API/bases de données, réconciliation, calcul de KPI) avec dashboarding Tableau /
Formation
Université de Technologie de Compiègne (UTC)
Master of Engineering (M.Eng.)
2014 - 2017
3 ans 2 mois
Shanghai University
2016 - 2017
5 mois