Senior Data Engineer PySpark Databricks AWS Airflow

Contexte

Au sein d'une équipe Customer Intelligence d'un acteur majeur de la distribution sportive, le Data Engineer contribue à la construction des fondations de données alimentant des algorithmes de personnalisation client. L'équipe opère dans un contexte international (bureaux à Lille, Paris et Amsterdam) et s'appuie sur une stack technique moderne : PySpark, Airflow, AWS, Databricks, Datadog. Les outils de collaboration utilisés sont Google Suite, Confluence, Jira, Github et Slack.

Missions principales

• Concevoir, développer et maintenir des pipelines ETL/ELT haute performance avec PySpark et Airflow, traitant de larges volumes de données clients.
• Mettre en place des procédures de contrôle qualité, monitoring et validation des données, notamment via Great Expectations.
• Assurer la gouvernance et la conformité des données (GDPR).
• Collaborer avec les Data Scientists et Product Managers pour affiner le modèle de données client, en garantissant sa scalabilité.
• Gérer et optimiser l'infrastructure cloud AWS (EMR, S3) et Databricks pour la performance et la maîtrise des coûts.
• Gérer les transactions ACID avec des fichiers Delta.
• Assurer un rôle de référent technique au sein de l'équipe et promouvoir les bonnes pratiques.

Conditions de travail

• Localisation : Lille (hybride)
• Démarrage : 29 juin 2026
• Durée : longue mission

1. Minimum 4 ans d'expérience en Data Engineering
2. Python : Expert
3. PySpark : Expert
4. AWS S3 : Expert
5. Apache Airflow : Confirmé
6. Databricks : Confirmé
7. Delta Lake : Confirmé
8. Great Expectations : Avancé
9. Datadog : Avancé
10. Anglais courant (utilisation quotidienne à l'écrit et à l'oral)