Senior Data Engineer Databricks PySpark

Contexte

Une entreprise internationale du secteur retail sport recrute un Senior Data Engineer pour renforcer son équipe Managed Tools, au sein de sa Data Factory. Cette équipe est responsable de la mise à disposition et de la robustesse de la stack data à l'échelle du groupe. La squad Compute a pour enjeu d'accompagner les utilisateurs aux bonnes pratiques sur une modern data stack et son orchestration, afin de soutenir le développement des use cases métiers sur la plateforme.

Missions

• Garantir la robustesse de la plateforme de compute et d'orchestration via un monitoring actif et des actions proactives
• Accompagner la migration d'AWS Glue Catalog vers Unity (Databricks)
• Accompagner la migration des utilisateurs de MWAA vers Astronomer
• Assurer le support et l'accompagnement des équipes sur Spark et Databricks
• Travailler sur les optimisations des traitements PySpark
• Définir et promouvoir les bonnes pratiques de data engineering sur les technologies de l'équipe
• Contribuer aux travaux sur l'accessibilité et la gouvernance de la donnée
• Tester et évaluer de nouveaux outils et fonctionnalités à intégrer dans la stack

Conditions de travail

• Localisation : Lille (hybride)
• Durée : Mission longue

1. Senior en expérience

2. Compétences techniques avancées en PySpark, Terraform et CI/CD

3. Compétences confirmées en EMR et Databricks

4. Expérience avancée sur une stack incluant Databricks

5. Maîtrise de l'anglais courant