Senior Data Engineer - Plateforme Data

Contexte

Une grande organisation internationale recherche un Senior Data Engineer pour rejoindre son équipe en charge des outils managés au sein d'une Data Factory. Cette équipe, organisée autour des sujets de compute, d'orchestration et d'exposition, est responsable de la mise à disposition et de la robustesse de la stack data à l'échelle du groupe. La squad Compute a pour enjeu d'accompagner les utilisateurs aux bonnes pratiques sur une modern data stack et son orchestration, afin de soutenir le développement des cas d'usage métiers sur la plateforme.

Missions

Garantir la robustesse de la plateforme :

• Monitorer et assurer un management proactif de la plateforme de compute et d'orchestration
• Accompagner la migration d'AWS Glue Catalog vers Unity (Databricks)
• Accompagner la migration des utilisateurs de MWAA vers Astronomer
• Assurer le support et l'accompagnement des équipes sur Spark, Databricks et EMR
• Travailler sur les optimisations des traitements PySpark

Accompagner et former :

• Définir et promouvoir les bonnes pratiques de data engineering sur les technologies proposées

Développer le futur :

• Travailler sur les concepts d'accessibilité et de gouvernance de la donnée
• Tester et évaluer de nouveaux outils et fonctionnalités à intégrer dans la stack

Outils & Environnement

• EMR : Confirmé
• CI/CD : Avancé
• PySpark : Avancé
• Databricks : Confirmé
• Terraform : Avancé

Conditions de travail

• Localisation : Lille (hybride)

Informations complémentaires

Abonnez-vous à la page NaxoTech sur LinkedIn pour découvrir nos offres régulières :
👉 https://www.linkedin.com/company/naxotech

1. Senior en expérience
2. EMR : Confirmé
3. CI/CD : Avancé
4. PySpark : Avancé
5. Databricks : Confirmé
6. Terraform : Avancé
7. Une expérience avancée sur une stack incluant Databricks est requise
8. Anglais : Courant