Senior Data Engineer

Contexte

Organisée autour des outils de compute, d'orchestration et exposition, l'équipe est chargée de mettre à disposition la stack data pour l'ensemble du groupe et d'en assurer sa robustesse et scalabilité.

Nous avons le besoin de sensibiliser les utilisateurs aux bonnes pratiques que l'équipe met en place sur une modern data stack et son orchestration. Ceci afin d'accompagner au mieux le développement des use cases métiers sur la plateforme.

Missions

Ta mission sera de :

• Garantir la robustesse de la plateforme

• Monitorer et prendre des actions proactives de management de la plateforme de compute et d'orchestration

• Accompagner la migration d'AWS Glue Catalog vers Unity (Databricks)

• Accompagner la migration de nos utilisateurs de MWAA vers Astronomer

• Assurer le support et l'accompagnement d'équipes sur Spark, Databricks et EMR

• Travailler sur les optimisations des traitements Pyspark

• Accompagner et former

• Définir et promouvoir les bonnes pratiques de data engineering sur les technologies proposées au sein de l'équipe

• Développer le futur :

  • Travailler sur le concept d'accessibilité et de gouvernance de la donnée

  • Tester de nouveaux outils / features intéressants à intégrer dans notre stack

Une expérience avancée sur une stack incluant Databricks est requise.

Compétences

• EMR : Confirmé

• CI/CD : Avancé

• PYSPARK : Avancé

• DATABRICKS : Confirmé

• Terraform : Avancé

Langues

• Anglais : Courant

Conditions de travail

• TJM : 670€

• Localisation : Lille

1. Expérience avancée sur une stack incluant Databricks
2. Compétences confirmées en EMR et Databricks
3. Compétences avancées en CI/CD, PYSPARK et Terraform
4. Maîtrise courante de l'anglais