Data Engineer Databricks

Contexte

Une équipe centralisée gère la plateforme mais de nombreuses équipes (Feature Team organisées par domaine de données) travaillent sur la Data Platform. Toutes les équipes fonctionnent en mode agile.

Missions

• Conception, développement et maintenance des pipelines de données

• Cadrage technique

• Garantir la mise en production des traitements au sein de la plateforme

• Optimisation du code pour chaque traitement, maîtrise de l'usage Databricks au regard des coûts

• Maîtrise de l'architecture médaillon de Databricks, des problématiques de qualité de données, du DevOps

• Développement sous Databricks (Python / SQL / Spark)

• Être force de propositions techniques

• Capacité à encadrer / coacher des data engineers juniors, challenger la solution et assurer un rôle de tech lead dans l'équipe

Compétences

• Anglais de bon niveau

• Connaissance Cloud AWS (confirmé, 3 à 5 ans d'expérience)

• Expérience Data Engineer sur pipeline données (senior, 8 à 10 ans d'expérience)

• Maîtrise Databricks (confirmé, 3 à 5 ans d'expérience)

• Python + SQL + Spark (senior, 8 à 10 ans d'expérience)

1. 8 à 10 ans d'expérience en tant que Data Engineer sur pipeline de données
2. Maîtrise de Databricks
3. Compétences en Python, SQL et Spark
4. Connaissance du Cloud AWS
5. Anglais de bon niveau
6. Capacité à encadrer et coacher des data engineers juniors
7. Capacité à challenger les solutions techniques et assurer un rôle de tech lead