Data Engieneer Databricks

Contexte

La mission aura lieu dans le Département DATA, équipe BI à la direction Technologie.

Contexte du projet :
Intégré à l’équipe agile BI au sein de la direction Data, l'Ingénieur de données aura pour mission de jouer un rôle clé dans la mise en place d’alimentation de données et son lineage jusqu’aux use-case en se focalisant sur l'utilisation de Databricks. Il devra apporter son expertise issue de missions précédentes pour contribuer au développement, l’adoption des pratiques telles que Databricks asset bundle ou l’intégration des développements via Visual Code et Github Copilot.
La maîtrise de la langue anglaise est requise pour communiquer efficacement avec les équipes internationales.

Missions

• Conception et développement des pipelines de données : Concevoir et développer des pipelines de données efficaces et évolutifs sur la plateforme Databricks, en utilisant des langages de programmation Python (Pyspark) et SQL.

• Optimisation des performances : Optimiser les pipelines de données déjà développés pour garantir des performances optimales, savoir mettre en place du partitionnement. Proposer des améliorations sur la gestion des clusters, de l’ordonnancement des traitements.

• Documentation et standardisation : Contribuer à la documentation et à la standardisation des architectures, des processus et des bonnes pratiques pour assurer la cohérence et la pérennité des solutions mises en place.

• Formation et support : Fournir une aide et un support aux autres membres de l'équipe sur l'utilisation de Databricks et des pipelines de données développés.

Localisation

Paris

Connaissances exigées

• Excellente maîtrise de Databricks, PySpark et de SQL.

• Expertise avancée dans la mise en place de pipelines de données ETL/ELT (Azure Data Factory).

• Connaissance approfondie des concepts de CI/CD, Databricks asset bundle et autres pratiques de développements se basant sur l’IA.

• Familiarité avec les outils de gestion de versions comme Azure DevOps ou Git.

• Capacité à travailler dans un environnement Agile.

• Anglais requis.

Expérience : 5 à 10 ans (Confirmé)

1. 5 à 10 ans d’expérience confirmée
2. Excellente maîtrise de Databricks, PySpark et de SQL
3. Expertise avancée dans la mise en place de pipelines de données ETL/ELT (Azure Data Factory)
4. Connaissance approfondie des concepts de CI/CD, Databricks asset bundle et autres pratiques de développement basées sur l’IA
5. Familiarité avec les outils de gestion de versions comme Azure DevOps ou Git
6. Capacité à travailler dans un environnement Agile
7. Anglais requis