Data Engineer Databricks

Contexte

Dans le cadre du programme de transformation, un grand groupe industriel met en œuvre une plateforme Data moderne basée sur des technologies cloud (AWS) et orientée Data Platform industrielle et scalable.
Cette plateforme vise à :

• Centraliser et industrialiser les flux de données (data ingestion, transformation, exposition)

• Accélérer les usages métiers (reporting, analytics…)

• Garantir la gouvernance et la qualité des données à l’échelle du groupe

La mission s’inscrit au sein de l’équipe Data Platform, avec un fort enjeu de :

• Mise à l’échelle des pipelines

• Industrialisation des pratiques Data Engineering

• Intégration des usages IA

Missions

• Développer des pipelines Data robustes, industrialisés et documentés

• Contribuer à la montée en maturité de la plateforme Data

• Accélérer les usages Data et IA

Outils & Environnement

• Cloud : AWS

• Data Platform : Databricks (Lakehouse)

• Streaming : Kafka

• Data Governance : Unity Catalog, Collibra

• CI/CD : GitHub

• Visualisation : Power BI

Livrables spécifiques

• Dossier d’architecture - Technique

1. Expérience significative en Data Engineering dans un environnement cloud
2. Très bonne maîtrise des environnements Databricks / Spark
3. Capacité à travailler dans un environnement agile et industrialisé
4. Connaissance des enjeux de data governance et qualité
5. Bonne capacité à documenter et structurer les développements
6. Esprit collaboratif et orienté delivery
7. Atouts supplémentaires : expérience dans le secteur de l’énergie, expérience sur des programmes de transformation à grande échelle, connaissance des architectures data modernes (Data Mesh, Data Platform, Lakehouse), expérience en environnement international