Data Engineer - AWS / Databricks

Contexte

Dans le cadre du programme de transformation, une grande entreprise du secteur de l’énergie met en œuvre une plateforme Data moderne basée sur des technologies cloud (AWS) et orientée Data Platform industrielle et scalable. La plateforme vise à :

• Centraliser et industrialiser les flux de données (data ingestion, transformation, exposition)

• Accélérer les usages métiers (reporting, analytics…)

• Garantir la gouvernance et la qualité des données à l’échelle du groupe

La mission s’inscrit au sein de l’équipe Data Platform, avec un fort enjeu de :

• Mise à l’échelle des pipelines

• Industrialisation des pratiques Data Engineering

• Intégration des usages IA

Missions

• Développer un outil dans Databricks permettant de filtrer les clients selon des critères définis par le client

• Livrer une interface permettant d'activer ou désactiver les filtres et produire des rapports sur les clients sélectionnés ce jour

• Développer un ETL en utilisant les services AWS les plus adaptés, notamment :

  • AWS Step Functions pour l'orchestration / moteur de workflow

  • AWS Lambda pour des traitements légers

  • AWS Aurora ou RDS comme base de données relationnelle transactionnelle

  • Eventuellement Databricks pour des charges de traitements / transformations lourdes

• Récupérer les données entrantes via des API ou des fichiers plats

• Envoyer les données sélectionnées et transformées dans une vingtaine d'API

Outils & Environnement

• Cloud : services AWS

• Data Platform : Databricks (Lakehouse)

• Streaming : Kafka

• Data Governance : Unity Catalog, Collibra

• CI/CD : GitHub

• Visualisation : Power BI

• APIs

1. Expérience significative en Data Engineering dans un environnement cloud
2. Très bonne maîtrise des environnements Databricks / Spark / Service AWS pour construction d'ETL
3. Capacité à travailler dans un environnement agile et industrialisé
4. Connaissance des enjeux de data governance et qualité
5. Bonne capacité à documenter et structurer les développements
6. Esprit collaboratif et orienté delivery
7. Autonomie
8. Atouts supplémentaires : expérience dans le secteur de l’énergie, avoir déjà construit un ETL, utilisation des services AWS, connaissance de Databricks, expérience sur des programmes de transformation à grande échelle, connaissance des architectures data modernes (Data Mesh, Data Platform, Lakehouse), construction/modification/amélioration de la performance d'API, expérience en anglais