Expert Lead Data Engineer & IA Cloud (Azure / Databricks)

Contexte

Au sein de la Direction Data & IA, et du pôle « Outils et Méthodes » pour accompagner une transformation majeure : la bascule d'un environnement Legacy (On-premise) vers une plateforme Data Cloud moderne.

L'enjeu est de structurer et d'accélérer l'industrialisation des solutions de Data Engineering et d'IA Générative dans un contexte d'entreprise complexe et exigeant.

Missions

• Architecture & Design : définir les patterns technologiques et les roadmaps techniques pour les chantiers DataCloud.
• Industrialisation : concevoir, développer et déployer en production des pipelines de données robustes et des solutions d'IA / IA Générative.
• Leadership technique : encadrer techniquement les équipes des Data/IA Factories, diffuser les bonnes pratiques (Data Management, FinOps) et documenter les solutions.
• Migration & optimisation : participer au refactoring des solutions Legacy (Cloudera, Informatica) vers les nouvelles cibles Cloud.
• Livrables : pipelines industrialisés, documentation technique, frameworks d'automatisation CI/CD, reportings de performance (FinOps).

Outils & Environnement

• Pipeline CI/CD (niveau confirmé)
• Data Spark (niveau expert)
• Spark (Scala, PySpark, SQL) (niveau expert)
• IA générative (niveau confirmé)
• Microsoft Azure Databricks (niveau expert)
• Méthodologies Agiles (niveau confirmé)

1. Compétences confirmées en Pipeline CI/CD
2. Expertise en Data Spark
3. Expertise en Spark (Scala, PySpark, SQL)
4. Compétences confirmées en IA générative
5. Expertise en Microsoft Azure Databricks
6. Compétences confirmées en Méthodologies Agiles