Senior Data and AI Engineer - Databricks

Contexte

Renforcement de la Data Forge sur un profil immédiatement opérationnel.

Missions

• Construire, industrialiser et faire évoluer la plateforme Lakehouse.
• Accélérer le delivery tout en sécurisant qualité, gouvernance et reporting PowerBI (PBIT/PBIP).
• Mettre en œuvre et maintenir la conception, l’industrialisation et l’évolution des solutions data et IA sur la plateforme Lakehouse.
• Garantir la robustesse, la performance, la sécurité et la qualité des données au service des usages métiers, analytiques et IA.
• Valoriser la donnée en couche Gold et développer le reporting Power BI au plus près des métiers.
• Construire les datasets / modèles nécessaires à des restitutions Power BI fiables, performantes et gouvernées.
• Concevoir et optimiser des architectures data sur Databricks.
• Maîtriser Delta Lake, Unity Catalog, Workflows, Jobs et Notebooks.
• Garantir performance, scalabilité et optimisation des coûts.
• Concevoir des modèles analytiques et décisionnels robustes.
• Définir faits, dimensions, granularité et historisation (SCD).
• Assurer cohérence, unicité et maintenabilité des modèles.
• Traduire les besoins métiers en structures data.
• Développer et fiabiliser des pipelines ELT/ETL.
• Superviser les tests, validations et mises en production en CI/CD.
• Exploiter Databricks avec Genie et LLMs ainsi que le développement PowerBI pour accélérer la production tout en maintenant un haut niveau d’exigence (qualité, sécurité, maintenabilité).
• Implémenter et superviser les contrôles de Data Quality.
• Structurer la gestion des anomalies et rejets.
• Diffuser les standards et collaborer étroitement avec PO, Architectes et Data Stewards.

Outils & Environnement

• Expertise avancée Databricks / Delta Lake / Lakehouse / Genie.
• Maîtrise du développement augmenté par l’IA et les agents, génération de code, refactoring, tests, documentation.
• Maîtrise des langages de développement Python et SQL.
• Expertise PowerBI PBIT/PBIP.
• Pratique d’un framework agile de type Scrum.
• Maîtrise CI/CD & Git (Azure DevOps).
• APIs et intégration.
• Anglais niveau B2.
• Connaissances ITIL.
• Expertise en modélisation de données du Lakehouse et connaissance des modèles métiers de l’immobilier.

Interlocuteurs

• Leader Data Forge.
• Data Engineer, Product Owner, Architecte Data, Data Steward, Responsables d’Applications IT, Chefs de Projets IT, Data Community Manager, Data Analyst, Chief Data Officer, Partenaires IT.

1. Ingénieur ou Master 2 en informatique, en data science ou statistiques
2. Expertise avancée Databricks, Lakehouse, Genie
3. Maîtrise de Delta Lake, Unity Catalog, Workflows, Jobs et Notebooks
4. Compétences en modélisation et conception de la donnée (faits, dimensions, granularité, historisation SCD)
5. Expérience en industrialisation et Data Engineering avec pipelines ELT/ETL et CI/CD
6. Maîtrise du développement augmenté par l’IA (Genie, LLMs) et développement PowerBI
7. Compétences en qualité et gouvernance des données, gestion des anomalies et rejets
8. Leadership et capacité à collaborer avec PO, Architectes et Data Stewards
9. Maîtrise des langages de développement Python et SQL
10. Expertise PowerBI PBIT/PBIP
11. Pratique d’un framework agile de type Scrum
12. Maîtrise de CI/CD & Git (Azure DevOps)
13. Connaissance des APIs et intégration
14. Anglais niveau B2 et connaissances ITIL
15. Expertise en modélisation de données du Lakehouse et connaissance des modèles métiers de l’immobilier
16. Qualités personnelles : collaboration transverse, autonomie, agilité, esprit de structuration, qualité et amélioration continue, état d'esprit gagnant-gagnant, acteur de la transformation, état d'esprit inclusif