Data Platform Engineer Databricks

L'équipe est chargée de la gestion transversale et globale des outils dédiés aux filières éolienne, solaire et hydraulique, en étroite collaboration avec Engie Digital et les systèmes d'information (SI) des différentes zones géographiques ; elle recherche actuellement un ingénieur plateforme de données (Data Platform Engineer).

La mission s'effectuera au sein de l'équipe « Digital Delivery » ; elle consistera à soutenir la gouvernance des données ainsi que la gestion de la plateforme Databricks, et à piloter la migration des données depuis l'ancien « data lake » d'entreprise vers Databricks.

Les objectifs de la mission sont les suivants :

• Administrer et sécuriser la plateforme Databricks (gestion technique et opérationnelle)

• Déployer et faire respecter la gouvernance des données appliquée à Databricks ainsi que les bonnes pratiques associées (structure du catalogue, organisation par domaines, règles d'accès et d'utilisation)

• Piloter la migration des données depuis l'ancien « data lake » d'entreprise vers Databricks

• Accompagner et soutenir les ingénieurs de données (data engineers) et les utilisateurs métiers (data citizens) dans l'utilisation de la plateforme

• Intégrer les impératifs de cybersécurité, de conformité et de maîtrise des coûts dès la conception (« by design »)

• Contribuer à la communauté informatique (échanges sur les bonnes pratiques, retours d'expérience, etc.)

Activités principales :

• Administration de la plateforme Databricks : administrer, surveiller et maintenir les espaces de travail (workspaces) Databricks (gestion technique et opérationnelle : espaces de travail, ressources de calcul, accès, coûts, sécurité, gestion des incidents)

• Gouvernance des données sur Databricks : mettre en ?uvre et faire évoluer le cadre de gouvernance des données sur la plateforme Databricks (structure du catalogue, organisation par domaines, règles d'accès, normes de nommage et de qualité) et garantir la conformité avec les politiques du Groupe

• Migration depuis l'ancien « data lake » : piloter la migration des données de l'ancien « data lake » d'entreprise vers Databricks : évaluer le périmètre existant, définir l'architecture cible et la feuille de route, planifier et coordonner les vagues de migration avec les équipes « data », et sécuriser le basculement

• Accompagnement et support des utilisateurs : accueillir et soutenir les nouveaux utilisateurs ? des ingénieurs de données aux utilisateurs métiers ? dans l'adoption de Databricks et l'application des bonnes pratiques ; Fournir de la documentation, du coaching et de la formation

• DataOps sur Databricks : Concevoir et mettre en ?uvre les pipelines permettant de promouvoir les actifs de données et le code entre les environnements Databricks (développement, test, production) et les catalogues, en utilisant l'intégration et le déploiement continus (CI/CD) basés sur Git ainsi que les outils natifs de Databricks (ex. : Databricks Asset Bundles), tout en encourageant l'adoption des pratiques DataOps au sein des équipes.

• Veille technologique : Tester et évaluer les nouvelles fonctionnalités de Databricks (y compris les capacités d'IA) ainsi que les outils complémentaires, et recommander leur adoption.

• Reporting et communication : Rendre compte de l'avancement de la plateforme et de la migration, et partager les meilleures pratiques ainsi que les retours d'expérience avec la communauté informatique.

Principaux défis :

? Adoption de la gouvernance : Amener les entités et les utilisateurs à adopter les normes définies en matière de catalogues, de domaines et d'accès, tout en garantissant une plateforme simple d'utilisation pour les utilisateurs métiers (« data citizens »).

? Complexité de la migration : Migrer les données et les consommateurs de l'ancien « data lake » vers Databricks sans perturber les activités en cours, tout en préservant la qualité et la traçabilité (lignage) des données.

? Équilibre entre exploitation (Run) et développement (Build) : Assurer la stabilité, la sécurité et la maîtrise des coûts de la plateforme tout en menant à bien la migration et en prenant en charge de nouveaux cas d'usage.

Livrables attendus :

? Documentation sur la gouvernance et le modèle opérationnel : Structure des catalogues et des domaines, modèle d'accès, conventions de nommage et normes d'utilisation alignés sur les standards internes relatifs aux données et à l'IA.

? Plan de migration (de l'ancien data lake vers Databricks) et rapports d'avancement : Périmètre, priorisation, calendrier, risques et points de situation réguliers auprès des comités de pilotage.

? Supports d'intégration et de bonnes pratiques : Guides, modèles, architectures de référence (blueprints) et sessions de formation destinés aux ingénieurs de données et aux utilisateurs métiers.

? Rapports d'exploitation de la plateforme : Indicateurs de suivi, de coûts, de sécurité et de conformité de la plateforme Databricks.

Profil candidat:
Compétences générales et comportementales (soft skills) :

• Communication et relation avec les parties prenantes : Niveau confirmé, importance 8 (Obligatoire)

• Esprit Agile (Scrum, Kanban) : Niveau confirmé, importance 7

• Capacité d'analyse et autonomie : Niveau confirmé, importance 8 (Obligatoire)

• Travail d'équipe, rigueur et organisation : Niveau confirmé, importance 7

• Français : Niveau avancé, importance 10 (Obligatoire)

• Anglais : Niveau avancé, importance 8 (Obligatoire)

Compétences fonctionnelles :

• Gouvernance des données appliquée à Databricks (Unity Catalog, domaines, gestion des accès) : Niveau avancé, importance 9 (Obligatoire)

• Métier des énergies renouvelables : importance 3

Compétences techniques :

• Databricks (administration, espaces de travail, Unity Catalog) : Niveau avancé, importance 10 (Obligatoire)

• DataOps sur Databricks (promotion d'environnements et de catalogues, Asset Bundles) : Niveau confirmé, importance 9 (Obligatoire)

• Git, CI/CD : Niveau confirmé, importance 8 (Obligatoire)

• Python, Spark : Niveau confirmé, importance 8 (Obligatoire)

• Bases du Cloud : AWS / Azure : Niveau junior, importance 4

• Ingénierie des données (pipelines, modélisation de données) : Niveau confirmé, importance 7

• Terraform (provider Databricks : déploiement de ressources et de permissions) : Niveau junior, importance 5

• Connaissances en IA / IA générative (Databricks AI, cas d'usage LLM) : Niveau junior, importance 4

• Infrastructure / Réseau, Fabric, SMUS : Niveau junior, importance 3