Consultant Senior Data Engineer / Cloud Data Engineer (Databricks AWS)

Contexte client

Notre client est un acteur majeur de l'énergie (électricité & gaz), disposant d'une entité dédiée aux prévisions de marchés et à l'analyse de portefeuille. Dans un contexte de forte volatilité des prix et d'exigences accrues en matière d'industrialisation des modèles, l'organisation opère une plateforme de prévision long terme (2030–2050) s'appuyant sur un moteur de simulation (Plexos) et une chaîne data industrialisée sur Databricks. La mission s'inscrit dans un besoin de renfort et de passation afin d'assurer la continuité opérationnelle et d'accélérer les chantiers d'extension de la chaîne de calcul.

Contexte & Objectifs de mission

La mission vise à prendre le relais d'un référent data engineering au sein de l'équipe « modèle » (Forecast marchés de l'électricité) et à garantir la robustesse, la maintenabilité et l'évolutivité de la chaîne end-to-end : transformation des hypothèses métiers (analystes de marché) en scénarios de simulation, exécution automatisée dans Plexos Cloud, post-traitements et publication des résultats dans Databricks (tables, dashboards et API de consommation).

Deux priorités structurent la feuille de route : (1) répliquer et adapter l'industrialisation déjà en place pour l'Europe vers le périmètre États-Unis (Texas), avec des spécificités de données et de scénarios ; (2) mettre en œuvre une « boucle d'investissement » permettant d'itérer sur les simulations afin d'évaluer la rentabilité d'actifs de production (ex. centrales) jusqu'à convergence, en intégrant des critères économiques et des KPI additionnels.

Le consultant devra être immédiatement opérationnel sur Databricks (compétence critique), capable de piloter et prioriser les sujets avec autonomie, et d'améliorer les processus de self-service mis à disposition des utilisateurs métiers (dont certains sont peu techniques). La mission offre également une opportunité forte de montée en compétence sur Kedro, framework Python structurant (développé par McKinsey) utilisé pour orchestrer les pipelines et industrialiser le code.

Périmètre de la mission

• Prendre en charge l'industrialisation data autour du moteur de simulation (Plexos) : ingestion/normalisation des inputs, génération des artefacts nécessaires (time series/CSV, mise à jour XML), orchestration des exécutions et post-processing.

• Concevoir, développer et maintenir des pipelines Databricks (PySpark/Python) : jobs, scheduling, gestion des dépendances, optimisation performance/coûts.

• Étendre la chaîne Europe vers le périmètre US (Texas) : adaptation des datasets, paramétrages, scénarios, contrôles qualité et publication des résultats.

• Implémenter et faire évoluer la « boucle d'investissement » : itérations automatisées, critères de convergence, calculs de rentabilité, nouveaux KPI, traçabilité des runs.

• Industrialiser la consommation des résultats : publication de tables dans Databricks, déploiement/paramétrage automatisé de dashboards Databricks (export JSON), contribution à l'API de restitution (exposition contrôlée des données).

• Renforcer le self-service pour les analystes de marché : fiabilisation des workflows de lancement, amélioration de l'expérience utilisateur, réduction des irritants (packaging, simplification de l'installation, documentation).

• Contribuer aux pratiques de delivery : gestion du code via Git (branches/PR/merge), respect du CI/CD existant, standards de qualité (tests, revues de code, logging/monitoring).

• Assurer l'« infra du quotidien » sur l'environnement de travail : gestion des accès et permissions, maintenance fonctionnelle Databricks, interaction avec AWS S3 (et ponctuellement Lambda/Step Functions/Fargate si besoin), coordination avec les équipes DevOps/SysOps internes pour les sujets plateforme.

• Participer aux rituels d'équipe et au pilotage : priorisation, suivi d'avancement, reporting synthétique, coordination avec l'équipe modèle et les analystes de marché.

Profil recherché

Compétences techniques

• Minimum 4 années d'expérience dans un rôle similaire

• Databricks (impératif) : conception de jobs, orchestration, optimisation, gestion des workspaces, déploiement de dashboards

• PySpark et Python avancé (data pipelines, performance, qualité de code)

• AWS (S3 indispensable ; notions Lambda/Step Functions/Fargate appréciées) apprécié, à défaut maîtrise d'un autre environnement cloud (GCP, Azure, OVH…)

• Git et pratiques CI/CD (utilisation au quotidien dans un contexte entreprise)

• Traitement de séries temporelles et gestion de volumes importants (données horaires, historiques et forecasts)

• Connaissance des patterns data (ELT/ETL, data quality checks, monitoring, data lineage) et bonnes pratiques de production

Compétences fonctionnelles

• Capacité à travailler au contact d'équipes métiers (analystes de marché) et à traduire leurs besoins en solutions data robustes

• Sensibilité aux enjeux des marchés de l'énergie / électricité (atout) : fondamentaux offre-demande, scénarios, commodités apprécié

Qualités personnelles

• Proactivité et fort sens de l'ownership

• Autonomie et capacité à prendre des sujets de bout en bout (design, delivery, run)

• Excellente communication et pédagogie (utilisateurs métiers peu techniques)

• Rigueur, fiabilité et orientation qualité (production data critique et reproductibilité des runs)

• Esprit d'amélioration continue (standardisation, packaging, simplification des workflows)

Modalités de mission

-

Date de démarrage : Début avril

-

Durée : 3–4 mois (renouvelable, besoin initial jusqu'à mi-septembre environ)

-

Localisation : La Défense

-

Télétravail : 2 jours par semaine

-

TJM : Selon profil