Senior Data Engineer – Plateforme Big Data transverse B2B H/F

Description de mission – Senior Data Engineer – Plateforme Big Data transverse B2B

Contexte et objectif de la mission

Dans le cadre d’une démarche data-driven au sein d’un grand groupe du secteur de l’énergie, la mission vise à développer une plateforme Big Data robuste et évolutive destinée à gérer un volume important de données provenant de plusieurs pays. L’objectif principal est de centraliser la collecte de divers indicateurs dans un référentiel unique afin de fournir des vues standardisées et transversales de ces indicateurs.

Le consultant contribuera également au respect des directives groupe relatives à l’utilisation du framework interne et à l’architecture de la plateforme. Il collaborera avec les différentes parties prenantes du projet afin de promouvoir ces standards et de proposer des capacités communes pour la plateforme.

Missions principales

Le Senior Data Engineer interviendra notamment sur :
• la conception et l’implémentation des composants d’ingestion de données ;
• le traitement et la normalisation des données ;
• la distribution des données aux différentes parties prenantes ;
• la construction et l’amélioration d’un framework commun incluant la supervision, le CI/CD, les tests, les performances, la résilience, les bonnes pratiques de développement et la qualité du code ;
• la collecte, la compréhension, la remise en question et le raffinement des besoins métiers et des opportunités ;
• la conception de solutions conformément aux guidelines d’architecture ;
• le pilotage des activités de développement dans un rôle senior/expert ;
• le développement et la maintenance d’un code efficace, réutilisable et fiable, respectant des standards élevés de qualité logicielle, de conception et de tests ;
• l’amélioration continue des services et applications via l’identification des goulots d’étranglement, bugs et plans de remédiation ;
• la livraison de services prêts pour la production avec un haut niveau de satisfaction utilisateur ;
• le support à la phase de production, notamment via la mise en place d’outils de monitoring et d’alerting ;
• la rédaction et la mise à jour de la documentation technique en anglais ;
• la communication efficace et en temps utile avec les équipes concernées.

Profil recherché

Le profil recherché est celui d’une personne dynamique, proactive, adaptable et à fort potentiel, capable d’évoluer dans une organisation complexe et changeante.

Expérience :
• jusqu’à 6 à 7 ans d’expérience ;
• niveau attendu de type avancé sur plusieurs compétences techniques et comportementales ;
• diplôme d’ingénieur demandé.

Compétences techniques attendues :
• solides connaissances et expérience pratique en génie logiciel Python ;
• maîtrise de la conception, des tests et des processus de développement ;
• compétences en ingénierie des données : architecture Big Data, pipeline de données, modélisation, optimisation, environnement distribué ;
• connaissance des technologies Big Data, de l’ingestion de données, du data lake / lac de données ;
• connaissance d’AWS appréciée mais non indispensable ;
• bonne compréhension des frameworks communs de supervision, CI/CD, tests, performance et qualité de code.

Compétences fonctionnelles et relationnelles :
• bon esprit d’équipe ;
• adaptabilité ;
• dynamisme ;
• bonnes capacités d’écoute et de communication ;
• capacité à prendre des initiatives ;
• orientation solution ;
• bonne maîtrise de l’anglais ;
• français et anglais courants mentionnés dans le document source complet.

Livrables attendus

Les livrables mentionnés incluent notamment :
• estimation de charge interne/externe ;
• rapports d’avancement ;
• tableaux de bord de suivi des anomalies ;
• plan de pilotage projet ;
• développements IT correctifs, évolutifs et adaptatifs ;
• codes sources ;
• spécifications techniques générales ;
• documentation technique.