Data Engineer

La Direction des Systèmes d'Information recrute un Data Engineer pour concevoir, développer et maintenir les architectures Data nécessaires à l'exploitation des données par les analystes métiers et data scientists.

Principales missions :

• Mener les projets d'intégration (temps réel) et data (big data & insights)
• Comprendre, analyser et proposer des solutions techniques répondant aux besoins des divers acteurs de la donnée (spécialistes métier, domain managers, architecte, data analystes et scientists)
• Apporter un éclairage technique sur les architectures Cloud, dialoguer avec les fournisseurs de solutions et les consultants techniques
• Dans une logique de mise en production, créer et déployer des pipelines de données robustes pour les data scientists et data analysts (collecte, stockage, transformation et exploitation)
• Assurer une bonne qualité des données pour les projets Machine Learning (préparation, complétude, épuration, enrichissement) dans le but d'optimiser les performances des modèles
• Améliorer les processus internes : localisation et traçabilité de la donnée, standardisation des flux et des scripts de traitement des données, documentation
• Collaborer avec les équipes basées aux Pays-Bas pour faciliter le Data-Sharing, échanger sur les best-practices et les moyens d'optimiser les architectures
• Contribuer à l'amélioration de la gouvernance sur la protection et la confidentialité des données

Conception et mise en ?uvre d'une plateforme d'intégration Azure à grande échelle, servant de hub central pour 20+ applications métier et orchestrant ~150 flux d'intégration batch et temps réel répartis sur 7 ODS.

Développement de flux d'intégration avec Azure Service Bus, Azure Functions, Event Grid et Azure Data Factory pour synchroniser les données entre les différents systèmes.

Développement d'orchestrations distribuées et persistantes avec Azure Durable Functions pour gérer des processus métier asynchrones.

Conception et gouvernance des API d'intégration via Azure API Management selon une approche spec-first avec validation des contrats d'échange.

Modélisation et optimisation des ODS afin de garantir la cohérence et la disponibilité des données opérationnelles.

Optimisation des requêtes SQL et des traitements de données pour améliorer les performances et la fiabilité des flux.

Développement de composants mutualisés (librairies Python, modules Bicep et Terraform) afin de standardiser les développements et accélérer l'intégration de nouveaux flux.

Mise en place des pipelines CI/CD, automatisation des déploiements et amélioration de l'observabilité via la standardisation des logs et des métriques personnalisées.

Profil candidat:
Formation ingénieure ou universitaire de niveau Bac+5 à dominante informatique et mathématiques

Expérience de 3 à 5 ans sur un poste similaire

Maîtrise des services Azure, en particulier Data Factory, Azure Functions, Event Grid et Azure SQL

Connaissance d'Azure DevOps pour le déploiement (YAML, Bicep), la documentation et la gestion de projets

Compétences en langage SQL et en programmation (Python et PowerShell)

Aisance dans l'utilisation des API (REST, SOA)

Maîtrise de l'anglais impérative (niveau C1)

Rigueur, capacité d'analyse et d'adaptation

Autonome, vous savez travailler en équipe et avez l'esprit d'initiative