Data engineer senior IA / ML - Apache Spark

La mission s’inscrit au sein d’une entité technologique d’un grand groupe de gestion d’actifs, responsable de la conception, du développement, de la commercialisation et du maintien de solutions technologiques pour l’industrie de l’épargne et de la gestion d’actifs.

La prestation interviendra sur le socle Data/IA, en lien étroit avec l’équipe d’ingénierie de production afin d’assurer le support à l’échelle. Le consultant n’aura pas la charge de l’exploitation quotidienne, mais devra être capable d’intervenir sur des problèmes concrets, de structurer les pratiques, d’outiller les équipes et de garantir la robustesse et la scalabilité des solutions en place. Le besoin vise un profil à la fois opérationnel et capable de conseil.

Missions principales :

Expertise opérationnelle sur les plateformes Data/IA
• Challenger et améliorer concrètement les plateformes d’orchestration et de requêtage distribué : diagnostic des problèmes de performance, optimisation des configurations, revue des patterns d’utilisation
• Concevoir et optimiser les pipelines d’ingestion et de traitement de données basés sur Spark : performance des jobs, gestion des volumétries, stratégies de partitionnement et formats de stockage
• Intervenir directement sur les évolutions techniques pour accompagner la montée en charge : volumétrie, nombre d’utilisateurs, complexité des pipelines
• Contribuer à la gouvernance technique par la pratique : établir des standards à partir de cas concrets et documenter les décisions techniques
• Évaluer et prototyper l’intégration de nouveaux composants dans l’écosystème : formats de stockage, outils de catalogue, moteurs de calcul

Industrialisation et scalabilité :
• Industrialiser les pipelines Data et IA/ML avec un objectif de fiabilité, observabilité et reproductibilité, en mettant en œuvre directement les solutions
• Concevoir et implémenter les patterns de déploiement et d’exploitation à l’échelle en collaboration avec les équipes support et l’équipe d’ingénierie de production
• Mettre en place les mécanismes de monitoring, d’alerting et de capacity planning adaptés aux workloads Data/IA
• Structurer le support de niveau 3 et accompagner l’équipe de production sur le support de niveaux 1 et 2

Accompagnement et montée en compétence :
• Conseiller et accompagner les équipes de développement et de data science dans l’utilisation optimale des plateformes
• Assurer un rôle de référent technique opérationnel au sein de l’équipe, par l’exemple et le pair-working
• Participer à la veille technologique et réaliser des POCs sur des évolutions pertinentes pour l’écosystème Data/IA

Environnement fonctionnel :
• Plateformes Data & IA/ML
• Plateformes Kubernetes on-premise et Cloud servant de socle d’hébergement
• Outils DevOps : intégration continue, déploiement, observabilité
• Projets de R&D visant à moderniser le SI
• Accompagnement des initiatives IA/ML du groupe
• Outils de monitoring du SI

Environnement technique :
• Data / Orchestration : Dagster, Trino, Apache Spark, Hive, Delta Lake, Iceberg, Superset, OpenMetadata
• IA / ML : workloads IA/ML sur Kubernetes, outils MLOps
• Hébergement : Kubernetes on-prem et Azure, Docker
• DevOps / Observabilité : ArgoCD, Jenkins, Grafana, Prometheus, Sysdig
• Langages : Python, Go
• Versioning / Stockage : GitLab, Artifactory, S3

Expertises techniques indispensables :
• Orchestration de données : expertise d’exploitation, de tuning et d’évolution en production
• Moteur de requêtage distribué : expertise d’exploitation, de tuning et d’évolution en production
• Ingestion et processing de données avec Apache Spark : conception et optimisation de pipelines à l’échelle
• Écosystème Data / Big Data : maîtrise à expertise
• Mise à l’échelle de plateformes Data en production : expertise sur des problématiques réelles de scalabilité
• Python : maîtrise
• Systèmes Unix/Linux : maîtrise

Expertises appréciées :
• Conteneurisation et orchestration : Docker, Kubernetes
• Plateformes cloud : Azure AKS
• Infrastructure as Code et GitOps
• Outils MLOps et déploiement de modèles IA
• Développement applicatif : Go, Java

Livrables attendus :
• Mise en œuvre des sujets précités
• Recommandations techniques documentées sur les plateformes d’orchestration, de requêtage distribué et les autres outils nécessaires à la mission, appuyées sur des diagnostics concrets
• Plans de scalabilité et roadmap d’évolution du socle Data/IA

Compétences / Qualités indispensables: Dagster ou orchestration de données,Trino ou requêtage distribué,Apache Spark,Scalabilité de plateformes Data en production,Python,Kubernetes / MLOps Compétences / Qualités qui seraient un +: Docker et Kubernetes, Azure AKS, Infrastructure as Code et GitOps, outils MLOps, développement applicatif Go/Java