Data Engineering (IA/ML) (senior >8 ans d'exp)

Pour un acteur bancaire

Contexte de la mission

La prestation interviendra sur le socle Data/IA, en lien étroit avec l'équipe d'ingénierie de production pour assurer le support à l'échelle. Le prestataire n’aura pas la charge de l'exploitation quotidienne mais devra être capable de plonger dans les problématiques concrètes, structurer les pratiques, outiller les équipes, et garantir la robustesse et la scalabilité des solutions en place.

Nous recherchons un profil capable à la fois d’intervenir opérationnellement et de conseiller.

OBJET DE LA PRESTATION Expertise opérationnelle sur les plateformes Data/IA

• Challenger et améliorer concrètement les plateformes Dagster (orchestration) et Trino (requêtage distribué) : diagnostic des problèmes de performance, optimisation des configurations, amélioration des patterns d'utilisation.

• Concevoir et optimiser les pipelines d'ingestion et de traitement de données basés sur Spark : performance des jobs, gestion des volumétries, stratégies de partitionnement et formats de stockage (Delta Lake, Iceberg).

• Intervenir directement sur les évolutions techniques pour accompagner la montée en charge (volumétrie, nombre d'utilisateurs, complexité des pipelines).

• Contribuer à la gouvernance technique par la pratique : formalisation de standards à partir de cas concrets, documentation des décisions techniques.

• Évaluer et prototyper l’intégration de nouveaux composants dans l’écosystème (formats de stockage, outils de catalogue, moteurs de calcul).

Industrialisation & Scalabilité

• Industrialiser les pipelines Data et IA/ML : fiabilité, observabilité, reproductibilité — avec une mise en œuvre concrète.

• Concevoir et implémenter les patterns de déploiement et d’exploitation à l’échelle en collaboration avec les équipes de production.

• Mettre en place des mécanismes de monitoring, d’alerting et de capacity planning adaptés aux workloads Data/IA.

• Structurer le support de niveau 3 et accompagner les équipes sur les niveaux 1 et 2.

Accompagnement & montée en compétence

• Accompagner les équipes de développement et de data science dans l’utilisation optimale des plateformes.

• Assurer un rôle de référent technique opérationnel (pair working, mentoring).

• Participer à la veille technologique et réaliser des POCs sur des évolutions pertinentes

Objectifs et livrables

ENVIRONNEMENT FONCTIONNEL

La prestation se déroulera au sein d’un service en charge :

• Des plateformes Data & IA/ML (Dagster, Trino, Delta Lake / Iceberg, Superset, OpenMetadata)

• Des plateformes Kubernetes (on-premise et cloud)

• Des outils DevOps (CI/CD, déploiement, observabilité)

• Des projets de R&D visant à moderniser le SI (POCs, présentations)

• De l’accompagnement des initiatives IA/ML du groupe

• Des outils de monitoring du SI

RÉSULTATS ATTENDUS / LIVRABLES

• Mise en œuvre des sujets définis.

• Recommandations techniques documentées sur les plateformes et outils utilisés.

• Plans de scalabilité et roadmap d’évolution du socle Data/IA.

PRÉREQUIS

Compétences indispensablesOrchestration de données (Dagster ou équivalent) Expert Moteur de requêtage distribué (Trino ou équivalent) Expert Apache Spark (ingestion & processing) Maîtrise à ExpertÉcosystème Data (Delta Lake / Iceberg, Hive) Maîtrise à Expert Scalabilité des plateformes Data Expert Python Maîtrise Unix / Linux Maîtrise Compétences appréciées Docker / Kubernetes Maîtrise Cloud (Azure, AKS) Connaissance à Maîtrise Infrastructure as Code / GitOps Connaissance à Maîtrise MLOps Connaissance Développement (Go, Java)Connaissance

ENVIRONNEMENT TECHNIQUE

Data / Orchestration

Dagster, Trino, Apache Spark, Hive, Delta Lake / Iceberg, Superset, OpenMetadata

IA / ML

Workloads IA/ML sur Kubernetes, outils MLOps

Hébergement

Kubernetes (on-premise, cloud), Docker

DevOps / Observabilité

ArgoCD, Jenkins, Grafana, Prometheus, Sysdig

Langages

Python, Go

Versioning / Stockage

GitLab, Artifactory, S3