Expert Data Engineer - Freelance

Contexte

La prestation interviendra sur le socle Data/IA, en lien étroit avec l'équipe d'ingénierie de production pour assurer le support à l'échelle. Le prestataire n’aura pas la charge de l'exploitation quotidienne mais devra être capable de plonger dans les problématiques concrètes, structurer les pratiques, outiller les équipes, et garantir la robustesse et la scalabilité des solutions en place.

Nous recherchons un profil capable à la fois d’intervenir opérationnellement et de conseiller.

Missions

• Expertise opérationnelle sur les plateformes Data/IA.
• Challenger et améliorer concrètement les plateformes Dagster (orchestration) et Trino (requêtage distribué) : diagnostic des problèmes de performance, optimisation des configurations, amélioration des patterns d'utilisation.
• Concevoir et optimiser les pipelines d'ingestion et de traitement de données basés sur Spark : performance des jobs, gestion des volumétries, stratégies de partitionnement et formats de stockage (Delta Lake, Iceberg).
• Intervenir directement sur les évolutions techniques pour accompagner la montée en charge (volumétrie, nombre d'utilisateurs, complexité des pipelines).
• Contribuer à la gouvernance technique par la pratique : formalisation de standards à partir de cas concrets, documentation des décisions techniques.
• Évaluer et prototyper l’intégration de nouveaux composants dans l’écosystème (formats de stockage, outils de catalogue, moteurs de calcul).
• Industrialiser les pipelines Data et IA/ML : fiabilité, observabilité, reproductibilité — avec une mise en œuvre concrète.
• Concevoir et implémenter les patterns de déploiement et d’exploitation à l’échelle en collaboration avec les équipes de production.
• Mettre en place des mécanismes de monitoring, d’alerting et de capacity planning adaptés aux workloads Data/IA.
• Structurer le support de niveau 3 et accompagner les équipes sur les niveaux 1 et 2.
• Accompagner les équipes de développement et de data science dans l’utilisation optimale des plateformes.
• Assurer un rôle de référent technique opérationnel (pair working, mentoring).
• Participer à la veille technologique et réaliser des POCs sur des évolutions pertinentes.

Environnement fonctionnel

• Plateformes Data & IA/ML : Dagster, Trino, Delta Lake / Iceberg, Superset, OpenMetadata.
• Plateformes Kubernetes (on-premise et cloud).
• Outils DevOps (CI/CD, déploiement, observabilité).
• Projets de R&D visant à moderniser le SI (POCs, présentations).
• Accompagnement des initiatives IA/ML du groupe.
• Outils de monitoring du SI.

Environnement technique

• Data / Orchestration : Dagster, Trino, Apache Spark, Hive, Delta Lake / Iceberg, Superset, OpenMetadata.
• IA / ML : Workloads IA/ML sur Kubernetes, outils MLOps.
• Hébergement : Kubernetes (on-premise, cloud), Docker.
• DevOps / Observabilité : ArgoCD, Jenkins, Grafana, Prometheus, Sysdig.
• Langages : Python, Go.
• Versioning / Stockage : GitLab, Artifactory, S3.

Résultats attendus / Livrables

• Mise en œuvre des sujets définis.
• Recommandations techniques documentées sur les plateformes et outils utilisés.
• Plans de scalabilité et roadmap d’évolution du socle Data/IA.

1. Expert en orchestration de données (Dagster ou équivalent)
2. Expert en moteur de requêtage distribué (Trino ou équivalent)
3. Maîtrise à Expert en Apache Spark (ingestion & processing)
4. Maîtrise à Expert de l'écosystème Data (Delta Lake / Iceberg, Hive)
5. Expert en scalabilité des plateformes Data
6. Maîtrise de Python
7. Maîtrise de Unix/Linux
8. Maîtrise de Docker / Kubernetes (compétences appréciées)
9. Connaissance à Maîtrise du Cloud (Azure, AKS)
10. Connaissance à Maîtrise en Infrastructure as Code / GitOps
11. Connaissance en MLOps
12. Connaissance en développement (Go, Java)