Data Engineer (IA/ML – Dagster, Trino & Apache Spark)

Dans le cadre d'un besoin d'un de ses clients, Visian recherche un Data Engineer.

Expertise opérationnelle sur les plateformes Data/IA

• Challenger et améliorer concrètement les plateformes Dagster (orchestration) et Trino (requêtage distribué) : diagnostiquer les problèmes de performance, optimiser les configurations, revoir les patterns d'utilisation.

• Concevoir et optimiser les pipelines d'ingestion et de processing de données basées sur Spark : performance des jobs, gestion des volumétries, stratégies de partitionnement et formats de stockage (Delta Lake, Iceberg).

• Intervenir directement sur les évolutions techniques pour accompagner la montée en charge (volumétrie, nombre d'utilisateurs, complexité des pipelines).

• Contribuer à la gouvernance technique par la pratique : établir les standards à partir de cas concrets, documenter les décisions techniques.

• Évaluer et prototyper l'intégration de nouveaux composants dans l'écosystème (formats de stockage, outils de catalogue, moteurs de calcul).

Industrialisation & Scalabilité

• Industrialiser les pipelines Data et IA/ML : fiabilité, observabilité, reproductibilité — en mettant en œuvre soi-même les solutions, pas uniquement en les spécifiant.

• Concevoir et implémenter les patterns de déploiement et d'exploitation à l'échelle en collaboration avec les équipes support et l'équipe d'ingénierie de production.

• Mettre en place concrètement les mécanismes de monitoring, d'alerting et de capacity planning adaptés aux workloads Data/IA.

• Structurer le support de niveau 3 (expertise) et accompagner l'équipe de production sur le support de niveaux 1 et 2.

Accompagnement & Montée en compétence

• Conseiller et accompagner les équipes de développement et de data science dans l'utilisation optimale des plateformes.

• Assurer un rôle de référent technique opérationnel au sein de l'équipe — par l'exemple et le pair-working, pas uniquement par le conseil.

• Participer à la veille technologique et réaliser des POCs sur des évolutions pertinentes pour l'écosystème Data/IA.

Environnement fonctionnel

La prestation se déroulera au sein du service en charge :

• Des plateformes Data & IA/ML (Dagster, Trino, Delta Lake/Iceberg, Superset, OpenMetadata)

• Des plateformes Kubernetes (on-prem et Cloud) servant de socle d'hébergement

• Des outils DevOps (intégration continue, déploiement, observabilité)

• Des projets de R&D visant à moderniser le SI (POCs, présentations)

• De l'accompagnement des initiatives IA/ML du groupe

• Des outils de monitoring

Environnement technique

• Data / Orchestration : Dagster, Trino, Apache Spark, Hive, Delta Lake/Iceberg, Superset, OpenMetadata

• IA / ML : Workloads IA/ML sur Kubernetes, outils MLOps

• Hébergement : Kubernetes (Rancher RKE on-prem, AKS Azure), Docker

• DevOps / Observabilité : ArgoCD, Jenkins, Grafana, Prometheus, Sysdig

• Langages : Python, Go

• Versioning / Stockage : GitLab, Artifactory, S3

Livrables attendus

• Mise en œuvre des sujets précités

• Recommandations techniques documentées sur Dagster, Trino et autres outils, appuyées sur des diagnostics concrets

• Plans de scalabilité et roadmap d'évolution du socle Data/IA

Compétences indispensables

• Orchestration de données (Dagster ou équivalent) : Expert

• Moteur de requêtage distribué (Trino ou équivalent) : Expert

• Ingestion & processing de données (Apache Spark) : Maîtrise à Expert

• Écosystème Data/Big Data (Delta Lake/Iceberg, Hive) : Maîtrise à Expert

• Mise à l'échelle de plateformes Data en production : Expert

• Python : Maîtrise

• Systèmes Unix/Linux : Maîtrise

Compétences appréciées

• Conteneurisation (Docker) et orchestration (Kubernetes) : Maîtrise

• Plateformes cloud (Azure AKS) : Connaissance à Maîtrise

• Infrastructure as Code et GitOps : Connaissance à Maîtrise

• Outils MLOps / déploiement de modèles IA : Connaissance

• Développement applicatif (Go, Java) : Connaissance