Data Engineer – Socle agentique IA / – Saint-Denis

CONTEXTE Mission de conception et de mise en œuvre d'un socle technique agentique IA au sein d'une entité IT d'un grand compte du Transport ferroviaire. Le périmètre couvre la construction de pipelines d'ingestion de données, la mise en place du stockage objet, l'exposition via API et la gouvernance des données alimentant des agents IA. La mission s'inscrit dans un contexte hybride, basé à Saint-Denis, pour une durée initiale d'un an ferme. MISSIONS PRINCIPALES - Concevoir et implémenter les pipelines d'ingestion de données alimentant le socle agentique IA - Mettre en place et administrer le stockage objet (formats Parquet, JSON) - Développer et exposer des API de données à destination des agents IA - Déployer et opérer les composants du socle sur infrastructure Kubernetes - Implémenter les mécanismes de Retrieval-Augmented Generation (RAG) pour l'alimentation des agents - Définir et appliquer les règles de gouvernance des données sur le périmètre du socle - Assurer la qualité, la traçabilité et la documentation des flux de données produits - Contribuer à l'architecture cloud du socle et aux choix techniques associés COMPETENCES REQUISES - Python (développement des pipelines et composants du socle agentique) - SQL (requêtage et manipulation de données) - Kubernetes (déploiement et orchestration des composants du socle) - RAG (Retrieval-Augmented Generation) (alimentation des agents IA en données contextuelles) - Pipelines d'ingestion (conception et mise en œuvre des flux de données) - Stockage objet (gestion du stockage des données du socle) - API (exposition des données aux agents IA) - Parquet (format de stockage des données) - JSON (format d'échange de données) - Cloud (infrastructure d'hébergement du socle) - Gouvernance des données (définition et application des règles de qualité et traçabilité) COMPETENCES SOUHAITEES - LangChain / LlamaIndex (frameworks d'orchestration d'agents IA) - Apache Kafka (streaming de données en temps réel) - Apache Spark (traitement distribué de données volumineuses) - Docker (conteneurisation des composants) - MLflow / DVC (traçabilité des expérimentations et versioning des données) - Anglais technique (lecture de documentation et échanges techniques) PROFIL RECHERCHE Data Engineer expert avec minimum 7 ans d'expérience, dont une pratique avérée sur les architectures de données modernes (pipelines, stockage objet, cloud, Kubernetes) et une exposition concrète aux problématiques d'IA générative et de RAG. Le candidat doit démontrer une maîtrise de bout en bout de la chaîne de données, depuis l'ingestion jusqu'à l'exposition API, dans un contexte de construction de socle technique. Autonomie, rigueur dans la gouvernance des données et capacité à travailler en environnement hybride avec des parties prenantes techniques multiples sont indispensables.

Data Engineer expert avec minimum 13 ans d'expérience, dont une pratique avérée sur les architectures de données modernes (pipelines, stockage objet, cloud, Kubernetes) et une exposition concrète aux problématiques d'IA générative et de RAG. Le candidat doit démontrer une maîtrise de bout en bout de la chaîne de données, depuis l'ingestion jusqu'à l'exposition API, dans un contexte de construction de socle technique. Autonomie, rigueur dans la gouvernance des données et capacité à travailler en environnement hybride avec des parties prenantes techniques multiples sont indispensables.