Machine Learning Engineer >5a – IA Générative & Monitoring LLM - Dataiku @ Paris

Contexte & Enjeux

Dans le cadre de l’accélération de ses initiatives autour de l’IA générative, de l’observabilité des agents IA et de la valorisation des données métier, un acteur majeur du secteur de l’assurance recherche un Machine Learning Engineer expérimenté.

La mission s’inscrit dans un contexte de mise en production et d’industrialisation d’applications basées sur des agents IA, nécessitant la mise en place de dispositifs avancés de monitoring, d’évaluation, de sécurité des modèles, ainsi que le développement de fonctionnalités d’analyse et de recommandation.

L’objectif est de finaliser et renforcer une plateforme de monitoring des agents IA tout en contribuant à plusieurs sujets Machine Learning stratégiques liés à la segmentation client, aux moteurs de recommandation et à l’accompagnement des métiers sur leurs usages de l’intelligence artificielle.

Missions détaillées

Industrialisation et évolution de la plateforme de monitoring des agents IA

• Finaliser l’application de monitoring des agents IA.

• Mettre en place des fonctionnalités d’évaluation offline à partir de datasets d’évaluation.

• Permettre la comparaison et le test de différentes versions d’un même prompt.

• Ajouter la possibilité d’alimenter automatiquement les datasets d’évaluation à partir de traces de production.

• Intégrer dans les traces les informations suivantes :

  • version utilisée ;

  • prompt système ;

  • modèle ;

  • consommation de tokens.

• Développer des fonctionnalités d’évaluation offline permettant la comparaison de différentes versions d’un même agent :

  • changement de modèle ;

  • évolution d’architecture ;

  • autres variantes techniques.

• Intégrer les retours et feedbacks utilisateurs dans les mécanismes de suivi et d’évaluation.

Conteneurisation et déploiement

• Conteneuriser l’application de monitoring.

• Préparer son déploiement dans l’environnement Artifactory.

• Réaliser les tests de l’application conteneurisée.

• Valider les mécanismes de partage de volume entre l’application de monitoring et les applications monitorées.

Sécurité IA et robustesse des modèles

• Concevoir, entraîner et intégrer des modèles de détection de jailbreak et d’injection de prompt en langue française.

• Intégrer ces modèles dans les applications métier existantes.

• Assurer leur remontée et leur suivi dans la plateforme de monitoring.

Cas d’usage métier et IA Générative

• Implémenter les templates ESG.

• Réaliser les campagnes de tests associées aux documents métier.

• Développer les fonctionnalités attendues par la Direction des Investissements.

• Mettre en œuvre une fonctionnalité de recherche web intégrée à l’application (priorité secondaire).

Segmentation et moteur de recommandation

• Finaliser la pipeline de segmentation dans Dataiku.

• Travailler en collaboration avec les équipes BI afin de porter la segmentation dans l’environnement Dataiku.

• Concevoir les fondations du moteur de recommandation.

• Participer à la structuration et à l’industrialisation des données nécessaires aux modèles de recommandation.

Conseil et expertise Machine Learning

• Accompagner les métiers sur différents Proofs of Value (POV) et initiatives IA.

• Apporter un regard critique sur les solutions proposées par des prestataires externes.

• Participer à l’évaluation et au cadrage de nouveaux cas d’usage IA.

• Intervenir sur des sujets tels que :

  • Formation IA ;

  • URL Lab ;

  • Dévolution successorale ;

  • Cas d’usage prévoyance et futurs projets.

Stack Technique & Environnement

Machine Learning & IA Générative

• Machine Learning

• LLM

• Prompt Engineering

• Évaluation de modèles

• Observabilité des agents IA

• Détection de jailbreak

• Détection d’injection de prompt

• Moteurs de recommandation

• Segmentation

Data & Analytics

• Dataiku

• Data Analysis

• Data Architecture

• BI

Développement

• Python

• Développement Backend

• APIs

• Dash (Front-end léger)

DevOps & Industrialisation

• Docker / Conteneurs

• Artifactory

• Déploiement applicatif

• Gestion de volumes partagés

Organisation

• Localisation : Paris.

• Télétravail : 2-3 jours par semaine.

• Démarrage souhaité : Juin 2026.

• Mission longue durée.

Profil recherché

Expérience

• 6 à 9 années d’expérience minimum.

• Solide expérience en Machine Learning Engineering et industrialisation de modèles.

• Expérience significative sur des projets IA générative ou LLM appréciée.

• Capacité à intervenir sur des sujets de conception, d’architecture et de critique de solutions techniques.

Compétences attendues

• Très bonne maîtrise du Machine Learning.

• Bonne connaissance des architectures backend.

• Maîtrise des environnements conteneurisés.

• Connaissance des problématiques MLOps et d’industrialisation.

• Expérience Dataiku appréciée.

• Notions de développement Front via Dash.

• Capacité à travailler avec des équipes Data, BI et métiers.

• Esprit d’analyse et de conseil.

Soft Skills

• Autonomie.

• Esprit critique.

• Capacité de vulgarisation.

• Force de proposition.

• Bon relationnel avec les équipes métier et techniques.