Data Scientist — Évaluation & Sécurisation des LLMs | Secteur Financier

Type de mission : Freelance Secteur : Banque / Services financiers Localisation : Montreuil — 50% télétravail Démarrage : Dès que possible Durée : 3 ans

Contexte de la mission

Dans le cadre du déploiement de l'Intelligence Artificielle générative au sein d'un grand groupe bancaire, nous recherchons un Data Scientist spécialisé dans l'évaluation des modèles de langage (LLM). La mission vise à structurer et mettre en oeuvre un cadre rigoureux d'évaluation, de benchmark et de sécurisation des LLM utilisés ou envisagés pour des cas d'usage métiers : assistance aux collaborateurs, analyse documentaire, génération de contenus, aide à la décision et automatisation de processus.

Missions principales

Évaluation des LLM Définir les protocoles et métriques d'évaluation adaptés aux cas d'usage bancaires (exactitude, pertinence, factualité, robustesse, conformité). Mettre en place des jeux de tests représentatifs, documenter les résultats et formuler des recommandations.

Benchmark comparatif Concevoir et conduire des benchmarks entre plusieurs modèles LLM (propriétaires, open source, internes). Comparer les modèles selon des critères de performance, coût, latence, sécurité et conformité. Produire des rapports exploitables par les équipes métiers, IT, sécurité et conformité.

Red teaming et sécurité Définir et exécuter des scénarios de red teaming adaptés aux risques de l'IA générative : prompt injection, jailbreak, hallucination, data leakage, biais, toxicité. Analyser les vulnérabilités détectées et proposer des mesures de mitigation en collaboration avec les équipes sécurité, risques et conformité.

Industrialisation Mettre en place des pipelines d'évaluation automatisée, construire des datasets internes anonymisés, définir des référentiels de métriques et contribuer à l'intégration des résultats dans les outils de gouvernance IA.

Expérience : 5 ans minimum en Data Science, dont au moins 2 ans sur des sujets d'IA générative et d'évaluation de LLM.

Compétences techniques attendues

• Maîtrise des grands modèles de langage : GPT, Claude, Mistral, LLaMA et équivalents

• Expérience en évaluation de modèles NLP : métriques automatiques et évaluation humaine

• Connaissance des frameworks d'évaluation : RAGAS, DeepEval, Giskard, LangChain, LlamaIndex

• Pratique du red teaming appliqué à l'IA générative

• Maîtrise de Python, des notebooks et des pipelines de données

• Connaissance des architectures RAG, du fine-tuning et des techniques de quantization

Compétences transverses

• Capacité à travailler avec des équipes pluridisciplinaires (métiers, sécurité, conformité, risques)

• Rigueur méthodologique et capacité à documenter et restituer des résultats complexes à des interlocuteurs non techniques

• Sensibilité aux enjeux réglementaires du secteur bancaire, appréciée

Livrables attendus

Cadre méthodologique d'évaluation des LLM, protocoles de test, jeux de données documentés, corpus de prompts adversariaux, rapports de benchmark et d'évaluation, analyses de risques, recommandations de mitigation, tableaux de bord de suivi, scripts et pipelines d'évaluation automatisée.

Cette mission s'adresse à un profil senior, à l'aise dans un environnement exigeant, capable d'autonomie et de conseil auprès des parties prenantes.