AI Engineer / Data Scientist GenAI — RAG, LLM Evaluation & Agentic AI

Type de mission : Freelance
Localisation : Montreuil
Télétravail : 50 %
Démarrage : Dès que possible
Durée : 3 ans
Secteur : Grand groupe bancaire

Contexte

Dans le cadre de l’industrialisation de ses usages d’Intelligence Artificielle générative, notre client recherche un profil senior capable de concevoir, évaluer et sécuriser des solutions basées sur des LLM (Large Language Models).

La mission s’inscrit au sein d’une entité dédiée aux enjeux de sécurité et de services IT. Le profil interviendra sur des systèmes RAG (Retrieval-Augmented Generation), des agents IA et des bases documentaires internes utilisées par les équipes métiers et IT.

Missions principales

• Concevoir et industrialiser des architectures RAG de bout en bout.

• Traiter des documents hétérogènes : PDF, Word, e-mails, documents scannés et bases de connaissances.

• Mettre en place des stratégies de recherche hybride : recherche lexicale, embeddings, reranking et éventuellement Graph RAG.

• Garantir la traçabilité des sources et limiter les hallucinations des modèles.

• Comparer différents modèles et configurations selon la qualité, la latence, le coût et la robustesse.

• Mettre en place des dispositifs d’observabilité et d’évaluation des réponses générées.

• Développer des agents IA capables d’interagir avec des outils et des systèmes métiers.

• Participer à la sécurisation des solutions : guardrails, contrôle des entrées et sorties, protection des données et prévention des prompt injections.

• Produire la documentation technique et présenter les résultats aux équipes IT, sécurité et métiers.

Environnement technique

Python, LangChain, LlamaIndex, Haystack, Langfuse, Phoenix, vLLM, FastAPI, Docker, Kubernetes, AWS, Azure, GCP, vector stores, embeddings, BM25, reranking, Neo4j, Graph RAG, OCR, MLflow et CI/CD.

Profil recherché

Nous recherchons un profil senior de type AI Engineer, LLM Engineer, Data Scientist ou AI Architect, avec une expérience concrète de mise en production de systèmes GenAI.

Les compétences attendues sont les suivantes :

• Expérience confirmée sur les architectures RAG et les agents IA.

• Maîtrise du traitement de documents non structurés et des pipelines d’ingestion.

• Expérience de déploiement et d’industrialisation de solutions IA.

• Bonne compréhension de la qualité des réponses LLM : pertinence, factualité, cohérence, traçabilité et hallucinations.

• Maîtrise de Python et des environnements cloud ou conteneurisés.

• Capacité à travailler de manière autonome et à prendre en charge un sujet de bout en bout.

• Très bonne communication orale et écrite en français, avec aisance pour présenter des sujets techniques à des interlocuteurs métiers.

Une expérience avec RAGAS, DeepEval, LLM-as-a-Judge, red teaming ou prompt injection constitue un avantage, mais n’est pas indispensable si le candidat possède une solide expérience de construction et de fiabilisation de systèmes RAG en production.

Pourquoi rejoindre la mission ?

Il s’agit d’une mission longue de trois ans, au cœur des enjeux d’industrialisation et de sécurisation de l’IA générative dans un environnement exigeant. Le profil sélectionné aura une forte visibilité transverse et contribuera directement à la mise en place de solutions LLM fiables, observables et exploitables à grande échelle.