Consultant LLMOps / Model Serving

Contexte

Dans le cadre du développement d’un socle agentique destiné à industrialiser l’usage de modèles d’IA en production, une équipe recherche un consultant expérimenté en LLMOps / MLOps et Model Serving.

La mission consiste à mettre en place et faire évoluer les mécanismes permettant d’exposer les modèles aux agents IA dans un environnement de production maîtrisé, avec de fortes exigences en matière de performance, observabilité, sécurité, traçabilité et optimisation des coûts.

Le consultant intégrera une équipe dédiée au socle agentique, en interaction étroite avec les équipes de développement d’agents, les profils Data/IA, les équipes SRE et les équipes d’exploitation.

Missions

• Mise en place et évolution des services d’exposition et d’inférence des modèles.
• Conception des interfaces permettant aux agents IA d’accéder aux modèles.
• Gestion du versioning, du routage, des endpoints et des paramètres de génération.
• Définition et optimisation des quotas, timeouts et stratégies de fallback entre différents modèles.
• Contribution aux choix d’hébergement et de dimensionnement : GPU, Kubernetes, services managés ou déploiement interne.
• Mesure et optimisation de la latence, du débit, des taux d’erreur, de la consommation GPU et des coûts d’utilisation.
• Mise en place de mécanismes d’observabilité, de monitoring, de dashboards et d’alerting dédiés aux services modèles.
• Optimisation des paramètres d’inférence, de la mise en cache et, lorsque pertinent, des stratégies de batch.
• Mise en place des traces nécessaires au suivi de la qualité et aux arbitrages économiques.
• Traçabilité des versions de modèles utilisées par les agents.
• Contribution aux mécanismes de validation avant exposition d’un modèle à un cas d’usage.
• Définition et documentation des standards et procédures LLMOps, notamment en matière de changement, validation et rollback.
• Contribution à l’industrialisation et à l’automatisation des pratiques d’exploitation.
• Collaboration avec les équipes Data/IA, SRE, développement d’agents, architecture, sécurité et opérations.
• Participation aux instances de suivi et de pilotage ainsi qu’à la mise à jour des indicateurs d’avancement.
• Participation ponctuelle à des bascules de versions ou à des tests de charge nécessitant une disponibilité en horaires adaptés.

Livrables attendus

• Service d’exposition des modèles aux agents, versionné et documenté.
• Dashboards de suivi de la latence, des erreurs, de la consommation GPU et des coûts.
• Système d’alerting associé aux services modèles.
• Procédures de validation, changement et rollback.
• Documentation des standards et pratiques LLMOps à destination des équipes d’exploitation.
• Traces permettant les analyses de qualité et les arbitrages économiques.
• Mécanismes de traçabilité des versions de modèles utilisées par les agents.
• Tableaux de suivi et indicateurs de pilotage.
• Documentation technique et transfert de connaissances auprès des équipes.

Environnement technique

• LLMOps / MLOps
• Model Serving
• APIs d’inférence
• Kubernetes
• GPU
• Python et écosystème IA
• Registry et versioning de modèles
• Gouvernance des modèles
• Observabilité, monitoring et alerting
• Dashboards
• Déploiement applicatif
• Dimensionnement et optimisation des ressources
• Gestion des quotas et des coûts
• Sécurité des services IA
• Automatisation et pratiques d’exploitation
• Environnements de production critiques

Informations générales

• Expérience requise : Plus de 7 ans
• Démarrage : ASAP
• Interventions ponctuelles : possibilité d’horaires adaptés lors des bascules de versions ou des tests de charge

1. Expérience significative en LLMOps ou MLOps dans des environnements de production
2. Très bonne maîtrise du Model Serving et des APIs d’inférence
3. Expérience concrète de la gestion et de l’optimisation de ressources GPU
4. Maîtrise de Kubernetes et du déploiement de services applicatifs
5. Capacité à analyser et optimiser les performances : latence, débit, erreurs, consommation GPU et coûts
6. Maîtrise des problématiques d’observabilité appliquées aux services modèles
7. Bonne maîtrise de Python et de l’écosystème IA
8. Expérience en versioning, registry et gouvernance des modèles
9. Bonne compréhension des problématiques de sécurité, quotas, coûts et contrôle des usages
10. Expérience dans la mise en œuvre de mécanismes de routage, timeout et fallback entre modèles
11. Capacité à administrer des versions de modèles, endpoints et paramètres d’inférence
12. Capacité à participer à des choix d’architecture et d’hébergement de modèles
13. Expérience des environnements de production fortement industrialisés et automatisés
14. Capacité à documenter les choix techniques et à transférer les bonnes pratiques aux équipes
15. Aisance dans la collaboration avec des équipes techniques variées : Data/IA, SRE, développement, architecture, sécurité et exploitation