Ingénieur FinOps IA / LLMOps

Contexte

Dans le cadre de l'accélération de l'adoption de l'intelligence artificielle générative et agentique, un grand groupe du secteur de l'énergie souhaite renforcer son équipe AMIA, chargée de structurer la gouvernance, la sécurité et l'industrialisation des usages IA au sein de la direction des systèmes d'information Commerce.

Le déploiement à grande échelle des outils d'IA générative, notamment Gemini Code Assist, Gemini CLI et les différents modèles de langage accessibles via le portail Multi IA Génératives, nécessite une meilleure maîtrise des consommations et des coûts associés.

Le groupe recherche un Ingénieur FinOps IA / LLMOps capable de mettre en place une supervision consolidée des consommations de tokens, d'identifier les leviers d'optimisation financière et de proposer une stratégie de consommation adaptée aux différents profils utilisateurs.

Le consultant interviendra en collaboration avec les équipes AMIA et TDSO, dans le cadre du programme Boost'IA, ainsi qu'avec les projets pilotes de la direction des systèmes d'information.

Missions

Monitoring et suivi des consommations LLM

• Configurer et exploiter les outils de suivi de consommation disponibles, notamment LightLLM et AI Gateway.

• Centraliser les données de consommation de tokens.

• Mettre en place des indicateurs de suivi par personne, par CSC et par projet.

• Concevoir, compléter et maintenir les dashboards de consommation.

• Fournir des tableaux de bord exploitables par les responsables de prestation et les managers.

Analyse et optimisation des coûts IA

• Analyser les consommations de tokens et les coûts associés aux modèles LLM.

• Comparer les consommations réelles aux budgets alloués.

• Identifier les écarts budgétaires et les usages atypiques.

• Définir des mécanismes d'alerte sur les consommations excessives.

• Proposer et formaliser des leviers d'optimisation :

  • Prétraitement local des documents avant leur transmission aux LLM.

  • Réduction de la taille des contextes.

  • Optimisation des prompts.

  • Utilisation de modèles moins coûteux pour les tâches simples.

• Produire des recommandations opérationnelles de réduction des coûts.

Définition des stratégies de Model Routing

• Identifier et catégoriser les usages par profil : développeur, Product Owner, manager, testeur.

• Segmenter les consommations selon les tâches réalisées : génération de code, synthèse, extraction d'information, rédaction.

• Comparer les modèles disponibles en fonction de leurs performances et de leur tarification.

• Recommander les modèles les plus adaptés à chaque usage.

• Optimiser le rapport performance/coût des modèles.

• Fournir à l'équipe AMIA les spécifications nécessaires pour intégrer une logique de routing intelligent dans le socle IA agentique.

Reporting et gouvernance FinOps

• Produire un rapport FinOps IA mensuel.

• Présenter les consommations consolidées par CSC et par projet.

• Analyser les écarts entre consommation réelle et budgets.

• Formaliser les alertes et recommandations d'optimisation.

• Contribuer aux instances de pilotage Boost'IA : COPIL et COSTRAT.

• Collaborer avec l'équipe TDSO responsable du FinOps global.

Accompagnement et sensibilisation

• Rédiger un guide de bonnes pratiques sur la consommation des tokens.

• Sensibiliser les équipes aux mécanismes de tarification des modèles LLM.

• Expliquer les bonnes pratiques de gestion des prompts et des contextes.

• Produire des supports pour les instances Boost'IA et les référents IA.

• Accompagner les projets pilotes, notamment le programme Horizon, dans l'analyse et l'optimisation de leurs usages IA.

Compétences techniques requises

Expertise attendue :

• FinOps Cloud

  • Expérience sur au moins un Cloud Provider : AWS, Google Cloud ou Azure.

  • Analyse et optimisation des coûts Cloud.

  • Construction de tableaux de bord financiers et opérationnels.

  • Détection d'anomalies et suivi budgétaire.

  • Certification FinOps Foundation appréciée.

• FinOps IA / LLMOps

  • Compréhension des modèles de tarification LLM : tokens input/output, tarification par modèle.

  • Connaissance des outils de monitoring IA.

  • Maîtrise des leviers de réduction de consommation.

  • Familiarité avec AI Gateway et l'observabilité LLM.

• Data Analytics et DataViz

  • Maîtrise de Power BI, Grafana, Looker ou équivalent.

  • Construction de dashboards orientés pilotage.

  • Analyse de données de consommation.

  • Capacité à présenter des indicateurs aux populations techniques et managériales.

• Scripting

  • Python et SQL.

  • Extraction, transformation et analyse des données de consommation.

  • Automatisation des traitements et du reporting.

• Modèles de langage

  • Connaissance fonctionnelle de Claude (Anthropic), Gemini (Google), GPT (OpenAI) et Mistral.

  • Compréhension des performances, coûts et cas d'usage des différents modèles.

Compétences méthodologiques et qualités attendues

Le consultant devra démontrer :

• Une forte autonomie dans la conduite de la mission.

• Une capacité à délivrer rapidement des résultats concrets.

• Une excellente capacité d'analyse des données financières et techniques.

• Une aptitude à vulgariser les problématiques FinOps et IA auprès de populations non techniques.

• Une capacité à proposer des optimisations concrètes et mesurables.

• Une aisance dans les échanges avec différentes équipes : AMIA, TDSO, Boost'IA, contrôle de gestion et responsables de prestation.

• Un esprit d'équipe, d'organisation et d'anticipation.

• La maîtrise de Jira, Confluence, Teams et Outlook est également attendue. La connaissance du système d'information du groupe constitue un atout.

Livrables attendus

Le consultant devra notamment produire :

• Des dashboards de consommation LLM consolidés et actualisés.

• Des mécanismes de suivi des consommations par utilisateur, CSC et projet.

• Des analyses des écarts de consommation par rapport aux budgets.

• Des mécanismes d'alerte sur les consommations anormales.

• Des recommandations d'optimisation des consommations de tokens.

• Une catégorisation des profils d'utilisation et des recommandations de Model Routing.

• Un guide de bonnes pratiques FinOps IA.

• Des supports de sensibilisation pour Boost'IA.

• Un rapport FinOps IA mensuel.

• Les éléments de reporting et de suivi nécessaires aux instances de pilotage.

Les activités devront être suivies et mises à jour dans Jira avant les réunions hebdomadaires.

Organisation et conditions d'intervention

• Localisation : Colombes.

• Télétravail : Jusqu'à 3 jours par semaine (minimum 2 jours sur site).

• Déplacements : possibilité de déplacements ponctuels en France métropolitaine, environ 1 à 2 fois par an, notamment entre Colombes et Toulouse.

• Planning contractuel : Phase d'initialisation : novembre 2026.

1. 3 ans d'expérience en FinOps Cloud et en Data Analytics/DataViz

2. Première expérience en supervision ou optimisation de coûts liés aux modèles de langage

3. Capacité à intervenir sur les aspects techniques : collecte et analyse de données, dashboards, monitoring, scripting

4. Compétences en gouvernance, reporting et optimisation financière

5. Expérience en environnement grand compte, notamment sur des programmes de transformation Cloud et IA

6. Expertise en FinOps Cloud et DataViz