Data & AI Engineer - Databricks

Contexte

Nous accompagnons un grand acteur international de l'énergie dans l'industrialisation de ses cas d'usage d'IA générative. Vous rejoignez l'équipe IT d'une de ses business units, qui a déjà mené plusieurs POC et souhaite maintenant les passer en production de façon robuste, sécurisée et maîtrisée en coûts, sur une plateforme Databricks.

Missions

• Qualifier les cas d'usage IA avec les équipes métier et IT : faisabilité, valeur, architecture cible (agent, multi-agents, agentic retrieval)
• Donner aux LLM et aux agents un accès gouverné à la connaissance de l'entreprise (Vector Search, Genie, outils MCP, Model Serving, AI Gateway) et concevoir les stratégies de contexte (sélection des sources, mémoire, prompt engineering)
• Concevoir et développer des agents et systèmes multi-agents (LangGraph, Claude Agent SDK, OpenAI Agents SDK, Databricks Agent Bricks), avec orchestration, guardrails et human-in-the-loop
• Construire et maintenir les pipelines de données qui alimentent les solutions IA (Spark, Delta Lake, Lakeflow / DLT), sur des données structurées et non structurées (documents, PDF, séries temporelles)
• Mettre en place le LLMOps : évaluation (LLM-as-a-judge, golden datasets), tracing et versioning avec MLflow, déploiement via CI/CD et Databricks Asset Bundles, monitoring qualité, latence et coûts en production
• Assurer une veille sur les nouveautés Databricks AI, LLM et frameworks agentiques
• Présenter l'avancement et les démos aux parties prenantes et partager les bonnes pratiques avec la communauté IT

Informations pratiques

• Localisation : La Garenne-Colombes (92)
• Rythme : 2 jours de télétravail par semaine
• Mission en freelance

1. Expertise confirmée en data engineering ou ML engineering sur Databricks

2. Expérience concrète en IA générative, avec au moins un projet agent ou RAG mis en production

3. Bonne maîtrise de Python (PySpark, SDK LLM, API)

4. Pratique des sujets d'évaluation, de monitoring et de gouvernance des LLM

5. Expérience cloud AWS ou Azure (Bedrock, Azure OpenAI)

6. Git et CI/CD

7. Anglais professionnel, environnement international