Chef de projet tests plateforme agentique (H/F)

En quelques mots

Cherry Pick est à la recherche d'un "Chef de projet tests plateforme Agentique" pour un client dans le secteur Bancaire

Description

🏢 Le Contexte : L'Excellence Qualité au Service des Produits IA 

Le département Tech Expertise & Solutions accompagne la transformation digitale des métiers du groupe en faisant émerger des solutions technologiques de pointe (Développement, Data, IA).

Au sein du pôle Assets IA, spécialisé dans la conception de POCs et de produits finis innovants à destination du groupe et de ses clients, vous rejoignez une équipe en charge de développer et déployer une plateforme Agentique stratégique (utilisant des agents autonomes et hybrides augmentés par l'IA Générative).

Pour garantir la robustesse, la fiabilité et la performance de ces solutions basées sur des modèles probabilistes, nous recherchons un(e) Lead QA Engineer / Strategist Senior. Vous aurez pour mission de structurer et d'opérer la stratégie de qualification globale de ce produit en rupture.

🎯 Vos Missions : Stratégie de Test, Automatisation & Qualification IA

Rattaché(e) à l'équipe projet et en étroite collaboration avec les Data Scientists, Développeurs, Business Analysts et chefs de projet, vos responsabilités couvrent :

1. Conception & Stratégie de Test IA :

• Analyser les exigences utilisateurs, les User Stories et les spécifications techniques pour s'assurer qu'elles soient complètes, cohérentes et testables.

• Élaborer des plans de test détaillés adaptés aux contraintes spécifiques des LLM et des architectures agentiques (gestion de la non-déterminabilité, évaluation des prompts, cas limites).

• Définir et concevoir des cas de test manuels et automatisés (fonctionnels, performance, non-régression).

2. Exécution, Automatisation & Amélioration Continue :

• Développer, exécuter et maintenir la suite de scripts de tests automatisés.

• Effectuer les campagnes de tests (manuels et automatisés) pour identifier les bugs, les dérives de comportement et les goulots d'étranglement de performance.

• Documenter rigoureusement les résultats, consigner les anomalies dans les outils de suivi (Jira) et collaborer directement avec les dev/data engineers pour reproduire et résoudre les bugs.

• Être force de proposition pour faire évoluer les méthodologies QA et industrialiser le cadre de qualification des projets IA.

3. Coordination & Structuration (Posture Lead) :

• Participer à l'animation de la démarche qualité au sein de la Feature Team en environnement Agile.

• Garantir la qualité des livrables techniques avant la recette et le déploiement.

• Communiquer efficacement les avancements, taux de couverture et risques auprès du management du pôle Assets IA.

🛠 Compétences Requises & Expertise

• QA & Test (Senior) : Une expérience confirmée de plus de 9 ans en tant que QA Engineer / Test Manager, avec une maîtrise parfaite du cycle de vie du test (IEEE/ISTQB, qualification, automatisation, recette).

• Culture IA / GenAI : Solides connaissances et appétence démontrée pour les sujets d'IA Générative, de LLM et de plateformes agentiques. Compréhension des enjeux spécifiques d'évaluation de ces modèles.

• Méthodologies Agiles : Pratique confirmée du travail en Scrum/Kanban et capacité à structurer des processus robustes dans un environnement dynamique.

• Outillage : Maîtrise des frameworks d'automatisation de test, gestionnaires de bugs/tests (Jira, Xray/Zephyr) et intégration CI/CD.

👤 Le Profil Recherché : L'Ingénieur Rigoureux et Communicant

• Formation : Diplômé(e) Bac+5 d'une École d'Ingénieurs en informatique ou Master 2 équivalent.

• Soft Skills :

  • Excellente communication orale et écrite : Capacité à synthétiser et vulgariser des notions complexes (notamment sur l'évaluation des comportements de l'IA) auprès de profils variés.

  • Coordination & Esprit d'équipe : Sens développé du service, aisance relationnelle et posture collaborative avec des profils pluridisciplinaires (Data Engineers, UX, Métier).

  • Rigueur & Proactivité : Grande autonomie, esprit d'initiative et capacité à imposer des standards de qualité élevés sans freiner l'innovation.