QA Lead transverse – Applicatif, Delivery & IA

Contexte

Dans le cadre du développement et de l’industrialisation de plusieurs produits digitaux intégrant des fonctionnalités d’intelligence artificielle générative, nous recherchons un QA Lead transverse.

Le consultant sera responsable de la qualité de bout en bout, depuis la validation fonctionnelle des applications jusqu’à la fiabilisation des mises en production et l’évaluation des composants IA.

Il interviendra en collaboration avec les équipes Produit, Développement, DevOps, Architecture, Data/IA et Cybersécurité.

Missions

• Définir et piloter la stratégie QA globale.

• Concevoir les plans de tests et les critères d’acceptation.

• Réaliser et automatiser les tests fonctionnels, API, end-to-end, d’intégration et de non-régression.

• Identifier les parcours critiques et suivre les anomalies jusqu’à leur résolution.

• Intégrer les tests automatisés aux pipelines CI/CD.

• Mettre en place des quality gates et contribuer aux décisions de Go/No Go.

• Fiabiliser les processus de release, de déploiement et de rollback.

• Réaliser des tests de performance, de charge et de résilience.

• Définir une stratégie d’évaluation des fonctionnalités IA et GenAI.

• Construire des jeux de tests et des référentiels de réponses attendues.

• Mesurer la pertinence, la fidélité, la stabilité des réponses et les risques d’hallucination.

• Tester les chaînes RAG, les prompts et la non-régression lors des changements de modèles ou de sources documentaires.

• Vérifier la résistance aux prompt injections, jailbreaks et risques de fuite de données.

• Définir des indicateurs qualité et accompagner les équipes dans une démarche d’amélioration continue.

Compétences recherchées

• Expertise en QA Engineering, automatisation et stratégie de tests.

• Tests web, API, end-to-end et non-régression.

• Playwright, Cypress, Selenium ou équivalent.

• Postman, REST Assured ou équivalent.

• CI/CD : Azure DevOps, GitLab CI, GitHub Actions ou Jenkins.

• SonarQube et mise en place de quality gates.

• Tests de performance : K6, JMeter ou Gatling.

• Bonne compréhension des architectures cloud, API et microservices.

• Maîtrise de Python pour l’automatisation et l’évaluation IA.

• Connaissance des LLM, du prompt engineering et des architectures RAG.

• Outils d’évaluation tels que Promptflow, RAGAS, DeepEval ou équivalent.

• Une connaissance d’Azure OpenAI et d’Azure AI Foundry serait appréciée.

• Sensibilité aux enjeux de sécurité IA, de confidentialité et de protection des données.

Profil recherché

• Environ 7 ans d’expérience minimum en QA et automatisation.

• Expérience comme QA Lead, Test Automation Lead ou référent qualité.

• Expérience dans un environnement cloud, agile et multi-produits.

• Expérience concrète sur des applications intégrant de l’IA générative.

• Capacité à définir une stratégie tout en restant opérationnel.

• Autonomie, esprit critique et excellente communication avec des interlocuteurs techniques et métiers.