AI Software Engineer

Senior Development Manager

Software Engineer

Adjoint administratif

Dassault système

<ul><li>Problématique : La création de comportements interactifs (behaviors) en 3D nécessitait une expertise avancée en JavaScript et une connaissance approfondie d’une API propriétaire complexe.</li><li>Solution :<ul><li>Base de connaissances vectorielle (FAISS + embeddings) à partir de la documentation API.</li><li>Agent ReAct pour décomposer et reformuler les requêtes complexes.</li><li>Fine-tuning QLoRA du LLM sur des exemples internes afin de spécialiser le modèle au scripting propriétaire.</li><li>Logique conversationnelle permettant d’itérer sur les scripts générés et de les affiner progressivement.</li><li>Déploiement d’un MCP (Model Context Protocol) pour la gestion sécurisée et structurée des échanges entre l’agent et les LLM.</li><li>Intégration finale dans Creative Experience via la création d’un panel natif en C++, encapsulant l’interface web de l’assistant.</li></ul></li><li>Résultats :<ul><li>Génération de scripts valides, exploitables et conformes à l’API.</li><li>Réduction significative du temps de développement et des erreurs.</li><li>Accessibilité accrue pour des utilisateurs non-experts en programmation.</li><li>DEMO : (Pour voir une video complète, contactez moi)<div class="image-container"><div class="image-row-wrapper"><div class="image-wrapper"><img src="https://cdn.collective.work/cmgax41no52x75sd75fnd1e0c.png"><div class="image-overlay"></div></div></div></div></li></ul></li><li>Conclusion : Ce projet démontre la faisabilité d’un assistant IA complet, combinant RAG + fine-tuning QLoRA + logique conversationnelle + intégration C++/MCP, pour rendre la scénarisation interactive plus intuitive, rapide et productive.</li><li>Technologies et outils utilisés :<h3> Langages de programmation :</h3><ul><li>Python 3 : développement du pipeline Agent-RAG, parsing des données, interface Gradio.</li><li>C++ : création du panel natif intégré dans Creative Experience via SypStyle.</li><li>JavaScript : langage cible des scripts (behaviors) générés.</li></ul><h3>Frameworks &amp; bibliothèques IA:</h3><ul><li>LangChain/LangGraph : implémentation de l’agent (ReAct, décomposition de requêtes).</li><li>Transformers (Hugging Face) : utilisation des modèles de langage et embeddings.</li><li>QLoRA : fine-tuning léger du LLM sur les exemples internes de scripting.</li><li>Vector databases &amp; embeddings.</li></ul><h3> Interfaces &amp; intégration:</h3><ul><li>Gradio : développement de l’interface web utilisateur (chat + affichage scripts).</li><li>MCP (Model Context Protocol) : déploiement pour la gestion des échanges sécurisés entre l’agent et les LLM.</li></ul><h3> Outils de traitement de données:</h3><ul><li>BeautifulSoup (Python) : parsing de la documentation HTML (JSDoc API).</li><li>JSON Schema : format structuré imposé au LLM pour garantir la validité des sorties.</li><li>ACP (Analyse en Composantes Principales) : visualisation des embeddings.</li></ul><h3>Environnement &amp; gestion: </h3><ul><li>FastAPI : serveurs internes pour communiquer avec les modèles.</li><li>Docker : déploiement et encapsulation de l’environnement.</li><li>Git : gestion de version et collaboration.</li></ul></li></ul>

Développement d’un assistant intelligent intégrant l’IA générative dans Creative Experience (Dassault Systèmes) afin de transformer une idée en langage naturel en scripts JavaScript exploitables, facilitant ainsi la création d’expériences 3D interactives sans nécessiter d’expertise en programmation.

LLMs / Large language models

DevOps

Massin a été très efficace, a su proposer des solution, justifier ses solutions et expliquer clairement son travail et pour finir, aboutir à un résultat meilleur que celui attendu !

IA Générative pour la Scénarisation Dynamique d’Objets 3D : Assistant IA basé sur Agent-RAG

INA 

1. Préparation et traitement des données<ul><li>Constitution d’un corpus de 50 films de genres variés (drame, comédie, action) pour capturer la diversité vocale et émotionnelle.</li><li>Extraction et séparation des pistes audio VO/VF à l’aide de ffmpeg et librosa.</li><li>Conversion des pistes en un format standardisé (MP3 48kHz mono) et synchronisation temporelle précise entre les versions originales et doublées.</li><li>Nettoyage, normalisation et alignement des segments audio à l’aide de techniques de Dynamic Time Warping (DTW) pour obtenir des paires parfaitement correspondantes.</li></ul>2. Reconnaissance et segmentation vocale (ASR &amp; Diarization)<ul><li>Utilisation d’un pipeline de diarization et transcription automatique pour détecter et segmenter les différents locuteurs.</li><li>Génération de fichiers structurés au format JSON contenant les timestamps, identifiants de locuteurs et transcriptions des dialogues.</li><li>Préparation de ces données pour alimenter les modules de traduction et de synthèse vocale.</li></ul>3. Traduction et adaptation linguistique (LLM + Agents IA)<ul><li>Conception d’un système d’agents intelligents basé sur des modèles LLM (notamment GPT-4) :<ul><li>Agent de traduction sémantique : adapte le texte en respectant les nuances émotionnelles, le ton et les références culturelles.</li><li>Agent de validation structurelle : contrôle la cohérence des traductions via Pydantic et corrige automatiquement les erreurs de format.</li><li>Agent de cohérence stylistique : vérifie la fluidité linguistique et le respect du style de chaque personnage.</li></ul></li><li>Évaluation des performances par Round-Trip Translation, avec calcul des scores BLEU et BERTScore pour mesurer la fidélité sémantique et la précision lexicale.</li></ul>4. Synthèse vocale et transfert de style<ul><li>Développement d’un modèle de synthèse vocale basé sur des transformations par flux (flow-based models).</li><li>Conception du module Styler, cœur du système, capable de transférer le style vocal (intonation, rythme, expressivité) d’une voix de référence vers la voix traduite.<ul><li>Cross-Attention pour aligner les informations entre la source et la référence.</li><li>MultiScaleStyleEncoder pour encoder les caractéristiques stylistiques à plusieurs échelles.</li><li>Flow-based transformations pour ajuster les représentations latentes de manière réversible et fidèle.</li></ul></li><li>Génération des spectrogrammes audio via STFT, extraction des vecteurs latents et reconstruction de la voix synthétique avec un décodeur audio.</li><li>Optimisation du modèle avec AdamW et pertes combinées :<ul><li>Perte de contenu (HuBERT) pour conserver le sens,</li><li>Perte de style (MSE) pour préserver la texture et l’identité vocale.</li></ul></li></ul>Résultat final Le pipeline final est un système end-to-end de doublage automatisé capable de traduire, adapter et générer des dialogues doublés réalistes. Il combine la traduction intelligente par LLM, la transformation vocale conditionnée et une synthèse audio haute fidélité, tout en garantissant la cohérence émotionnelle et culturelle du discours original.

Le projet DeepDub, réalisé en collaboration avec l’Institut National de l’Audiovisuel (INA), visait à concevoir un système de doublage automatisé capable de reproduire la voix d’un acteur dans une autre langue tout en conservant son timbre, son style et ses émotions. J’ai participé à la conception du pipeline complet, de la préparation des données jusqu’à la synthèse vocale, en intégrant des agents d’intelligence artificielle et des modèles de deep learning multimodaux.

Data Science

Machine Learning

Doublage automatisé par Deep Learning (Deep Dub)

AI/ML Engineer

R&D AI/ML Engineer

Deep Learning Research intern

Automation of personalized programming exercise generation via LLMs for the design of an intelligent tutoring system for students.

Massin ASSOUL

AI/ML Engineer

Recommandé par

À propos

Expérience de travail

R&D AI/ML Engineer

Deep Learning Research intern

Research intern

Formation

Pierre and Marie Curie University

Sorbonne Université

Ecole Nationale Polytechnique

Ecole Nationale Polytechnique

Ecole Nationale Polytechnique

Lycée privée les iris

Portfolio

IA Générative pour la Scénarisation Dynamique d’Objets 3D : Assistant IA basé sur Agent-RAG

Dassault système

Doublage automatisé par Deep Learning (Deep Dub)

INA

Talents

Recruteurs

À propos