AI INTEGRATION ENGINEER

Appel d'offres – AI Integration Engineering (Data

Lineage assisté)

Contexte

Le client souhaite industrialiser la production du data lineage

réglementaire. Aujourd'hui, une partie importante du lineage est construite manuellement

dans Collibra, ce qui limite le passage à l'échelle et augmente les coûts de maintenance.

Le projet consiste à développer un MVP s'appuyant sur l'IA générative afin de

reconstruire automatiquement un data lineage à partir de sources hétérogènes : SQL/BigQuery, Python, documentation métier (Word, PPT, PDF) et éléments existants dans Collibra.

Le premier cas d'usage porte sur un indicateur Risk (provisions sur valeurs résiduelles)

avec pour objectif de produire un lineage pré-rempli, validable par les experts métier puis réutilisable dans Collibra.

Le consultant pourra également contribuer à d'autres sujets IA/Data Science selon les

priorités de l'équipe.

Objectifs de la mission

• Concevoir, développer et tester un MVP de reconstruction automatique du data

lineage.

• Réduire les tâches manuelles de documentation.

• Produire des livrables réutilisables pour une future industrialisation.

• Comprendre les enjeux métier et réglementaires.

• Analyser des sources techniques variées et documenter les résultats.

Compétences indispensables

• Python (Expert).

• SQL (Expert).

• Cloud Data (GCP, Azure ou équivalent).

• Développement d'interfaces (Streamlit, Dash, React, Gradio...).

• Workflows de validation humaine.

• Architectures orientées graphe / représentation des dépendances.

• Modélisation de données et modèles métier.

• Mise en œuvre de workflows de validation et de traçabilité.

Compétences appréciées

• Data Lineage, Data Catalog, Data Governance.

• Cartographie de flux de données.

• GenAI / RAG (explicabilité, scoring, traçabilité).

• Outils de gouvernance : Collibra, Dataplex ou équivalent.

Livrables attendus

• MVP de validation des propositions de lineage générées par IA.

• Stockage, historisation et réutilisation des résultats.

• Documentation technique et fonctionnelle.

• Intégration dans un environnement cloud sécurisé.

• Transfert de compétences aux équipes internes.

Qualités attendues

• Collaboration avec des équipes Data Science, Data Engineering, Data Governance,

métiers et IT.

• Capacité de vulgarisation.

• Esprit d'analyse, autonomie et force de proposition.

• Respect des engagements et des délais