Data engineer

La mission s’inscrit dans un projet de transformation des données issues d’outils legacy afin de les rendre exploitables dans le cadre du déploiement d’une nouvelle solution. L’objectif est de préparer, structurer et fiabiliser ces données pour les transmettre à un intégrateur en charge de leur implémentation.

Dans ce cadre, le rôle implique une collaboration étroite avec les équipes projets, les équipes data et les métiers afin de comprendre les systèmes existants, leurs contraintes et les besoins associés. Il s’agit également de documenter les sources de données, les règles de transformation existantes et d’assurer une bonne compréhension globale de l’écosystème data.

La mission se déroule dans un environnement technique orienté cloud, avec des enjeux forts de qualité, de conformité et de structuration des données, ainsi que de mise en place de pipelines de transformation adaptés.

• Analyser et comprendre les systèmes sources ainsi que les données existantes

• Collaborer avec les parties prenantes pour identifier les besoins, contraintes et datasets à transformer

• Documenter les sources de données et les règles de transformation existantes

• Concevoir et développer des pipelines de transformation de données robustes et évolutifs

• Garantir la qualité, l’intégrité et la conformité des données transformées

• Implémenter des règles de transformation complexes pour répondre aux standards attendus

• Assurer la mise à disposition des données auprès de l’intégrateur

• Vérifier la conformité des données avec les formats, structures et règles de validation définies

• Mettre en place des mécanismes de contrôle de qualité en collaboration avec les équipes concernées

• Participer aux phases de tests : unitaires, intégration et UAT

• Contribuer à la validation des données transformées

• Travailler dans un environnement technique incluant DBT, SQL, outils cloud (type S3, Databricks), CI/CD et outils de versionning (Git, Github)

• Appliquer des pratiques de data quality testing et assurer la fiabilité des pipelines