Data Engineer Snowflake

Data Engineer intervenant dans le cadre d’un projet de transition vers une architecture Data Lakehouse basée sur Snowflake.

La mission porte notamment sur la migration de l’existant Talend, l’industrialisation des pipelines de données ainsi que le support des activités de Run.

CONTEXTE

• Secteur : transport.
• Transformation du DataHub vers une architecture Data Lakehouse.
• Migration progressive d’une architecture BI traditionnelle, reposant sur un ETL Talend et un DWH centralisé, vers une architecture cible de type Lakehouse.
• Déploiement de nouvelles zones data : Landing Zone, Data Lake, Datamarts et Data Products.
• Décommissionnement progressif de Talend.

MISSIONS

• Participer à la transition vers l’architecture Lakehouse
◦ Contribuer à la migration des flux de données existants.
◦ Participer à l’implémentation de la nouvelle architecture basée sur Snowflake.

• Contribuer au décommissionnement de Talend
◦ Recenser et documenter les jobs Talend concernés par la migration.
◦ Prendre part à la définition et à la mise en œuvre de la stratégie de migration et de décommissionnement de Talend.

• Prendre en charge les projets et demandes d’évolution sur le périmètre data existant
◦ Concevoir et réaliser les développements nécessaires.

• Assurer le traitement des incidents et le support au Run
◦ Suivre les incidents pris en charge et assurer leur documentation.
◦ Effectuer les analyses de causes racines et mettre en œuvre les correctifs associés.

ORGANISATION & QUOTIDIEN

• Mission réalisée sous la responsabilité du Responsable de l’équipe technique.
• Accompagnement du Techlead dans le cadre du projet de migration vers le Lakehouse.
• Processus de sélection réalisé conjointement avec les différentes parties prenantes.