Data Engineer Lakehouse Snowflake - Freelance

Contexte

Dans le cadre de l’évolution d’un Datahub vers une architecture Data Lakehouse décentralisée, la mission s’inscrit dans une transformation progressive d’une architecture BI classique (ETL Talend, DWH centralisé) vers un modèle cible de type Lakehouse / Data Mesh.

Cette trajectoire comprend :

• La migration des flux existants
• La mise en place de nouvelles zones data (Landing Zone, Data Lake, Datamarts, Data Products)
• Le décommissionnement progressif de Talend

L’architecture cible repose sur Snowflake comme cœur du Lakehouse et AWS comme socle d’interfaçage et de collecte des données :

• Landing Zone : zone d’atterrissage des flux entrants (SFTP, API, bases de données, fichiers)
• Lakehouse : données transformées, normalisées et historisées
• Data Products : exposition des jeux de données métiers
• Analytics & Exploitation : BI, self-service, Power BI

Missions

• Concevoir et implémenter une architecture Lakehouse Snowflake
• Migrer les traitements ETL Talend vers des patterns ELT natifs Snowflake
• Industrialiser les pipelines data et renforcer la gouvernance
• Accompagner la bascule d’architecture et le décommissionnement de Talend

Responsabilités principales

Architecture & Data Lakehouse

• Conception des zones Landing, Lakehouse et Data Products
• Mise en œuvre des patterns ELT et Data Mesh

Ingestion & Transformation

• Mise en place des mécanismes d’ingestion temps réel et batch via Snowpipe
• Développement des transformations avec Snowflake SQL et Snowpark (Python)

Sécurité & Gouvernance

• Définition de la stratégie RBAC Snowflake
• Gestion des rôles, accès, tagging et masking

Industrialisation & Run

• Supervision, reprise sur incident et optimisation des coûts
• Automatisation et mise en place de CI/CD Data

AWS & Interfaces

• Développement d’interfaces via AWS Lambda (JavaScript / TypeScript)

Compétences requises

Compétences obligatoires

• Snowflake : SQL, Snowpipe, Snowpark, RBAC, supervision
• Python et SQL avancé
• AWS (Lambda, services serverless)

Compétences appréciées

• Power BI
• Expérience sur des architectures Data Lakehouse / Data Mesh

Livrables attendus

• Pipelines Snowflake industrialisés
• Modèles Lakehouse documentés
• Stratégie de migration et plan de décommissionnement Talend

Conditions de travail

• Type de contrat : Freelance / Prestation
• Localisation : Limitrophe Paris (2 jours de télétravail)

1. Maîtrise de Snowflake : SQL, Snowpipe, Snowpark, RBAC, supervision
2. Compétences avancées en Python et SQL
3. Expérience avec AWS (Lambda, services serverless)
4. Connaissance appréciée de Power BI
5. Expérience sur des architectures Data Lakehouse / Data Mesh