Software Engineer Datalake

Contexte

Software Engineer (Datalake) — Basé à Lille (hybride), mission longue.
Équipe Datalake d'une Data Factory responsable du stockage (S3) et du catalogage, de la gouvernance technique du patrimoine de données et de la gestion des métadonnées via des data contracts. L'équipe maintient un repository central des data contracts, permet l'observabilité de la plateforme (usage, lineage) et sensibilise les utilisateurs aux bonnes pratiques d'une modern data stack. Une appétence data et une expérience avec Databricks sont un plus.

Missions

• Garantir la robustesse du data contract registry (Aurora + Python fastAPI).
• Monitorer et prendre des actions proactives de management.
• Assurer le support et l'accompagnement tournant sur les outils de l'équipe (S3, Glue, Unity Catalog, data contract registry).
• Restituer dans le datalake les métadonnées des produits.
• Accompagner et former les utilisateurs ; définir et promouvoir les bonnes pratiques de l'équipe.
• Participer et conseiller lors de la conception des pipelines de données des équipes.
• Développer la gouvernance automatisée (Data contract registry, access management, metadata management).
• Collaborer étroitement avec les staff engineers de la plateforme pour le développement de nouvelles features (ADR).

Outils & Environnement

• Github CI/CD — Confirmé
• Databricks — Avancé
• AWS S3 — Avancé
• Python — Confirmé
• PostgreSQL — Avancé
• FastAPI — Confirmé
• AWS — Confirmé
• Unity Catalog — Avancé
• Aurora — Avancé
• AWS Glue — Avancé
• Hashicorp Vault — Avancé

1. Github CI/CD — Confirmé
2. DATABRICKS — Avancé
3. AWS S3 — Avancé
4. python — Confirmé
5. POSTGRESQL — Avancé
6. fastapi — Confirmé
7. AWS — Confirmé
8. Unity catalog — Avancé
9. AURORA — Avancé
10. AWS Glue — Avancé
11. Hashicorp Vault — Avancé