Data Engineer - Banque d'investissement

Contexte

• Recherche d'un data engineer avec un minimum de 4 ans d'expérience
• TJM : 500 euros
• Entité : Banque d'investissement
• Périmètre : La chaîne de crédit corporate (crédit octroyé aux entreprises)
• Enjeu métier : Accompagner les besoins de financement des entreprises pour leurs projets d'investissement. Ces entreprises ont deux leviers : l'émission de titres (actions) ou l'emprunt bancaire via le crédit corporate.
• Caractéristique du produit : Ce sont des crédits avec énormément de customisation possible.

Refonte complète du Data Lake afin de remplacer l’infrastructure legacy par une plateforme moderne, scalable et pleinement gouvernée. Le nouveau lake s’appuiera sur une architecture Medallion et intégrera les technologies suivantes : TrinoDB, Apache Iceberg, Parquet, dbt, Argo Workflows, Apache Superset, Metabase et OpenMetadata.

Une équipe, placée sous la responsabilité du client, démarre le projet en mode « commando » pendant les prochains mois pour livrer rapidement un premier MVP. Nous recherchons des candidats ayant déjà travaillé sur la gestion des métadonnées, le déploiement Kubernetes et l’orchestration via Argo Workflows (ou équivalent).

Missions

Analyse de l’existant & migration

• Cartographier les sources, pipelines et jeux de données actuels (SQL legacy, fichiers plats…).
• Définir la stratégie de migration vers le nouveau lake (Bronze → Silver → Gold).
• Concevoir les plans de bascule en limitant les interruptions de service.

Architecture & ingestion

• Concevoir les couches Bronze / Silver / Gold avec TrinoDB, Apache Iceberg et Parquet.
• Créer des pipelines d’ingestion (batch & near‑real‑time) depuis les systèmes de crédit.

Modélisation & transformation

• Développer les modèles dbt : scripts SQL, tests automatisés, documentation et versionning.
• Harmoniser les schémas (nommage, typage, PK/UK) selon les exigences du domaine crédit.

Orchestration

• Implémenter les workflows de migration et de rafraîchissement avec Argo Workflows (planification, dépendances, monitoring).

Self‑service & visualisation

• Déployer les espaces Apache Superset et Metabase pour que les analystes métier créent leurs dashboards.
• Rédiger des guides d’utilisation et accompagner la montée en compétences.

Gouvernance, catalogue & lineage

• Intégrer OpenMetadata pour le catalogage, le suivi du lineage et la gestion des métadonnées (description, propriétaire, sensibilité).
• Mettre en place des processus de data ownership, de versionning et de validation.

Qualité & validation

• Insérer dans les modèles dbt des tests de qualité (not null, unicité, règles métier spécifiques).
• Définir des indicateurs de suivi (freshness, complétude, anomalies) et des alertes automatiques.

Sécurité & conformité

• Appliquer les standards du groupe (RBAC, data‑masking).
• Contribuer aux audits internes et aux revues de conformité réglementaire.

Collaboration inter‑équipes

• Travailler en étroite coordination avec les équipes métiers.
• Participer aux cérémonies projet et aux ateliers de design.

Compétences techniques attendues

• TrinoDB (SQL fédéré) : Intermédiaire
• Apache Iceberg & Parquet : Intermédiaire
• dbt (modélisation, tests, documentation) : Intermédiaire
• Argo Workflows (orchestration) : Intermédiaire à avancé
• Apache Superset / Metabase (BI) : Intermédiaire
• OpenMetadata (catalogue, lineage) : Intermédiaire
• Architecture Medallion (Bronze/Silver/Gold) : Expérience démontrée
• Migration / refonte d’un Data Lake : Expérience significative
• Gestion de versions (Git), CI/CD (GitHub Actions, GitLab, Jenkins) : Intermédiaire
• Scripting (Python, Bash) : Intermédiaire

1. 4 ans d'expérience minimum en data engineering
2. Expérience avec la gestion des métadonnées
3. Compétences en déploiement Kubernetes et orchestration via Argo Workflows (ou équivalent)
4. Maîtrise intermédiaire de TrinoDB (SQL fédéré)
5. Maîtrise intermédiaire de Apache Iceberg et Parquet
6. Maîtrise intermédiaire de dbt (modélisation, tests, documentation)
7. Compétences intermédiaires à avancées en Argo Workflows (orchestration)
8. Maîtrise intermédiaire de Apache Superset et Metabase (BI)
9. Maîtrise intermédiaire de OpenMetadata (catalogue, lineage)
10. Expérience démontrée avec l'architecture Medallion (Bronze/Silver/Gold)
11. Expérience significative en migration/refonte d’un Data Lake
12. Compétences intermédiaires en gestion de versions (Git) et CI/CD (GitHub Actions, GitLab, Jenkins)
13. Compétences intermédiaires en scripting Python et Bash