Daniels NSHIMIYIMANA

Projet CSRD. Plateforme data sur Microsoft Fabric pour le calcul des indicateurs RSE du groupe sur 3 périmètres : Achats, Training, Fuel et accompagner metier a adoptée Fabric. Conçu l'architecture data sur Microsoft Fabric (Lakehouse, OneLake, Data Factory, Notebooks) Récupéré les fichiers sources depuis SAP Datasphere, SAP S/4HANA (ERP) et MDM vers Fabric (~16M transactions/an) Développé les pipelines de calcul des indicateurs CSRD (achats, formations, énergie) en PySpark sur Fabric : ~10 Md lignes de dépenses analysées Implémenté les contrôles data quality sur les données entrantes : complétude, cohérence, rapprochement inter-sources Optimisé les performances (partitionnement, modélisation Medallion) Mis en place la CI/CD multi-workspace sur Azure DevOps Développé des rapports Power BI de monitoring technique pour l'équipe data (suivi des pipelines et de la qualité) Lead Data Fabric : accompagnement de 1 Data Engineer, 2 Data Analysts et 1 alternant. Environnement technique : Microsoft Fabric (Lakehouse, OneLake, Data Factory, Notebooks), Azure, PySpark, Spark, Python, SQL, Power BI, Azure DevOps, SAP S/4HANA, MDM

Pipelines batch pour le traitement des transactions bancaires des JO Paris 2024, >10M transactions/jour, enjeux d’alimatations données Optimisé les requêtes SQL et scripts Python ETL : +15% de gain sur le batch (100 Go/jour) Mis en place le monitoring d'ingestion avec détection proactive d'anomalies : -60% d'incidents en production Automatisé le contrôle qualité des fichiers entrants (transactions multi-banques) Écrit des scripts Impala pour les rapports analytiques des équipes métiers Encadré les juniors et standardisé la documentation technique Environnement technique : Cloudera (HDFS, Oozie, Impala, Hive), Apache Spark, Prometheus, Shell, GitLab CI

Programme KYC : harmonisation des données clients fragmentées et création d'un référentiel unifié de ~12M clients. Enjeu réglementaire. Implémenté les pipelines Databricks avec Unity Catalog : 10 Md lignes traitées depuis +100 tables MDM Modélisé le référentiel client unifié avec DBT à partir des sources MDM fragmentées Orchestré les pipelines : gestion des dépendances et contrôle qualité intégré Ajouté les tests de validation automatisés DBT à chaque étape de transformation Déployé les métriques Data Quality (complétude, unicité, cohérence) avec rapports quotidiens via Unity Catalog Environnement technique : Azure (Data Lake Storage, Databricks, Delta Live Tables, Unity Catalog), PySpark, SQL, DBT, Delta Lake, Data Modeling, Data Warehousing