Jalal EL MEDAGHRI EL ALAOUI

Projet Modernisation d’Optimus : Migration complète d’un applicatif critique de la RATP dédié à la comptabilisation du trafic voyageur vers une architecture moderne basée sur Databricks. Ce projet stratégique vise à fiabiliser et sécuriser les données diffusées auprès de plusieurs instances décisionnelles, telles que IDFM et le Ministère des Transports, en s’appuyant sur une plateforme cloud évolutive • Migration de l’écosystème Big Data - Analyse et refonte des traitements existants en Spark (Scala), Hive, Shell et Oozie, migrés vers Databricks (Spark 3.5.2 / Scala 2.13) avec intégration de Delta Live Tables - Transposition des workflows d’orchestration Oozie vers les chaînes d’exécution natives Databricks, en respectant l’ordonnancement critique de la chaîne applicative • Fiabilisation des traitements métiers - Mise en oeuvre de tests automatisés de non-régression pour garantir la cohérence entre les résultats produits par l’ancien et le nouveau système - Participation à la consolidation des flux critiques de validation métier (journaliers et mensuels) • Qualité et gouvernance des données Réalisation de contrôles qualité sur les données agrégées, et analyse mensuelle des écarts pour assurer la fiabilité des indicateurs diffusés aux entités décisionnelles (IDFM, Ministère des Transports) • Méthodologie et livrables - Travail en méthodologie Agile, avec des sprints de 2 semaines, en lien direct avec les équipes MOE et PO - Livraison continue des pipelines migrés, déployés sur des environnements Databricks préconfigurés Env. Technique : Scala, Databricks, S3 AWS, Delta lake, Cloudera, Hadoop, Gitlab, jira

Projet Sandie : consiste à migrer intégralement l’application OSCAR, qui gère les données du réseau électrique d’Enedis (localisation des composants, coupures et leurs motifs, etc), vers un environnement plus moderne et performant. Dans ce cadre, l’écosystème Hadoop est remplacé par Databricks afin d’optimiser le traitement des données et d’améliorer les capacitésanalytiques • Intégration de modules ETL - Conception et déploiement d’une solution ETL, permettant le calcul de tables sur des périodicités quotidiennes, mensuelles et annuelles de plusieurs domaines fonctionnels - Administration des logs fonctionnels (HBase, S3 AWS) et coordination avec les équipes techniques pour le suivi et la mise en production des flux ETL • Migration de Hadoop vers Databricks - Orchestration et planification des flux ETL via Apache Airflow (DAGs, dépendances, relances automatiques, alerting) - Mise en place de flux d’ingestion pour automatiser le transfert de données depuis Hadoop (HDFS/Hive) vers Databricks, avec normalisation légère et suivi des flux - Adaptation des jobs Hadoop existants pour tirer parti des fonctionnalités avancées de Databricks, telles que Delta Lake pour la gestion transactionnelle et l’optimisation des performances des données • Automatisation et Calcul des Indicateurs - Développement d’un moteur de règles en PySpark pour automatiser le calcul des indicateurs métier complexes - Validation rigoureuse des calculs avec les équipes métiers pour garantir la conformité aux spécifications fonctionnelles • Amélioration de l’Infrastructure de Données - Publication des données enrichies sur des vues métiers Databricks, rendant les informations accessibles de manière centralisée pour les analystes - Transition des tables Hive vers le système Delta Lake, garantissant une meilleure cohérence des données et une gestion simplifiée des versions • Migration des Rapports vers Power BI - Collaboration avec les Data Analysts pour migrer les rapports SAP BO existants vers Power BI, en s’appuyant sur les indicateurs adaptés et fiables

Projet : Mise en place d’une plateforme de contrôle et d’harmonisation des données internationales. Le but est de Garantir la cohérence, la complétude et l’uniformité des données produits et business entre plusieurs zones géographiques (Japon, Corée, Chine, Indonésie) via BigQuery (GCP) et Power BI • Préparation, nettoyage et harmonisation des données issues des entrepôts régionaux dans BigQuery • Conception et automatisation de règles de contrôle qualité (complétude, unicité, cohérence) pour fiabiliser l’intégration des données • Orchestration des chargements BigQuery et des règles de contrôle qualité via Apache Airflow (Cloud Composer), garantissant fiabilité et automatisation des workflows inter-pays • Création de dashboards Power BI permettant de suivre la qualité, la conformité et la disponibilité des données • Supervision de la conformité et de l’uniformité des données entre les entrepôts régionaux et la plateforme centrale • Réduction de 30% des anomalies produits (doublons, incohérences, erreurs de complétude) grâce à l’harmonisation et aux contrôles automatisés • Collaboration avec les équipes métiers et techniques (Data Engineers, Business Analysts) pour la correction des écarts et l’amélioration des pipelines de données • Contribution à la mise en place d’un référentiel international de données produits favorisant une vision unifiée et fiable à l’échelle mondiale Env. Technique : Power-bi, BigQuery, Python, GCP, Airflow, Gitlab

Projet Greencity : Mise en place d’une plateforme data sur Microsoft Azure intégrant Delta Lake (architecture Medallion Bronze/Silver/Gold) et Databricks pour l’ingestion et le traitement distribué des données.Conception et automatisation de pipelines ETL batch pour centraliser des données provenant d’APIs, SharePoint, ERP et systèmes métiers. • Mise en place d’une plateforme data sur Azure avec Delta Lake (architecture Medallion Bronze/Silver/Gold) et Databricks pour l’intégration, le traitement distribué et l’historisation des données. • Conception de pipelines ETL batch pour la collecte depuis des APIs, SharePoint, ERP et autres systèmes métiers, avec planification et monitoring automatisés. • Développement de scripts ETL en PySpark (Databricks) pour la standardisation, la qualité et la consolidation des données. • Mise en oeuvre de solutions Big Data distribuées sur Databricks, incluant la gestion de volumes massifs, le scaling automatique et l’optimisation des jobs Spark. • Participation à la mise en place de la gouvernance des données (catalogage, sécurité, monitoring des pipelines). • Support à l’équipe Data Visualisation dans la préparation et l’exposition des datasets, facilitant la création de tableaux de bord métiers. • Conception et mise en oeuvre de modèles de données en BI, permettant une analyse plus rapide et plus fiable des données pour soutenir les décisions stratégiques • Création de valeur business pour le ministère de l’Agriculture grâce à la modélisation et l’exploitation de leurs données, permettant des analyses stratégiques fiables Env. Technique : Python, Microsoft AZURE, Azure Data Factory, Databricks, PySpark, Delta lake, GitLab, Jira

Projet : Analyse des données de production et de performance du pole foncier • Collaboration avec l'équipe commerciale pour identifier et préciser leurs besoins et exigences • Conception et développement de tableaux de bord interactifs sur Power-bi, et mise en évidence des KPI pertinents • Création de scripts et de programmes Python personnalisés pour automatiser des flux de travail de traitement de données complexes, améliorant considérablement l'efficacité et la précision des tâches répétitives et des analyses de données • Contribution active à la coordination d'équipe et à la stratégie de planification des projets, entraînant une croissance notable de 7% de notre activité, reflétant ainsi une amélioration significative de notre efficacité opérationnelle • Analyse stratégique de la rentabilité des projets fonciers et urbains • Identification des leviers significatifs d'amélioration et prise d'initiatives d'optimisation financière vers des résultats à forte valeur ajoutée Env. Technique : Python, Power-bi, GitLab, Jira