Mehdi Baouz

j’ai accompagné le client à travers un POC stratégiques basés sur Databricks. L’objectif était de poser des bases solides : une plateforme évolutive, sécurisée, et de permettre aux équipes de monter en compétence. Réalisations Conception d’un pipeline de données basé sur des modèles d’IA déployés sur Databricks, permettant la transcription des appels clients tout en anonymisant les informations sensibles. Mise en place d’un pipeline ETL robuste et prêt pour la production avec Delta Live Tables Mise en place de Unity Catalog Change Data Capture (CDC) pour suivre et propager efficacement les modifications de données en quasi temps réel Liquid Clustering pour optimiser les performances et permettre des requêtes économes en coût sur de grands volumes de données Model Serving pour mettre en production des modèles de machine learning directement dans l’environnement Databricks. Asset Bundles et Azure Pipelines pour l’intégration CI/CD, permettant un déploiement automatisé et sous contrôle de version des workflows Databricks Accompagnement des équipes internes en partageant les bonnes pratiques Databricks, tant sur les aspects techniques que méthodologiques

Au sein du pôle produit publicitaire (PPP), j'ai collaboré avec les équipes métier pour développer des pipelines de données basés sur des spécifications fonctionnelles, ainsi que pour concevoir un framework permettant de généraliser l’ingestion de données avec Spark Travaux réalisés: Évaluer les besoins des différentes équipes pour définir les architectures et technologies les plus adaptées à chaque usage. Concevoir et implémenter des pipelines de données permettant de collecter, traiter et stocker les informations de manière automatisée et fiable. Améliorer la qualité des données et réduire les risques de sécurité, grâce à des architectures et des outils de gestion de données robustes et performants Conception et Développement from Scratch d'un système d'information dédié à la collecte, au traitement et à la visualisation des données d’audience Documents applicatifs nécessaires au transfert de connaissances de l'entité et en dehors de l'entité

Contexte: Le projet CMT (cash management transformation) a pour but de construire plusieurs interfaces de traitement de données massives qui communiquent entre elles afin de garantir une meilleure et rapide gestion des paiements (de l'initiation du paiement jusqu'à la validation). Dans ce projet j’ai intégré l'équipe qui veille sur le développement et la maintenance de l’application cœur de ce projet et ses pipelines. Cette application s’occupe du traitement de la requête du moteur de payement vers les applications externes afin de collecter des données depuis plusieurs référentielles, ça permet aussi l’enrichissement de données en se basant sur des exigences, la génération et la transformation du format de données,, lecture et écriture en respectant l’encodées spécifié, tout cela pour permettre une communication saine entre ces applications. Travaux réalisés: ● Développement d’un job spark batch pour la création des extractions de paiements pour alimenter une application de détection de fraudes et blanchiment d’argent ● Développement des jobs Streaming des paiements internationaux pour gérer les nouveaux flux (Java, Spark) ● Documents applicatifs nécessaires au transfert de connaissances. ● Livrables : code, documentation, revue de code Environnement technique: ● Environnement de dev: Java, Gitlab, Jenkins, Junit, Cucumber ● Environnement Big Data: Spark, Kafka, Elasticsearch

Contexte: Collecter, nettoyer et traiter les données d'étude génomiques de plusieurs sources et les stocker dans un Data Lake et un Data Warehouse. Mettre en place des solutions (partitionnement et catalogage de données) pour rendre les données repérables, accessibles, interopérables et réutilisables Travaux réalisés: ● Conception de pipeline de traitement de données (Dataflow, Apache Beam) ● Creation de processus ETL/ELT (BigQuery) ● Mettre en place des données dans des Data Warehouse (BigQuery) ● Création d’un Data Catalog pour rendre les données plus F.A.I.R (findable, accessible, interoperable, reusable) ● Documents applicatifs nécessaires au transfert de connaissances de l'entité et en dehors de l'entité/ Livrables : code, documentation, revue de code Environnement technique: ● Environnement de dev: Java, Python, R, Gitlab ● Environnement Big Data: Google Cloud Platform, BigQuery, DataFlow, Apache Beam, Google storage

Implementation des tests de non régression de la platform d'extraction des données de risque( Hadoop, HDFS, Mapreduce, Spark)