youssef grati

I. Client « Société Générale » – Tech-Lead BIG DATA : depuis 10/2022 1.Tech-Lead - Projet de Migration du datalab Stress-Test (Teradata vers databricks) depuis 06/2024 : Contexte. Dans le cadre d’une plateforme de stress test et de simulation de scénarios bancaires (conformité réglementaire, gestion des risques, prévisions financières). L’objectif était de moderniser les traitements existants en migrant les procédures stockées Teradata vers un environnement Databricks sur le cloud. Réalisations  Migration de procédures stockées Teradata vers des notebooks Databricks en PySpark.  Mise en place de workflows Databricks pour l'orchestration des traitements.  Export de données de Teradata vers AWS S3 pour les phases de test et de validation.  Revue de code (code reviews) et accompagnement technique de l’équipe. Environnement AWS, Pyspark, Teradata, Jenkins, git, databricks. 2.Création d'une plateforme de simulation de stress tests réglementaires dans AWS de 10/2022 au 06/2024. Contexte Participation à un projet stratégique visant à concevoir une plateforme de simulation permettant de réaliser des stress tests réglementaires à grande échelle dans le cloud AWS. Le projet comprend deux phases principales : 1. Collecte et centralisation des données issues de différents quartiers métiers via des pipelines de traitement de données. 2. Développement des algorithmes de stress test en Spark/Scala pour simuler divers scénarios de risque. Réalisations  Participer au développer les jobs Spark qui permet de faire l’ingestion et les simulations.  Review des pull request.  Créer des pipeline CI/CD.  Assister et former les nouveaux collaborateurs sur les process et technologies utilisées Environnement Spark, Scala, AWS (emr, athena, stepfunctions, Glue), HDP, Ansible, Jenkins.

Client « AXA-IM » – Lead Data Engineer : 06/2021 au 10/2022 Data Referential: 01/2022 au 10/2022. Contexte Le projet vise à collecter toutes les données référentielles et à les fournir aux clients en tant qu’API tant que des tables delta. Les données sont collectées à partir des fichiers reçus quotidiennement de nos différents expéditeurs. Une fois sur le cloud, un job Spark consomme les données et les transforme aux besoins. Les données sont enregistrées dans des tables Delta et après dans POSTGRES. Nous avons également des API qui lisent ces données pour les exposer à nos clients. Réalisations Migration de Cloudera vers Cloud Azure Développer des jobs Spark pour répondre aux nouveaux besoins du client. Créer des pipelines azure DataFactory. Créer une api pour exposer les données. Assister et former les nouveaux collaborateurs sur les process et technologies utilisées. Environnement Databricks, Spark, Scala, Python, Azure, Azure devops, datafactory, Postgres. Quantx : 06/2021-01/2022. Contexte Le projet vise à construire un moteur industriel et automatisé de calcul des risques en fournissant un ensemble complet de datasets, permettant aux équipes métiers de réaliser des simulations des risques sur l’univers d’investissement. Réalisations Migration de Cloudera vers Cloud Azure Développer des jobs Spark pour répondre aux nouveaux besoins du client. Créer des pipelines azure DataFactory. Créer une api pour exposer les données. Environnement Spark, Scala, Python, Azure, Azure devops, datafactory,databricks. Client « Société General » – Développeur BIG DATA : 07/2018-06/2021 2- Credit Risk Datalake : 02/2020 au 06/2021. Contexte Le projet vise à collecter les données de la direction des risques de crédit et à les fournir aux clients en tant que des tables HIVE. Les données sont collectées à partir d'appels d'API ou de fichiers reçus quotidiennement de différents expéditeurs. Une fois sur hdfs, des jobs Spark consomment les données et les transforme au besoin. Les données sont enregistrées sur des tables Hive. Réalisations Développer des jobs spark scala pour répondre aux besoins du client. Créer des pipelines Nifi pour traiter les données. Créer des scripts bash pour traiter les données. Créer des playbooks ansible. Environnement Spark, Scala, Hive, Nifi, GitLabCI, Jenkins, Ansible 2-Data-hub RH : du 07/2018 au 01/2020. Contexte Le projet vise à collecter toutes les données des ressources humaines et à les fournir aux clients en tant qu'API ou fichiers. Les données sont collectées à partir d'appels d'API ou de fichiers reçus quotidiennement de différents expéditeurs. Nifi est le premier point d'entrée et assure la transformation des données en fichiers json enregistrés sur hdfs. Une fois sur hdfs, un job Spark générique basé sur des configurations lit les données et les transforme au besoin. Les données sont enregistrées sur des tables Hive et Postgres. Pour envoyer des données à nos clients, nous avons développé un job Spark basé sur des requêtes pour générer des fichiers CSV à envoyer. Nous avons également des API qui lisent les données de postgres pour les exposer. Réalisations Développer des jobs spark scala pour répondre aux besoins du client par rapport à une configuration. Développer une API technique qui expose les configurations aux jobs Spark. Migrer de Spark 1.6 vers Spark 2.3 (HDP 2.6). Créer des pipelines Nifi pour traiter les données. Créer un framework pour gérer les lancements d'usages (spark jobs) en fonction d'une configuration. Créer des playbooks ansible. Environnement Spark, Scala, Hive, Kafka, Nifi, GitLabCI, Jenkins, Postgres, Ansible

Création d’un réseau BLOCKCHAIN privé qui regroupe certaines institutions financiers et l’implémentation de deux cas d’utilisation basé sur ce réseau qui sont la négociation des contrats forwards et les paiements transfrontaliers .