hamza ghazouani

10/2022 - Actuel Data Engineer Big data & Cloud Enedis | Paris Cette mission consiste à intégrer le projet B4ALL pour l'ingestion des données liées au réseau électrique, incluant la gestion du raccordement des utilisateurs, la relève des compteurs, les interventions techniques telles que la coupure et le rétablissement de l'alimentation, ainsi que les données RH. Ces données, arrivant sur des topics Kafka sous différents formats ou via des VM d'acquisition, sont traitées en utilisant des outils Big Data pour optimiser les processus et garantir la qualité des données Réalisations • Création de consommateurs Kafka avec Spark Streaming • Création de jobs Spark-Scala pour effectuer des transformations sur des données de différents formats tels que Avro, JSON, XML et CSV… • Traiter les données arrivant sur la VM à l'aide de scripts Bash, puis les ingérer dans une zone de stockage nommée LZ sur des clusters Hadoop dans HDFS, en conservant leur format brut (CSV, JSON, Avro, etc.). • Compacter les données de la zone de stockage LZ dans une autre zone appelée TZ en utilisant des jobs Spark-Scala, afin de regrouper les petits fichiers au format Parquet et de créer des partitions à la maille "jour" • Création d'un moteur d'ingestion en python permettant de consommer les données de la VM et de les stocker dans HDFS • Création d'un moteur d'ingestion en SCALA permettant de compacter les données de LZ et de les stocker dans TZ • Créer des tables Hive externes qui pointent vers les données de la zone TZ. • Déploiement des jobs en environnement de développement et de recette avec Jenkins. • Surveillance des données avec Grafana. • Rédaction de la documentation technique et fonctionnelle sur Confluence. • Mise à disposition de données propres auprès des partenaires. Migration vers le Cloud (AWS) & Modernisation Databricks : • Participation active à la migration de la plateforme Big Data vers AWS, en collaboration avec les architectes cloud. • Adaptation des jobs Spark existants pour Databricks : refactoring de code Scala/Python, exploitation des notebooks collaboratifs. • Ingestion de données dans S3, création de pipelines de traitement en utilisant Delta Lake sur Databricks. • Mise en place de pipelines de CI/CD pour les notebooks Databricks via Jenkins. • Utilisation de AWS Glue et Databricks Jobs pour l’orchestration et la transformation de données. • Intégration avec Lake Formation pour la gestion fine des accès aux données. • Contribution à la stratégie d’optimisation des coûts et des performances (auto-scaling, caching Delta). • Gestion et gouvernance des données avec Unity Catalog sur Databricks pour assurer sécurité et conformité. • Expérience avec Unity Catalog pour centraliser la gestion des métadonnées et le contrôle des accès dans un environnement Databricks

04/2021 - 09/2022 Data Enginner Cloud Azure RAGT | Paris | RAGT a fait face à des problèmes de temps de traitement prolongés pour la préparation de nouvelles variétés, ce qui a conduit à proposer une migration de l'architecture On Premise vers le Cloud. Cette migration implique le passage de Talend à Spark pour la partie transformation et vers azure Data Factory pour l'orchestration. Réalisations • Participation à l'implémentation de la stratégie de l'ingestion des données du Talend vers spark databrics • Redevloppement des flux Talend en PySpark • Développement de notebooks databricks avec pyspark pour la transformation, nettoyage et l'enrichissement des données • Refactorisation (Réusinages) du code de traitement développé en PySpark avec Databricks. • Tests des données et des résultats des traitements migrés • Orchestration des notebooks Databricks avec Azure Datafactor