Ghazouani Hamza

Data Engineer Big Data cher Enedis (octobre 2022 - aujourd'hui ) •Création de consommateurs Kafka avec Spark Streaming •Création de jobs Spark pour effectuer des transformations sur des données de différents formats tels que Avro, JSON, XML et CSV… •Traiter les données arrivant sur la VM à l'aide de scripts Bash, puis les ingérer dans une zone de stockage nommée LZ sur des clusters Hadoop dans HDFS, en conservant leur format brut (CSV, JSON, Avro, etc.). •Compacter les données de la zone de stockage LZ dans une autre zone appelée TZ en utilisant des jobs Spark, afin de regrouper les petits fichiers au format Parquet et de créer des partitions à la maille "jour" •Créer des tables Hive externes qui pointent vers les données de la zone TZ. •Déploiement des jobs en environnement de développement et de recette avec Jenkins. •Surveillance des données avec Grafana. Rédaction de la documentation technique et fonctionnelle sur Confluence •Mise à disposition de données propres auprès des partenaires

Projet RAGT - Migration des données de la plate-forme APPY vers Cloud Azure -Tronsformation des données avec Databriks (suivre l'approche DataCentric) - Orchestration avec Azure DataFactory