Abdelmonem Kouki

– **Projet CUO - Le Concentrateur des Usages Omnicanaux:** – Implémentation des nouvelles règles de gestion pour anonymiser des clients. – Implémentation des nouveaux contextes de suppression des comptes. – Rattrapage des données suite à l'ajout des nouveaux champs. – Environnement: airflow, databricks, pyspark, python, ansible jenkins. – **Projet MaboxPerf:** – Réécriture du projet de scala en Python (pyspark). – conversion vers Delta Lake: optimisation, Z- Ordering, vacuum, gestion des versions. – validation de la qualité des données : checks de volumes, schémas, duplications, règles métier. – Migration d'un environnement cloudera à un environnement azure databricks. – Environnement: pyspark, python, airflow, databricks, ansible jenkins.

– **Projet Data Cleaner:** – Coordination avec l'équipe métier pour définir le scope de purge pour chaque source (en s'appuyant sur la source gershwin GW). – Exécution de data cleaner après la vérification de l'équipe métier des scopes générés. – backup des données purgées pour faire un retour en arrière en cas d'une suppression inattendue. – Environnement : scala, spark, hive, HDFS, Airflow, ansible. – **Projet collecte et socle:** – Implémentation traitement NiFi pour chaque source pour ingérer les données et déposer le fichier sous HDFS. – Traitement des fichiers déposés sur le lake avec le socle afin d'appliquer des contrôles techniques et fonctionnels et alimenter la business views. – Déploiement de configuration métier de chaque source dans postgresql. – Implémentation des playbooks ansible pour l'automatisation de déploiement. – Environnement : scala, spark, HDFS, Hive, postgresql, ELK, ansible, jenkins. – **Projet Data Quality:** – Développement d'un job spark permettant de qualifier les rejets avec des tables PostgreSQL, et de créer des tickets dans l'API QODA. – Sauvegarde des rejets dans une table PostgreSQL pour le but d'analyser les rejets et leurs statuts. – Notification des entités concernées par email. – Automatisation des jobs avec des Coordination/Workflows Oozie. – Environnement : spark, scala, Hive, Airflow, postresql, Jenkins, Ansible.

– **projet CEM BB:** – Implémentation de deux workflows pour calculer des kpis journaliers et mensuels. – Implémentation d'un workflow purge qui permet de nettoyer des données hive qui datent de plus que 24 mois. – Environnement: hive, hdfs, HBase, maven, yarn, shell, oozie, jenkins, GitLab, jira.