Adel Mejri

Au sein de l’équipe Data Platform, j’ai intégré l’équipe afin de renforcer l’effectif et contribuer à l’atteinte des objectifs de la One Platform BDP. J’étais en charge des activités de build, run et adoption de la plateforme data. J’ai contribué à la migration et à l’industrialisation de la plateforme (AWS, Databricks), à la mise en place des pipelines d’ingestion, l'intégration du CI/CD ainsi qu’aux activités de run et MCO (monitoring, support, optimisation des coûts). J’ai également participé à l’accompagnement des équipes métiers, à la définition des bonnes pratiques, et au déploiement de services data, dans un cadre sécurisé et conforme aux standards IT. Projets et tâches réalisés • Projet Trinity : Mise en place d’un pipeline d’ingestion des fichiers de consommation clients ENGIE depuis la plateforme Anaplan, afin d’alimenter une table Unity Bronze utilisée comme source de données par les équipes aval. Le projet couvre deux volets : 1. Récupération des données via l’API REST Anaplan et dépôt sur Amazon S3, 2. Consommation des données avec Databricks Auto Loader pour l’alimentation de la couche Bronze. • Migration des flux d’ingestion – Équipe Mesure : Migration et standardisation de plusieurs flux d’ingestion journaliers permettant la collecte des métriques des compteurs électriques. Objectif : Mettre en place un cadre d’ingestion mutualisé, migrer les projets d’ingestion vers Databricks asset bundles, tout en introduisant un mécanisme d’ingestion piloté par les événements et en optimisant les temps de traitement. Migration des workflow Airflow vers Databricks workflows. Implémentation d’une chaine ci/cd reposant sur les asset bundel Migration des tables aws glue vers des tables managées unity • Monitoring : Évolution du framework de monitoring Databricks afin de personnaliser les indicateurs de supervision et améliorer la visibilité sur l’exécution des traitements et pipelines data. • Projet Purge : Dans le cadre de l’application des recommandations de la CNIL, le projet Purge, développé sur Databricks, vise à supprimer les données âgées de plus de cinq ans, ainsi que celles liées à une résiliation de contrat ou à la demande d’un client. J’ai contribué à la migration du projet vers un environnement Unity Catalog (tables managées, volumes, secrets…), à la migrations des workflows Apache Airflow vers des Databricks assets bundles, ainsi qu’à la mise à jour des contrats d’interface pour exploiter les nouvelles tables Unity, J’ai participé à l’amélioration des temps de traitement afin de ne plus bloquer les processus métier lors des opérations de purge. Environnement technique: Data bricks, Airflow, python, Anapaln rest api, gitlab, aws s3, CDH (Common Data Hub)

Au sein de la Ligne de Produit Smart Patrimoine et Opération du Réseau, j’ai rejoint l’équipe DAD (Data Analytics for Distribution) afin de développer des services de données et des applications dédiées au réseau électrique. Ces développements incluent : le ciblage des investissements en fonction du caractère incidentogène des lignes électriques, la localisation préventive des incidents sur le réseau HTA aérien par l’analyse de « signaux faibles », la modélisation de la charge en Basse Tension, ainsi que le suivi des crues. Les cas d’usage, principalement réalisés en Spark et Scala, répondent aux besoins de traitement de grandes quantités de données. Une part importante du travail consiste en la préparation des données, impliquant le croisement de multiples sources (historique du réseau électrique, données météorologiques, données cartographiques, etc.), enrichi par des traitements spécifiques tels que l’analyse de graphes, des calculs géospatiaux et l’application de techniques de machine learning. Environnement technique: Spark, Apache Sedona, Scala, Hadoop, Maven, Gitlab CI, Jenkins, Airflow

J'ai contribué à la mise en place d'un processus CI/CD afin de : • Automatiser le déploiement des rapports Power Bi à partir d’un repo git • Automatiser le déploiement des Processus, Taskflows Informatica à partir d’un repo git • Automatiser l’exécution des scripts SQL sur Snowflake à partir d’un repo git • Automatiser et centraliser les routines nocturnes en développant un workflow qui synchronise les taches sur les 3 plateformes (Snowflake, Informatica, Power BI). Le projet permet de gérer les sources de chaque plateforme en utilisant des répertoires Git avec le modèle Git Flow. Environnement technique: Gitlab, Python, Shell, SQL, Vault, Nexus, Informatica(Rest API), Snowflake(Rest API), Power BI(Rest API)

: dans le cadre de la mission labp7 CNAM je suis intervenu sur le projet EPRESCRIPTION. La CNAM reçoit en permanence des fichiers contenant les métadonnées des prescriptions prises en charge (pharmacie, médecin, médicament, l’assuré …), l’objectif du projet est d’adopter une approche big data (flux de données massive et non structurés) pour analyser les données d’une manière efficace, simple pour faciliter le travail des agents de la CNAM. Le projet s’étend sur trois parties :  Préparation de l’infrastructure : o Préparation des Vms (ajout de volumes, préparation d’un serveur de paquet CentOS locale, préparation d’un serveur d’image docker locale, installation de Gitlab …) o Installation d’un cluster Kubernetes (Réalisé avec des charts Ansible)  Implémentation des composants du cluster Big Data : Liste des solutions choisies : o HDFS : stockage des fichiers o Apache Hive : Entrepôt de données o PostgreSQL : Metastore de Hive o Apache NIFI : Ingestion des données o Apache Spark : Moteur de calcul o Kerberos : Authentification centralisée pour les différents composants du cluster o Apache Ranger : Gestion des droits o Apache Ranger KMS : Serveur des clefs o Apache Hue: IDE SQL web o Apache Atlas : Gouvernance des données Tous les composants cités au-dessus sont installés sur le cluster Kube donc l’implémentation consiste à : o Préparation des images docker des différents composants du cluster o Développement des charts Helm et scripts Shell pour automatiser le déploiement des différents composants • Mise en place d’un pipeline d’ingestion des données :  Développement d'un workflow Apache NIFI : o Consommer les fichiers texte/csv récupérés depuis le serveur SFTP CNAM. o Appliquer les transformations nécessaires sur les fichiers récupérés. o Développer des processeurs spécifiques (.nar) pour certaines transformations. o Persister les fichiers transformés sur HDFS o Lancer les scripts de création de l’entrepôt o Lancer les scripts d’alimentation de l’entrepôt  Mise à l'échelle de l'instance NIFI : o Adapter l'instance en fonction des besoins de traitement des données.  Implémentation d'un pipeline CICD avec GitLab : o Gérer et automatiser le déploiement des versions des modèles NIFI et du code source des processeurs développés.  Gestion et surveillance des flux NIFI : o Assurer la gestion des flux, la surveillance et le débogage des processeurs.  Création d'un entrepôt de données sur Hive : o Modéliser l’entrepôt en suivant l’ Architecture en médaillon. o Préparer les scripts SQL pour Implémenter les tables HIVE. o Préparer les scripts SQL pour alimenter les différentes couches de l’entrepôt.  Sécurisation de l’entrepôt : o Implémenter des politiques de sécurité avec Apache Ranger et Kerberos. o Chiffrer les données de l'entrepôt à l'aide d'Apache Ranger KMS (serveur de clés).  Tests de performance : o Effectuer des tests de performance sur les tables de l’entrepôt en utilisant Apache Hue, Spark SQL et JavaSpark.  Implémentation des connexions : o Configurer Spark Thrift et Apache Superset pour établir une connexions vers l’entrepôt de données.  Intégration avec Apache Atlas : o Connecter Apache NIFI et Apache Atlas pour créer un dictionnaire de données et assurer le lignage des données. Aussi dans le cadre de cette mission je suis intervenu sur ces tâches annexes :  Installation et maintenance de l’application Data Galaxy  Installation et maintenance de l’application Onyxia  Gestion des serveurs du cluster  Support technique pour toute l’équipe labp7 Environnement technique: Java, Python, Apache HDFS, Apache Hive, Apache Spark, Apache Ranger, Apache Atlas, Superset, Apache Hue, Apache NIFI, Kerberos, Postgresql, Ansible, Helm, Kubernetes, SQL, Linux (Centos), Shell, docker, Gitlab

dans le cadre du centre de compétence Data de SNCF réseau, intervention sur un ensemble de 7 projets :  AGORA : Développement d’une application pour gérer le gisement des données SNCF via une interface Web : cette solution permets aux utilisateurs d’afficher et manipuler les données tout en offrant un Tracking des modifications via des historisations et des pistes d’audit (suppression, update,…) et de documenter les données via une interface graphique (définition de règles et de relations entre le objets).  DEC BOX : Solution d’interface utilisateur mutualisée pour un vaste ensemble de base de données (SQL, API, AWS S3,KAFK , HDFS/Hadoop, UNIX…) o développement d’une interface web Angular présentant les outils nécessaires pour manipuler les différentes sources de données o Développement de clients Java intégrant les services/SDK des différentes sources de données. o Modélisation et création d'une base de données opérationnelle pour le stockage des données de l'application (PostgreSQL)  OPALE : Application de Reporting et d’Analytics sur les indicateurs SNCF Réseau o Développement d’une Application Web présentant des Dashboards restituant les indicateurs techniques des réseaux SNCF  CARBONNE : Application de simulation de planification de projets et d’intervention sur les rails  SOCLE : Projet de plateforme mutualisé de serveur Web Tomcat  Tableau : Création de composants graphique pour les Dashboard Tableau o Développement d’une application Angular implémentant la bibliothèque Tableau pour les Embedded component o Développement des fonctionnalités Java/SQL pour chaque opération faite par le composant graphique o Modélisation avec l’équipe data des tables AWS Athéna  DEC9 : Solution d’ETL pour alimenter les données d’une application BI Anaplan, basée sur une paramétrage via un interface WEB pour définir les transformations, formatage,… o Développement d’une interface Web Angular pour choisir la transformation métier à appliquer o Développement d’une application Java Backend pour :  Récupérer les données depuis Anaplan avec l’api Rest  Développement de la logique métier de chaque transformation proposée dans le front  Réinjecter les données transformées dans Anaplan  CDG-TELECOM : Solution d’ETL pour alimenter les données d’une application BI Cognos TM1, basée sur une paramétrage via un interface WEB pour définir les transformations, formatage,… o Développement d’une interface web Angular pour restituer les données récupérées er lancer les routines de transformation métier COGNOS o Développement d’une application Java Backend pour  Récupérer les données depuis les cubes IBM Cognos,  Appliquer les règles de transformation métier sur les données  Exposer les données à travers une interface Rest.  Réinjecter les données transformées dans les Cubes o Participation à la conception de nouvelles Cubes sur IBM Cognos avec l’équipe socle data Activités :  Architecture et conceptions  Développements : o Data Engineering o Full-Stack : back-end et front  Déploiements des applications et préparation des environnements logiciel sur les servers ou sur le cloud  Maintenance corrective et évolutive Environnement technique : Java 8 , Spring boot, Kafka, Scala, Spark, Maven, Angular, AWS, ELK (pour l'indexation des logs applicatifs), Tomcat, Linux

Création d’une application permettant de centraliser la gestion des workflows des différentes applications Sagem. Le Framework Activiti est utilisé pour gérer la création, modification, suppression et consultation des différents workflows avec un api Rest pour exploiter les différentes fonctionnalités du moteur. Activités :  Conception et réalisation d’une interface web responsive qui s’interface avec l’application back end Activiti à travers des web service REST sécurisés avec des Tokens.  Développement de la partie back end : o Réalisation du logique métier o Réalisation d’un api REST o Développement des diagrammes BPMN  Déploiement de l’application et préparation de l’environnement logiciel sur le serveur  Maintenance et amélioration de l’application existante Environnement technique: Java, Spring boot, spring data, spring security, Angular 7, HTML, bootstrap, PostgreSQL, Activiti, Rest web service, JWT Tokens

Objet du projet : C'est le progiciel de gestion intégrée (ERP) de Talan permettant la gestion de l'ensemble d'activités du SSII de Talan.  Migration du projet Byblos de JSF/RichFaces vers AngularJs  Développement des nouvelles fonctionnalités  Maintenance des modules existants Environnement technique: Java, Spring ,AngularJs ,PostgreSQL