Ramzi Bel Hadj Ahmed

Projet : DIAG360: Socle applicatif pour la diagnostic permanent des systèmes d’assainissement • Migration d’une architecture Spark AKS vers Azure Databricks • Création d’un module IaC Diagperm qui permet de terraformer toutes les ressources Databricks (Account Storage, KeyVault, Private Link, Service Principal, Databricks Workspace, Databricks Sql Warehouse, Databricks Compute Cluster, Catalogs, shemas, Volumes, RBAC, etc..) • Création de pipelines Azure DevOps pour le déploiement automatique des ressources Azure & Databricks Terraformées (provider : azurerm et databricks) • Mise en place d’une stratégie hybride: Job Databricks de type dbt pour le traitement des données analytiques via Databricks SQL WareHouse et de type PySpark via Compute Cluster pour les traitements lourds et complexes • Orchestration de lancement des job Databricks de type dbt et pyspark par environnement d’exécution (dev, rec et prod) et avec Databricks Asset Bundles (DAB) • Développement et déploiement d’un nouveau module IODA selon la nouvelle architecture médaillon et selon la Modern Data Stack (ELT) • Création de pipelines Azure DevOps pour le déploiement automatisé des jobs Databricks avec DAB (azurepipelines.yml, databricks.yml) • Sécurisation des accès aux ressources via l’affectation des roles (RBAC), la création de private Link avec Terraform module, et la centralisation des secrets dans Azure Key Vault Diagperm • Mise en place d’un process de data quality (dbt test, data_quality.py), et mise à disposition des résultats à l’équipe métiers (notebook, deltaTable, visualisation, histogramme, etc..) • Conception d’un pipeline d’ingestion avec Azure Data Factory pour collecter les données web des piézomètres et les stocker dans un conteneur Blob Azure dédié. • Réalisé un rapport Power BI en mode DirectQuery connecté à Databricks, affichant le nombre de capteurs IoT de type piézomètres par Bassin de Collecte, avec modélisation DAX et des visuels interactifs • Monitoring et surveillance des jobs Databricks, par la centralisation des logs outputs via Azure Monitor avec stockage dans Log Analytics • Surveillance de l’application Front Diag360 par l’analyse des métriques dans Azure Application Insights • Mettre en place une solution technique pour l’automatisation des créations des tags lors du livraison des nouvelles releases (new_tag.yml). • Tuning et Refactoring du code PySpark, pour assurer la qualité et la robustesse des traitements Spark • Assurer le maintien et l'évolution des documents de l’architecture technique du projet (DAT) Environnement: Azure Databricks (Jobs, Clusters, SQL Warehouses, Unity Catalog, shema, Notebook, External Location, Volumes), Azure DevOps (repos, pipelines, releases), Azure Kubernetes Service, Lens, Azure Monitor, Log Analytics, Spark 3.5, Python 3.10, DeltaLake 2.2, Azure Data Lake Storage Gen2, Azure Blob Storage, Azure Active Directory, Azure Portal, Azure Data Factory, IaC, Terraform HCL, dbt(Models, Sources, Macros, Tests), IoT, Power BI, Power BI Desktop, DAX, DirectQuer

Projet : STRESS TESTING RISK: Socle applicatif pour mesurer la capacité de résistance de la banque à des stress financières et économiques • Assurer le maintien et l'évolution de l’architecture du socle technique (DAT, DMZ, Flux d'échange, HA, Load Balancing) • Mettre en place un environnement Azure Databricks Sandbox, pour l’étude de la migration de l'infrastructure data On-premise vers le Cloud-Computing • Création d’un nouveau Catalog dédié équipe Risk (ajout storage account, containers, Private Link, etc..) • Création et configuration d’un Service Principal dédié à l’application Risk, avec attribution des rôles nécessaires pour sécuriser les accès aux ressources Azure • Développement d’un nouveau module Stress Data Quality en PySpark, selon la nouvelle architecture Azure Databricks (architecture médaillon, delta Table) • Planification et Création d’un job Databricks pour ce nouveau module (Schedule Job, Cron quotidien) • Mise en place d’alertes Databricks en cas de rejets des données d’input (Data Quality) • Réalisé un rapport Power BI en mode DirectQuery sur DeltaTable (Databricks), affichant les rejets par date et type via des mesures DAX et des visuels dynamiques • Conception d’un pipeline d’ingestion avec Azure Data Factory pour collecter les scénarios de stress test, les filtrer et les stocker dans le data lake. • Implémenter et développer un nouveau module Flair (Gestion de multi Stress), avec la mise en place des best practices de développement Spark/Scala • Etudier et implémenter une solution technique pour assurer la montée en charge de l'application Icaap (passer de 30K à 100K scenarios): optimisation du code, tuning conf Spark • Tuning de la scalabilité et la performance des applications Moteurs Spark (partitionnement, data skew, broadcast, conf Spark, DAG, jvm memory) • Résoudre les problématiques de performance remontées par l’équipe MOA • Refactoring et optimisation du code des anciens modules Simulateur, Projection et Icaap • Améliorer la chaine de CI/CD de nos projets (améliorer la couverture de Test Unit, utilisation de Ansible pour le déploiement automatique des livrables sur le Cluster) • Rédiger et mettre à jours les documents nécessaires pour maintenir le cycle de vie de nos modules (Fiches d’Exigence, Fiches de Livraison) • Intervenir pour la revue de code et pour appliquer les bonnes pratiques aux Data Engineer à travers des présentations et des demos • Référent technique à l'équipe Data Analyst / Data Scientist pour le code PySpark (Dataiku) • Etudier et mettre en place une solution technique pour l'archivage des outputs des run Stress Test (BackUp, Scheduler, Dalaas) • Intervenir pour résoudre des problématiques techniques (externaliser les authentification Kerberos du socle applicatif) • Référent Technique pour tout interfaçage avec le Cluster BigData et les applications Spark Moteurs (API Rest Service knox: webhdsfs, hive ,oozie, resourceManager) • Implémenter plusieurs modules utilitaires (CleanUp, CheckUp, FacilityExtractor, ConvertorOrcCsv) • Etudier et mettre en place une solution technique pour le transfert des data entre les Clusters Prod/PreProd a la demande de l'équipe Data Scientist (DistCpUtil) • Etudier et mettre en production plusieurs release techniques (preemption inter/intra queue, allocation dynamic job Spark, accès concurrent lors des écritures run Spark, amélioration de l'analyse de bug en Prod) • Réaliser les tâches d’Ops et de diagnostic sur les différentes briques du Cluster (master node, slave node, edge node) • Mettre en place des chartes de monitoring Cloudera Manager (état consommation de vcore/memory par queue, état de l'espace de consommation du disque (Spill) / Node Manager / user) Environnement: Azure Databricks (Jobs, Unity Catalog, shema, Notebook), Azure DevOps (repos, pipelines, releases), Azure Portal, Azure Data Factory, Spark 3.2,1, Scala 2.12.10, CDP 7.1.7, Hive 3.1, Hadoop 3.1, HDFS 3.1, Yarn 3.1, ZooKeeper 3.5, Oozie 5.1, Hue 4.5, Knox 1.3, Ranger 2.0, Tez 0.9, Cloudera Manager 7.1, Python 2.7, Airflow , Dataiku 10.0, PySpark, Jupyter, JDK 1.8, Spring 5.0.5, Maven 3.6, Git, Jenkins Pipeline, SonarQube, Power BI, Power BI Desktop, DAX, DirectQuery

Projet : AXE-INTERNET: Socle transverse assurant l’authentification des applications Internet et Mobile du Crédit du Nord • Mettre en place l’architecture applicative Big Data pour l’alimentation du socle d’alerting ALS, Configuration et développement des différentes briques. • Développement d’un module pour la détection des fraudes par l’analyse des logs applicatives • Développement et planification des jobs Spark pour l’extraction des statistiques d’opération depuis Data Lake • Refonte du système de collecte des logs applicatifs basé sur SyslogNG, par leur stockage et traitement au sein d’un cluster Hadoop • Module de gestion des profils clients • Mettre en place d’un système de cache distribué à travers un cluster Redis Environnement: Redis, Redisson 3.10, Spark 1.6, SyslogNG, Log4J, Kafka Appender, Kafka 2.1, Spark Streaming 1.6, JDK 1.8, Scala 2.10, Spark submit, Hive 2.1, Hbase 1.2, MongoDB 3.4, Hadoop 2.6, HDFS, Yarn 5.0, ZooKeeper 3.4, Oozie 4.10, Maven 3, NoSQL, LDAP, WebLogic server 10.3

Projet SoftNRJ: Pilotage et gestion des compteurs intelligents à travers le réseau Télécom d'Orange. • Concevoir l'architecture applicative • Choix du socle technique • Implémentation des différentes couches du POC • Tuning de la JVM suite a des lenteurs en Prod • Mettre en place les outils d’intégration contenus

Projet STRATOR G6V2 • Création des IHM (JSF/XHTML), • Développement des services métiers, • Implémentation des Batchs, • Test unitaires, • Test automatisés

Projet GESTAB2 : Refonte de l’application GESTAB qui assure le paramétrage et le pilotage du SI ATLAS2. Développement d’un POC (Proof Of Conception), selon une architecture SOA, pour la validation technique et fonctionnelle de l’architecture.

Projet SMILE : Refonte du système d’information de l’agence Modules : • Gestion des virements bancaires libellés en dinars émis ou reçus sur des comptes en dinars ou dinars convertible • Gestion des oppositions sur moyen de payement : chèque, traite, traveller chèque, carte bancaire, livret d’épargne, CIB -Gestion des cartes bancaires -Gestion des souscriptions et des procurations contrats comptes -Conception d’un Référentiel Client unique pour les futures applications de la banque et la mise en place d’une stratégie de migration des données client depuis les anciennes applications vers ce référentiel cible. Responsabilités : Analyse, conception et développement du module avec une nouvelle architecture J2EE. Environnement : MVC2, JSP, Struts 2.9, Spring 2.0, Hibernate, TagLib, Tiles, Action, FormBean, Layout, Datagreed, Ajax, JSTL, SVN, Turtoise, XML, JDEV, Tomcat, JDK 1.5, Apache, Log4j, Quartz, JasperReports, Ehcache, Acegi, Ldap

Projet Recouvrement des Traites Responsabilités : Analyse, conception et développement Environnement : Oracle 7, Developer 2000, Forms, Reports, PLSQL