hamza abbes

Projet OGCG: Contexte : Dans le cadre du projet Data Lake de la branche numérique de La Poste, notre équipe est chargée de la conception & la mise en place des jobs et des workflows génériques et réutilisables pour les équipes métier, ainsi que d'intégrer de nouvelles sources de données chaudes (Streaming) et froides (Batch). Tâches réalisées : Développement d'outils d'ingestion : Concevoir et implémenter des outils pour l'ingestion de données en différents formats (CSV, JSON, Avro, etc.). Consolidation des données : Développer un outil pour la consolidation efficace des données. Privacy des données : Mis en place un outil pour l'anonymisation et le cryptage des données sensibles afin d'assurer la confidentialité. Migration des composants : Migrer les composants critiques tels que Spark et Kafka vers la future plateforme CDP (Cloudera Data Platform). Optimisation : Tunning et optimiser des jobs et workflows pour une performance accrue. Encadrement : Encadrer et former les membres de l’équipe pour garantir une bonne utilisation des outils et des processus mis en place. Suivi de production : Assurer le suivi et la maintenance des solutions en production. Environnement technique : Ecosystème (Openshift et CDP), Scala, AKKA, Python, Spark, Hive, Confluent Kafka, Airflow, Docker, Jenkins, Ansible Projet Move2Cloud : Contexte : Le projet consiste à l’étude et la mise en place d’un MVP pour migrer des pipelines de données critiques vers Azure Databricks. L'objectif était d'évaluer les performances, la scalabilité et les coûts de cette solution par rapport à l’infrastructure on-premises. Tâches réalisées : Développement de pipelines ETL : Conception et optimisation de flux de données massifs avec Apache Spark et Azure Databricks, intégrant diverses sources. Mise en oeuvre de l’architecture Medallion : Structuration des données en zones Bronze, Silver et Gold avec Delta Lake pour garantir la traçabilité et optimiser les performances. Déploiement de l’architecture Lakehouse : Unification des workloads BI, Data Science et ingestion temps réel dans une plateforme intégrée et scalable. Modélisation en étoile : Création de modèles analytiques pour des besoins de reporting avec Power BI, optimisés pour des requêtes rapides via Serverless SQL Warehouses. Gestion des performances : Optimisation des clusters Databricks et des pipelines, avec réduction des coûts et amélioration des temps de traitement. Utilisation de Unity Catalog : Implémentation de la gouvernance des données centralisée avec RBAC et gestion des métadonnées pour un accès sécurisé et conforme. Intégration cloud-native : Connexion de Databricks à d'autres services Azure (Synapse, Event Hubs, Cosmos DB) pour des flux de données fluides et évolutifs. Automatisation CI/CD: Mise en place de flux de livraison continue pour notebooks Databricks avec Azure DevOps et intégration Git. Environnement technique: Spark/Scala, SBT, Databricks, Databricks workflows, DeltaLake, Jenkins, Gitlab, Artifacory, Power BI

Projet #360 : Contexte : Le projet visait à consolider les données des personnes morales (PM) et des personnes physiques (PP) et à créer une interface web offrant une vision 360° des tiers. Tâches réalisées : Consolidation des données : Développement d’un outil pour consolider les données des personnes physiques et morales provenant de différentes sources. Moteur de vues métiers : Mis en place un moteur pour générer des vues spécifiques répondant aux besoins métiers. Outil de rapprochement : Développement d’un outil pour le rapprochement et la validation des flux de données. Stockage des données : Persistance des données consolidées dans MongoDB et les données de recherche dans ElasticSearch pour une gestion rapide et évolutive. Développement des pipelines d’ingestion : Création des pipelines d'ingestion (batch et stream) à partir de différentes sources de données avec Oozie/ Connecteurs Spark : Développement des connecteurs d’ingestion pour traiter les formats CSV, XML et JSON. Maintenance et support : Maintenance et support des différentes pipelines incluant la gestion des incidents de production. Indicateurs de performance : Définir des KPIs pour mesurer la performance des pipelines d’ingestion. Environnement technique: Hadoop (Hortonworks, Cloudera), Spark/Scala, Hive, Kafka, ElasticSearch, MongoDB, AngularJS, Node.js, REST API, Docker, Jenkins, Amazon S3, Ansible

Contexte : Développement et amélioration d’un serveur de paiement pour Carrefour, basé sur la solution existante de Rue du Commerce. L’objectif était de créer une plateforme réutilisable pour le groupe Carrefour, tout en ajoutant des fonctionnalités spécifiques pour améliorer l’expérience utilisateur et commerciale. Tâches réalisées : Étude du serveur de paiement : Analyse approfondie du serveur de paiement existant chez Rue du Commerce pour comprendre son fonctionnement et ses spécificités. Factorisation du code : Refactoriser le code pour rendre la solution réutilisable et adaptable pour Carrefour. Ajout de nouvelles fonctionnalités : • Intégration de l’option d’achat avec des points de fidélité pour certains produits. • Développement d’une option permettant aux agents commerciaux de passer des commandes de manière simplifiée. Documentation de l’API : Rédiger une documentation détaillée de l’API en utilisant Swagger pour faciliter son utilisation et sa maintenance. Correction des bugs : Résoudre les anomalies identifiées pour garantir la stabilité et les performances de la plateforme. Environnement technique : PHP 7, Docker, Docker-Compose, MongoDB, Composer, PhpUnit, REST API, JSON, Swagger.