Maguatte THIAM

Contexte – Intervention dans le cadre de la transformation numérique de la Direction des Achats Groupe visant à centraliser et valoriser les données achats au sein d'une plateforme data dédiée (AchatLake). – Le projet HLK permet d'intégrer les données issues de différents systèmes métiers afin d'améliorer le pilotage des processus achats et de fournir des indicateurs décisionnels aux équipes métiers. Conception et orchestration des pipelines de données – Conception et développement de flux inter-applicatifs avec Apache NiFi pour l'intégration de données métiers. – Intégration de données provenant de plusieurs systèmes internes (Cockpit, PGI, HANAIS). – Mise en place de pipelines ETL pour l'alimentation du Data Lake achats. – Transformation et mise en qualité des données avant leur exploitation dans les outils de reporting et d'analyse. – Développement de scripts Python pour automatiser les traitements de données et appliquer les règles de gestion métiers. – Optimisation des requêtes SQL afin d'améliorer les performances des traitements et la fiabilité des flux. Automatisation des règles de gestion métiers – Développement de traitements Python pour automatiser les règles de criblage des demandes d'achat (DA). – Gestion et mise à jour des référentiels métiers (unités clientes, codes articles, etc.). – Implémentation de tests unitaires et tests de non-régression pour sécuriser les évolutions. – Vérification et correction des incohérences dans les statuts des objets métiers (DA, contrats, commandes). Gestion des flux documentaires métiers Intégration des documents SayGo – Développement d'un processus automatisé permettant de récupérer les documents liés aux cérémonies SayGo. – Extraction des identifiants de sessions à partir de la table raw_edf_saygo_schema.saygo_metadonnées. – Génération d'identifiants uniques pour les FlowFiles NiFi afin de garantir l'unicité des traitements et faciliter l'orchestration des pipelines. – Développement d'un script Python permettant de récupérer les documents SayGo et leurs métadonnées. – Stockage des documents sur le NAS du projet HLK. – Transformation et mapping des métadonnées associées aux documents. – Insertion des métadonnées dans la table saygo_docs pour leur exploitation dans la plateforme data. Automatisation du transfert documentaire – Mise en place d'un processus automatisé de transfert documentaire via Jenkins. – Transmission des métadonnées des documents SayGo en entrée du pipeline Jenkins. – Automatisation du transfert des documents vers l'espace SharePoint (BDS) utilisé par l'application Cockpit. Gestion des documents PHAv2 – Mise en œuvre d'un mécanisme similaire pour la récupération automatique des documents issus des consultations PHAv2. – Transfert automatisé des documents vers la bulle de stockage associée à l'achat concerné. Maintien en Conditions Opérationnelles (MCO) – Supervision et monitoring des flux de données en production. – Analyse et résolution des incidents impactant les pipelines data. – Mise en place d'alertes et d'indicateurs de suivi pour garantir la disponibilité des flux. – Optimisation continue des pipelines ETL afin d'améliorer les performances et réduire les temps de traitement. Reporting et valorisation des données – Conception et développement d'un tableau de bord Power BI Online pour le suivi des demandes d'achat (DA). – Création d'indicateurs permettant d'analyser les statuts et le suivi des demandes d'achat. – Publication et partage des rapports via Power BI Service pour les équipes métiers. Collaboration et gestion de projet – Participation aux ateliers de conception technique avec les équipes métiers et techniques. – Contribution au chiffrage et à l'estimation des tickets dans le cadre des évolutions du projet. – Travail en environnement Agile (Scrum / Kanban) avec participation aux cérémonies projet. – Documentation des flux ETL et des processus de traitement des données.

Mission – Participation à la conception et à la mise en place d'une plateforme de traitement de données énergétiques permettant de collecter, transformer et analyser des données de consommation en temps réel provenant de différentes sources (capteurs IoT, systèmes métiers et données externes). – L'objectif de la plateforme était de fournir des indicateurs de consommation énergétique et des outils d'analyse permettant d'optimiser l'utilisation des ressources énergétiques et d'améliorer le pilotage des infrastructures. Responsabilités principales Conception et développement de pipelines de données – Conception de l'architecture des flux de données pour l'ingestion et le traitement des données énergétiques. – Mise en place de pipelines ETL pour collecter et transformer des données issues de capteurs IoT, systèmes EMS et API externes. – Implémentation et configuration de flux d'intégration de données avec Apache NiFi pour automatiser les traitements. – Intégration de données provenant de sources multiples (API, bases de données, fichiers logs, flux de streaming). Traitement et transformation des données – Développement de scripts Python pour le nettoyage, la transformation et l'enrichissement des données énergétiques. – Traitement et manipulation de données avec Pandas et NumPy. – Détection d'anomalies dans les données de consommation énergétique. – Calcul d'indicateurs métiers (KPI) tels que : – consommation moyenne – consommation de pointe – coefficient de charge – statistiques de consommation en temps réel Stockage et gestion des données – Configuration et optimisation de bases PostgreSQL pour stocker les données énergétiques. – Mise en place de mécanismes d'indexation et de partitionnement pour améliorer les performances des requêtes. – Gestion de données historiques et de données temps réel. Exposition et exploitation des données – Développement de services API REST permettant l'accès aux données énergétiques en temps réel. – Intégration d'API externes pour enrichir les données (notamment données météorologiques). – Production de jeux de données exploitables pour l'analyse et le reporting. Visualisation et reporting – Création de tableaux de bord pour le suivi des indicateurs de consommation énergétique. – Mise à disposition des données pour les équipes métiers afin de faciliter l'analyse des performances énergétiques. – Visualisation de données avec Python (Matplotlib) et outils de reporting. Qualité, industrialisation et exploitation – Mise en place de bonnes pratiques de développement et de gestion de version avec Git. – Participation aux pratiques Agile pour le suivi des développements et la livraison des évolutions. – Suivi des incidents et maintenance des pipelines de données. – Tests de performance et optimisation des traitements de données. – Mise en place de procédures de sauvegarde et de récupération des données. – Documentation technique des flux et des processus ETL.

Mission – Participation à la conception et à la mise en place d'une plateforme de collecte et d'analyse des métriques de performance des applications web. – L'objectif du projet était de centraliser les données issues des outils de monitoring et des logs applicatifs afin de produire des indicateurs de performance, automatiser le reporting et fournir des tableaux de bord permettant aux équipes techniques de superviser la performance et la disponibilité des applications. Responsabilités principales Sources de données Logs des serveurs web – Logs générés par les serveurs applicatifs – Formats: texte (log), JSON – Fréquence: flux continu Outils de monitoring applicatif (APM) – Données issues d'outils comme New Relic et Dynatrace – Formats: JSON, CSV – Fréquence: push toutes les 5 minutes Logs des bases de données – Journaux d'audit des requêtes SQL et temps de réponse – Formats: texte, SQL – Fréquence: batch quotidien API de monitoring externes – Collecte de métriques via API REST – Format: JSON – Fréquence: toutes les 10 minutes Traitements et pipelines de données Mise en place de pipelines ETL pour : – ingestion et orchestration des flux avec Apache NiFi – collecte des logs applicatifs et métriques de performance – transformation et normalisation des données techniques – centralisation des données de monitoring dans une base analytique Développement de traitements Python pour : – parsing et transformation des logs applicatifs – extraction des métriques de performance – préparation des datasets pour le reporting Calcul des indicateurs de performance Production de KPI techniques utilisés par les équipes de développement et de support : – temps de réponse moyen des applications – taux d'erreur des requêtes – disponibilité des systèmes – score de satisfaction utilisateur (Apdex) – Ces indicateurs permettent d'identifier rapidement les anomalies de performance et d'améliorer la supervision des applications. Exposition et exploitation des données – Développement d'API REST permettant l'accès aux métriques de performance applicatives – Mise à disposition des données pour les outils de supervision et de reporting – Intégration des métriques dans les systèmes de monitoring de l'entreprise Visualisation et reporting – Conception de tableaux de bord Power BI pour la supervision des performances applicatives – Création de rapports dynamiques pour les équipes de développement et de support – Mise en place d'alertes en cas de dépassement des seuils de performance – Formation des utilisateurs métiers à l'utilisation des tableaux de bord Industrialisation et exploitation – gestion de version avec Git – documentation des flux ETL et des processus de transformation – tests de performance des requêtes SQL et des API – optimisation des pipelines ETL pour améliorer les temps de traitement – participation aux rituels Agile