Malick Diome

Contexte : •Remplacer Tibco KPSA par Apache NiFi (solution moderne et évolutive)​ •Assurer la continuité des opérations de provisioning (fonctions, flux, interfaces)​ •Améliorer la flexibilité et l’agilité du système​ •Réduire la dépendance aux connecteurs​ (cartridges) • Conception technique et migration des flux NiFi existants vers la nouvelle version FP 3.9, avec adaptation des connecteurs et des dépendances internes. • Intégration et configuration des cartouches HSS / ECMS, en garantissant la compatibilité entre les environnements source et cible. • Implémentation et optimisation des interfaces SOAP et HTTP, assurant la performance, la résilience et la conformité des échanges inter-systèmes.• Rédaction de documentation technique (diagrammes d’architecture, spécifications d’intégration) et transfert de compétences auprès des équipes locales. • Support technique et accompagnement pendant les phases de tests d’intégration et de validation (UAT). • Contribution à la standardisation des bonnes pratiques NiFi (gestion de versions, naming conventions, monitoring). Environnement technique : Apache NiFi FP 3.9, SOAP/HTTP, HSS, ECMS, Linux,

Contexte : Déploiement d’une plateforme Big Data pour la détection de fraudes fiscales et la valorisation des données fiscales de la DGID. Réalisations : • Participation active aux Daily Scrum Meetings, Sprint Planning et Rétrospectives. • Analyse des besoins fonctionnels et non fonctionnels, définition des objectifs techniques et indicateurs de performance. • Conception et déploiement d’une plateforme Big Data basée sur AWS (S3, Redshift) et Spark pour centraliser et fiabiliser les données fiscales. • Développement de workflows d’intégration et de transformation sous Apache NiFi pour automatiser la collecte, la normalisation et l’orchestration des flux de données multi-sources (API, fichiers, SQL). • Implémentation de traitements distribués avec Spark (PySpark/Scala) pour préparer les datasets destinés aux Data Scientists (fraudes, anomalies déclaratives, incohérences transactionnelles). • Collaboration directe avec les équipes Data Science pour l’alimentation et la qualité des données analytiques. Environnement technique : NiFi, Spark), Power BI, Python, Scala, Airflow, Linux.

Groupe La Poste – France 📅 Septembre 2023 – Novembre 2024 🎯 Poste : Data Engineer 📂 Projet : ELAN – Refonte du système de gestion logistique de La Poste 🔁 Contexte : Migration des systèmes hébergés BAAN et GDS (gestion de stock) vers SAP. 👥 Équipe projet : 15 personnes (Chef de projet, Scrum Master, 8 Data Engineers, 2 Testeurs, 2 Administrateurs) 🧩 Méthodologie : Agile Scrum ✅ Réalisations principales : Participation active aux réunions Daily Scrum, Sprint Planning et Retrospectives. Analyse des besoins fonctionnels et non fonctionnels, définition des objectifs techniques. Étude et compréhension des modèles de données existants dans BAAN. Accès aux fichiers via le service CALV2 ou via des API REST. Mise en place des processus d’extraction des données BAAN vers des formats intermédiaires. Récupération de données via API en utilisant le processeur InvokeHTTP dans Apache NiFi. Transformation de données : Mapping entre les données BAAN et les structures cibles, comparaison avec des attributs de type Lookup. Utilisation du langage XSLT pour la transformation via le processeur TransformXML. Configuration des Service Controllers et gestion des connexions entre processeurs NiFi. Regroupement de données avec MergeContent, versionnement avec NiFi Registry. Routage conditionnel avec le processeur RouteOnAttribute. Nettoyage des données : détection et traitement des doublons, données manquantes, etc. Normalisation des données selon les exigences de qualité et de conformité SAP. Conversion de formats en fonction des spécifications SAP. Développement de scripts ETL à l’aide des processeurs JoltTransform et ExecuteScript. Archivage des données sur Amazon S3. Mise en place de la surveillance des performances des processus de migration avec Grafana.

Objectifs du Campus Big Data Atos Sénégal : Former des jeunes ingénieurs aux outils et méthodes du Big Data. Renforcer les compétences locales dans des domaines stratégiques comme la data engineering, la data science, l’IA et l’analytique. Contribuer à des projets internationaux à partir du Sénégal. Soutenir l’employabilité par l’intégration en CDI des meilleurs profils formés. Outils et technologies Big Data utilisés dans le campus Atos : Ces outils varient selon les projets, mais voici les plus courants : 🧱 Data Engineering Hadoop (HDFS, YARN, MapReduce) Spark (traitement en mémoire, batch & streaming) Kafka (streaming de données en temps réel) NiFi (orchestration et ingestion de flux de données) Talend / Informatica (ETL/ELT) Airflow (orchestration de workflows) 📦 Stockage et bases de données HDFS (stockage distribué) Hive, Impala (requêtes SQL sur Hadoop) NoSQL : MongoDB, Cassandra, HBase Data Lake sur Azure, AWS ou GCP 📊 Data Science & Analytics Python, R (analyses statistiques, modèles de ML) Jupyter Notebook Scikit-learn, TensorFlow, PyTorch (modèles de machine learning) Power BI, Tableau, Qlik Sense (visualisation) ☁️ Cloud et plateformes Microsoft Azure (Data Factory, Synapse, Databricks) Google Cloud Platform (GCP) – BigQuery, Dataflow AWS – S3, Redshift, Glue, EMR Atos Codex : propre plateforme analytique d’Atos

Automatisation de tâches Créer des macros pour automatiser les opérations répétitives dans Excel ou Access (ex : traitement de données, génération de rapports). Optimiser les workflows dans les services financiers, RH, logistique, etc. 2. Développement d’outils sur mesure Concevoir des interfaces utilisateurs (UserForms). Créer des solutions personnalisées adaptées aux besoins des utilisateurs métier. Développer des modules de reporting automatisé, de consolidation ou de suivi. 3. Interaction avec d’autres applications Interconnecter Excel avec Outlook, Word ou des bases de données (SQL Server, Access…). Importer/exporter des données automatiquement.

Gestion du site e-commerce Mettre en ligne les produits (fiches produits, photos, prix, stock). Mettre à jour les pages du site (accueil, conditions, mentions légales…). Assurer la disponibilité et le bon fonctionnement du site (surveillance, corrections, mises à jour). 2. Suivi des commandes et des transactions Vérifier que les commandes se passent correctement. Contrôler le processus de paiement en ligne. Collaborer avec le service client en cas de problème technique sur les commandes. 3. Optimisation du référencement (SEO) Rédiger des contenus optimisés pour les moteurs de recherche. Gérer les balises HTML (title, meta description…). Mettre en place une stratégie de mots-clés. 4. Animation commerciale Mettre en place des campagnes promotionnelles (bannières, codes promo).

1. Analyse des besoins Comprendre les attentes du client ou du chef de projet. Participer à la rédaction du cahier des charges. 2. Conception technique Définir l’architecture du site ou de l’application. Choisir les technologies à utiliser (frameworks, langages, bases de données…). 3. Développement front-end Créer l’interface utilisateur (HTML, CSS, JavaScript). S'assurer que le site est responsive (adapté aux mobiles et tablettes). Utiliser des frameworks comme React, Angular ou Vue.js. 4. Développement back-end Développer la logique métier et les API (avec PHP, Python, Node.js, Java, etc.). Gérer l’interaction avec les bases de données (MySQL, PostgreSQL, MongoDB…). 5. Tests et débogage Tester les fonctionnalités (tests unitaires, fonctionnels). Corriger les bugs et améliorer la performance. 6. Maintenance et évolutions Assurer la mise à jour et la sécurité du site. Apporter de nouvelles fonctionnalités selon les besoins des utilisateurs. 7. Collaboration Travailler avec des designers, chefs de projet, autres développeurs. Participer à des réunions d’équipe et sprints agiles. 8. Veille technologique Se tenir informé des nouveautés et bonnes pratiques web.