Dame Seck

En prestation Data Engineer Chez AXA France Depuis juillet 2022 Rattaché à l’équipe projet IT du métier et l’équipe Big Data pour développer des cas d’usage définis par le métier pour faciliter les rapprochements mensuels entre les données de comptabilité et celles de gestion. Sur ceux j’ai pu intervenir sur ces différentes missions : -Recueil du besoin métier durant les animations d’atelier ou réunion de cadrage -Participation à la spécification technico-fonctionnelle du besoin -Collecte, exploration, préparation, enrichissement et normalisation des données dans le data lake -Développement des spécifications fonctionnelles et techniques -Industrialisation des cas d’usages métier avec l’outil interne avant mise en production -Définition des paramètres d’automatisation des pipelines de données sur des fichiers Yaml -Mettre en disposition des données pour le métier dans le datalake via Azure Storage ou Databricks -Mise en place des tests unitaires et codes guides définis entre data engineer -Réalisation et automatisation de pipeline de traitements de données -Gestion d’incident et suivi des workflows -Création d’une documentation technique et fonctionnelle sur les traitements encours -Stack technique: Azure (Data Factory, Devops), Databrick, PySpark, Python, Git, Pycharm, VsCode, pytest -Méthode: Agile (Scrum)

En tant que Data Engineer j’ai pu participer sur ces différents sujets : - Réalisation d’un outil de gestion et de suivi des sources de données -Automatisation de la collecte, de l’ingestion et de la préparation de données sur le data lake -Gestion d’incident des data sources avec les partenaires. -Participation à la réalisation de poc de migration vers le cloud (GCP) -Stack technique: HDP 3, Apache Nifi, HDFS, Hive, Kafka, Spark, SQL, Big Query, Python, Apache Oozie -Méthode: Agile (Scrum), Devops

Mettre en place une plateforme de collectes et de traitements de données en temps réels. Les différentes activités et réalisations en tant que Data Engineer dans ce projet sont : -Conception, design et documentation de l’architecture de données (batch et streaming) -Automatisation des pipelines de données (collecte, stockage, traitement, visualisation) -Mettre en place des APIs pour faciliter l’échange de données entre les partenaires -Animation d'atelier pour définir les besoins du client et proposition d'architecture -Piloter les autres membres de l'équipe Datalab de l’université de Troyes et de contrôler les livrables attendus -Monitoring des applications mises en place pour gérer les incidents -Configurer, déployer et superviser l’environnement technique (Spark, Kafka, MongoDB, Python) -Déploiement d’un outil de collectes et de stockage de données sur AWS (ec2, S3 stockage) -Réalisation de Poc pour la migration vers le cloud GCP -Faire la documentation technique de l’architecture de l’outil -Stack technique: GCP(Dataproc, Big Query, Cloud Composer), Python, Pyspark, MongoDB, Kafka, Git, Tweepy, Flask