Mor Samb

AWS DATA ENGINEERING

AWS DATA ENGINEERING

Mission en mode forfait. L’objectif principal est de designer et mettre en place un Framework PySpark customiser pour faire les jobs Glue. Utiliser le Framework pour développer le cas d’usage OEE pour mesurer l’efficacité opérationnelle et la productivité dans l’usine Safran de Walton. Mettre en place l’observabilité, l’alerting et le monitoring. Leur permettre d’atteindre l’excellence opérationnelle rapidement.

Google Cloud Certified - Professional Data Engineer | Consultant Big Data chez JEMS Group

L’objectif de la mission était d’accompagner l’équipe en place pour accélérer sur le projet.

Mission : Mise en place d’une plateforme Data L’objectif de la mission est de mettre en place une plateforme data avec : un Data Lake, des notebooks Databricks pour charger, transformer et sauvegarder les données dans le Data Lake ou dans une base de données et avec des pipelines à lancer et orchestrer dans Microsoft Data Factory. Sur ce projet je suis intervenu comme DATA ENGINER encadré par un chef de projet. J’ai suivi le projet sur tout le cycle de vie depuis sa conception jusqu’à son déploiement.  Participation à la mise en place de l’architecture  Création et configuration des ressources  Création des notebooks PySpark et Scala  Création des Pipelines Data Factory  Création des Pipelines CI-CD pour Databricks et Data Factory avec DevOps  Formation et Accompagnement des utilisateurs Environnement technique : Plateforme Azure (ADLS Gen2, Data Factory, Databricks, Azure DB, Azure Key Vault, DevOps) Spark, PySpark, Scala, SQL, YAML

Au sein de la DSI de FIGARO, je suis intervenu dans la spécification, la conception , la réalisation et la recette de plusieurs projets métiers visant à exploiter la masse de données digitales collectées par le site WEB. Parmi les réalisations qui m’ont été confiées, nous pouvons citer : Mission : Exploitation des données de consentement pour évaluer l’impact du RGPD L’objectif de la mission est de calculer chaque jour le nombre de vues et de clicks sur chaque article publicitaire ainsi que la somme totale des revenus générés par ces publicités en dollars et en euros. De manière autonome en relation directe avec les utilisateurs, je suis intervenu  Fonction intégration : Un jar Spark en Scala et avec SBT  Fonction Calcul : Une requête SQL pour les agrégations et une base de données Redshift  Fonction ordonnacement : Un DAG Airflow pour l’exécution du job Spark tous les jours Mission : Ciblage des publicités en exploitant les données de segmentation et en sélectionnant les pages web les plus visitées.  Création d’un jar Spark en Scala et avec SBT  Mise en production avec un DAG Airflow Mission : Réécriture du préprocessing Data Science en Saprk pour réduire le temps d’exécution et faciliter la mise en production de leur modèle.  Création d’un script pyspark Rattrapage de l’historique des données avec un spark-submit ou depuis Airflow  Création d’un script Shell  Création de cluster EMR pour exécuter les jobs Environnement technique : Spark Scala, pySpark, AWS (S3, EMR, ATHENA, GLUE, Redshift), Airflow, Jenkins, Bitbucket, SQL, SBT

Missions : Prédiction des ventes Construction de modèles de Machine learning et de Deep learning pour améliorer la prédiction des ventes :  XGBoost  LSTM  Dense  Wide and Deep neural network  Création de méthodes ensemblistes (stacking, blending) pour obtenir un meilleur résultat Environnement technique : MS Azure, Jupiter Notebook, Python, Keras, Tensorflow