
Mohamed JAMALI
Data Engineer
Salaire / Taux journalier
Lille, France
Freelance
Peut venir sur site
Expertises
Langues
Expérience de travail
Data Engineer
Leroy Merlin
oct. 2024 - Présent
2 ans 1 mois
Lille, France
Contexte général Au sein de l’équipe Vente et E-Commerce j'ai eu l’occasion de travailler sur plusieurs sujets centrés sur le développement des pipelines de données avec plusieurs ELT (DBT, Kestra et Pipeline), l’intégration de données dans le Data Warehouse BigQuery, la consolidation de données dans les Data Mart, l'exposition et la mise à disposition des données pour alimenter les différents tableaux de bords métier. > Ci-dessous quelques-uns de ces projets : Projet 1 : Plateforme Data NPS et Expérience Client App Contexte général : Développement et déploiement d'une plateforme de données avancée pour l'analyse de l'expérience client et du Net Promoter Score (NPS) basée sur les fonctionnalités de l'application mobile Leroy Merlin. Le projet combine les données Piano Analytics, les métriques d'expérience client, et les données de fidélité pour mesurer l'impact des nouvelles fonctionnalités app (géolocalisation, scan produit, NFC, clignotement) sur la satisfaction et les conversions clients. Tâches réalisées : - Conception et implémentation d'une pipeline DBT avec architecture multi-couches (staging/intermediate/publish) pour transformation des données complexes d'expérience client. - Déploiement automatisé avec Terraform utilisant le provider DataHub pour orchestration des flux de données avec double scheduling (quotidien et mensuel). - Configuration d'ingestion depuis 7 sources de données hétérogènes (Piano Analytics, données loyalty, catalogue produits, commandes web, feedback clients). - Développement d'algorithmes de calcul Net Promoter Score avec segmentation par magasin, région et canal (web/magasin). - Création de KPI spécialisés pour mesurer l'usage des fonctionnalités innovantes (géolocalisation produits, scan rapide, ajout panier NFC, clignotement LED). - Implémentation de tables DBT incrémentales pour optimiser les performances sur gros volumes avec stratégie appendnewcolumns - Calcul d'indicateurs métier complexes (AOV, CA par device, produits 1st/3rd party, utilisation codes promo) avec granularité magasin/région - Intégration données loyalty pour analyser la corrélation entre engagement app et fidélité client Résultats obtenus : - Automatisation bi-fréquence, pipelines quotidiens pour KPI opérationnels et mensuels pour les analyses stratégiques - Granularité multi-dimensionnelle : Analyses par magasin, région, département produit, device et fonctionnalité app pour pilotage fin - Quantification précise de l'impact des nouvelles features app sur CA et conversion (scan, géolocalisation, NFC) - Consolidation données comportementales, transactionnelles et satisfaction pour vue unifiée de l'expérience Périmètre technique : Langages : HCL, YAML, SQL, JSON, Jinja2 Logiciels & Outils : DBT Core, DataHub, Terraform, BigQuery, Cloudcraft, Git/GitHub, Cloud Scheduler, dbt docs Projet 2 : Plateforme Data E-commerce Home Index Contexte général : Développement et déploiement d'une plateforme de données e-commerce pour l'analyse de l'impact environnemental des produits via le score "Home Index" chez Leroy Merlin. Le projet analyse les comportements clients (navigation, ajouts panier, achats) en fonction des notes environnementales des produits (A à E) pour toutes les Business Units européennes (France, Espagne, Italie, Pologne, Portugal). Tâches réalisées : - Conception et déploiement d'une pipeline data moderne avec Terraform utilisant le provider DataHub pour l'orchestration automatisée des flux de données - Architecture multi-couches, implémentation d'un data lake et d'un data swamp avec couche de publication structurée pour la consommation métier. - Configuration d'ingestion automatique depuis Piano Analytics (events e-commerce) avec filtrage par événements métier. - Développement de requêtes SQL avancées avec logique de scoring Home Index (A-E) basée sur des seuils de notation environnementale. - Création de tables BigQuery partitionnées par date pour optimiser les performances sur les données temporelles massives. - Calcul d'indicateurs métier spécialisés (taux de conversion par note environnementale, CA par segment Home Index, clics dédiés) - Gestion de 5 BU européennes avec mapping automatique par siteId (LMFR, LMES, LMIT, LMPL, LMPT) - Mise en place de schedulers quotidiens avec gestion des dépendances et modes de chargement. Résultats obtenus : - Pipeline autonome avec extraction incrémentale quotidienne et gestion automatique des dates de reprise - Analyse standardisée sur 5 Business Units européennes - Disponibilité des KPI Home Index dans les 24h pour pilotage métier réactif - Analyse fine par produit, date et BU permettant le pilotage des stratégies environnementales - Infrastructure DataHub permettant l'extension vers d'autres indicateurs e-commerce Périmètre technique : Langages : HCL, YAML, SQL, JSON Logiciels & Outils : DataHub, Terraform, BigQuery, Cloudcraft, Git/GitHub, Cloud Scheduler. Projet 3 : FinOps – Optimisation des coûts BigQuery (Vente, E-commerce & Web) Contexte général : Mise en place d’une démarche FinOps pour identifier les sources de surconsommation, optimiser les usages et réduire durablement la facture cloud. Tâches réalisées : - Réalisation d’un audit complet des projets BigQuery (requêtes, datasets, utilisateurs, service accounts). - Identification des Top 10 consommateurs et analyse de leur usage. - Organisation de réunions individuelles avec les équipes consommatrices pour expliquer les enjeux FinOps et définir des plans d’action. - Optimisation des requêtes les plus coûteuses - Arrêt de flux obsolètes en intégration (non exploités en production). - Suivi des coûts et quotas via GCP. - Rédaction et diffusion de guidelines FinOps. Résultats obtenus : - Intégration : économies de 44 TB soit 98 % de réduction (arrêt des flux obsolètes). - Développement : économies de 170 TB, soit 98 % de réduction (nettoyage et optimisation massive). - Production : économies estimées à 300 TB, représentant 23 % de réduction des coûts. - Impact global : réduction significative de la facture BigQuery et amélioration de la visibilité budgétaire. - Adoption progressive d’une culture FinOps par les équipes.Périmètre technique : Langages : SQL Logiciels & Outils : BigQuery, Google App Script.
Data Engineer
Auchan France
sept. 2021 - août 2024
3 ans
Lille · Hybrid
Projet A : Démantèlement d'un flux de données émis par l'AS400 : - Création des Jobs Talend permettant le traitement des fichiers positionnels multischémas. - Déploiement des Jobs Talend. - Création du schéma et configuration de la table dans la Datalake pour intégrer les flux entrants. - Mise en place d'un script Shell permettant le chargement de la table cible à partir de la Datalake (accrochage, transformation, recyclage, RG ...). - Création des Jobs + Schedular pour les traitements en Batch. - Création du script de l'export. - Mise en place d'un tableau de bord sur DataStudio pour le run. - Mettre en place un script d'alerting qui permet de relancer les équipes afin de prendre les actions nécessaires. - Automatisation des tests en QUALIF. Projet B : Mise en place de contrôle pour la montée de version de Meti, mise en disposition à l'équipe de bascule un ensemble outils permettant l'automatisation de l'ensemble des actions pré et post bascule : - Mise en disposition d'un Job Talend permettant de bloquer et débloquer les flux envoyés par l'ensemble des 390 magasins Super et Hyper en France. - Un Job Talend qui permet d'effectuer un contrôle sur le nombre de lignes par tables par magasins. - Création des tables temporaires métier et de paramétrage. - Contrôler les doublons. - Comparaison des données entre les 2 versions des tables métiers/paramétrages. - Mettre à jour certaines tables. - Automatisation des tests. - Test Blanc. Projet C : Mise en place d'un traitement permettant l'alimentation des caisses de type V à partir d'un flux à destination des caisses de type X : - Flag des magasins avec des caisses de type V. - Création d'un Job Talend qui permet de récupérer les flags depuis BigQuery et reproduire la structure du flux qui alimente les caisses de type V à partir du flux à destination des caisses de type X.
MMM Data Scientist
Omnicom Media Group France
févr. 2021 - juil. 2021
6 mois
92100 Boulogne-Billancourt, France
Au sein d'Annalect entité groupe qui vient en support des agences sur des sujets spécifiques hors média, les missions qui m’ont été assignées sont les suivantes : - Le traitement des données : les données reçues de l’équipe USA sont brutes et extraites à travers des logiciels internes ou encore se sont des données open source, alors la transformation de ces derniers représente le tout premier pas. - La documentation : Restituer un support sur les méthodologies utilisées en créant un document qui explique les étapes suivies. - Le data review : consiste a visualiser graphiquement nos données. - La modélisation : la création des modèles de ML est soumis à des exigences diverses, les modèles doivent respecter les contraintes métiers ainsi que les contraintes statistiques. - L’automatisation : dans une perspective d’optimisation du temps de travail et de l’automatisation des tâches, j’ai créé des fonctions sur logiciel R qui répondent aux besoins en question.
Formation
University of Lille 1 Sciences and Technology
Master
2018 - 2021
2 ans 11 mois
University of Lille 1 Sciences and Technology
Licence
2017 - 2018
1 an 1 mois
Université Hassan II
Licence
2013 - 2016
3 ans 1 mois