Othmane Wafi

Projet : Valorisation de la données - Migration des données sur la dataplateforme Conception et mise en œuvre de solutions de valorisation de données dans le cadre de la migration des données EDF vers une plateforme Data centralisée - Recueil et analyse des besoins métiers via des ateliers et échanges avec les parties prenantes - Rédaction de spécifications technico-fonctionnelles détaillées - Modélisation des données (schémas en étoile et flocon) pour l’optimisation des usages analytiques - Définition et mise en place d’architectures data lakehouse (Bronze / Silver / Gold) - Conception des modèles de données Gold adaptés aux besoins BI et reporting - Participation aux choix d’architecture et de technologies data selon les cas d’usage - Mise en place de bonnes pratiques de gestion des données : historisation versionning stockage sur S3 stratégie de backup Développement et maintenance de pipelines de données : - Ingestion vers S3 - Transformation via Python / Spark / SQL - Orchestration des flux avec Airflow - Exploitation et traitement de données via Spark, Trino et notebooks Jupyter - Intégration de données issues de systèmes hétérogènes (PostgreSQL, Oracle, APIs) Données IoT & API - Définition et mise en place de plans de reprise de données IoT - Intégration de données issues de capteurs EDF via API (Cumulocity) - Gestion de flux de données volumineux et temps réel Data Visualization & Reporting - Création de rapports et dashboards avec Power BI - Structuration des données pour exploitation BI (PostgreSQL / Oracle) - Traduction des règles métiers en logique technique (et inversement)

Participation active à plusieurs projets au sein d’une équipe agile (SAFe) dans un contexte international (communications en anglais). - Projet CESOP (déclaration des paiements transfrontaliers pour la Commission Européenne en amont des JO 2024) : - Mise en place d’un nouveau pipeline de bout en bout sur BigQuery pour agréger les données depuis différentes tables GCP existantes au sein du groupe BPCE. - Transformation et contrôle qualité des données (SQL, Python). - Génération de fichiers XML et CSV normalisés pour transmission aux autorités. - Orchestration et monitoring des pipelines avec Airflow (retraitement automatique en cas d’échec). - Sécurisation & gouvernance des données : mise en place d’une gestion des permissions GCP automatisée avec Terraform, gestion des rôles et des accès sensibles. - Optimisation des pipelines d’ingestion : réduction des temps de traitement de 30 % via partitionnement BigQuery, clustering et refactorisation SQL. - Mise en place de reporting opérationnel : exposition des données sur Power BI pour permettre aux équipes métier d’analyser les indicateurs de fraude. - Amélioration continue : contribution à la standardisation des templates Terraform, amélioration des bonnes pratiques CI/CD (GitLab/Jenkins). - Support et maintenance : suivi des projets en production, correction des anomalies et intégration de nouvelles sources de données. - Contexte transverse : interaction régulière avec d’autres équipes data du groupe (Finance, Risk, Compliance) pour aligner les pipelines et éviter les doublons.

Participation active à plusieurs projets au sein d’une équipe agile en contexte international (coordination avec équipes EMEA et Global) CRM B2B / Luxe France : - Conception et mise en place de pipelines ELT automatisés avec dbt, alimentant BigQuery depuis le Data Lake L’Oréal (zones Global et EMEA). - Modélisation des données (tables, vues, datasets) dans BigQuery avec optimisation via partitionnement et clustering. - Optimisation des performances des traitements et réduction des temps de chargement. - Mise en place de la documentation technique et métier via dbt (docs + lineage). Consumer Market Insight Extrapolation : - Préparation, nettoyage et transformation de volumes massifs de données avec dbt sur BigQuery. Construction de modèles analytiques pour l’étude comparative des parts de marché (L’Oréal vs Amazon, Sephora…). - Automatisation des transformations via dbt, réduisant le temps d’analyse de plusieurs jours à quelques heures. - Optimisation des requêtes SQL et des coûts BigQuery. Projet Data interne (hors contexte client) : - Mise en place d’une zone de données sensible avec gestion des accès (IAM) et sécurisation des données sur GCP / BigQuery. - Développement de pipelines ELT avec dbt pour le suivi des présences (segmentation par fonction, métier, management) dans le respect du RGPD. - Implémentation de tests de qualité de données (dbt tests) et suivi de la fiabilité des pipelines. - Mise en place et amélioration de pipelines d’ingestion (batch) avec transformation via dbt et stockage sur BigQuery. - Optimisation de la robustesse, gestion des erreurs et réduction des coûts sur GCP. - Conception et réalisation de pipelines ELT sur BigQuery, intégrant transformations avancées : partitionnement, clustering, vues matérialisées, tables incrémentales (dbt incremental models). - Industrialisation des pipelines : CI/CD, déploiement, monitoring, gestion des incidents et amélioration continue.

Architecture & Conception Data - Identification et analyse des besoins métiers en collaboration avec les équipes produit et décisionnaires afin de définir les cas d’usage Data. - Étude des services Azure Data (Data Lake, Data Factory, Synapse, Databricks, Delta Lake, Monitor) pour proposer l’architecture la plus adaptée. - Conception et implémentation de l’architecture Big Data basée sur Azure, incluant la mise en place et la gestion du Data Lake. Développement & Industrialisation des pipelines - Design et développement de pipelines de données fiables et scalables, intégrant des flux batch et temps réel. - Mise en œuvre de pipelines d’ingestion et transformation avec Spark et Azure Data Factory, garantissant la qualité, la gouvernance et la traçabilité des données. - Stockage et organisation des données sur Delta Lake et SQL Server, avec exposition et visualisation via Power BI pour les métiers. Exploitation, Performance & Monitoring - Administration et gestion de clusters Spark (optimisation des coûts, configuration des ressources, monitoring). - Ordonnancement et automatisation des jobs Spark (planification, relance automatique en cas d’échec, monitoring via Data Factory). - Mise en place d’une chaîne CI/CD (Git, Azure DevOps) pour automatiser le déploiement des pipelines et des ressources Data. - Observabilité et supervision : création de tableaux de bord Datadog pour monitorer l’activité et la santé des services Spark et Data Factory (alerting, KPIs de performance). - Amélioration continue : documentation technique, partage de bonnes pratiques au sein de l’équipe, optimisation des coûts Azure

Big Data sur Azure (avec expérience opérationnelle dans un contexte client) • Monter un cluster Big Data DFS/Spark/Hive sur Azure. • Faire une analyse comparative Azure et AWS sur des programmes étalons à réaliser en Spark (avec dataset identique).

Du 5 Novembre au 7 Janvier 2019 Projet professionnelle ( en cours ) en collaboration avec Rennes Métropole : Création d'un simulateur d'évolution de la population Rennaises et les logements dans l'avenir. Les technologies prévues sont : Python, SQL, R, KNIME Analytics, Scikit learn

- Evolution du SI actuel afin de prendre en compte les évolutions de la base de données. - Migration des interfaces sur PrimeFaces (le projet Richfaces étant abandonné) et modification de certaines interfaces en vue d’une meilleure ergonomie. - Développement de la gestion des accès au système d’information (gestion des utilisateurs, interfaces de connexion, WebSSO). - Etude et développement du processus d’intégration des nouvelles données.

- Contribution à la réalisation des spécifications techniques à partir de la spécification fonctionnelle. - Contribution au développement et la conception d'une application de gestion de banque . - Création d’un module d’extraction de données à partir de base de donées relationelles (IHM) Outils: Java, Spring, JPA, Hibernate, HighCharts, Jquery, AnglarJs, Ajax, HTML/CSS, IntelliJIDEA, REST