
Réda L.
Senior Data Engineer | Azure Databricks, PySpark
1 recommandation
Salaire / Taux journalier
1 personne recommande
Paris, France
Freelance
Expertises
Langues
À propos
Introduction
Senior Data Engineer avec 7+ ans d'expertise Azure Databricks et PySpark, spécialisé dans les architectures CDP et les pipelines ETL à grande échelle. Expérience éprouvée chez AXA : migration de projets Next Best Offer, optimisation de workflows Spark, et pilotage technico-fonctionnel de cas d'usage marketing complexes. J'accompagne vos projets data de bout en bout, du cadrage des besoins à l'industrialisation, en garantissant qualité des données et performance optimale.
Expérience de travail
Business Analyst CDP / Databricks
AXA en FranceFreelance
janv. 2025 - Présent
1 an 10 mois
92000 Nanterre, France
Migration du projet NBO (Next Best Offer) de Databricks vers la CDP (Customer Data Platform) Mise en oeuvre et suivi du programme ARIANE autour de cas d’usage marketing • Pilotage technico-fonctionnel de la migration NBO, du cadrage des User Stories jusqu’au suivi de leur implémentation par le prestataire. • Référent technico-fonctionnel auprès des équipes Métier, Marketing, Data, Développement et Test. • Analyse et challenge des solutions de conception et d’implémentation proposées par le prestataire. • Revue et analyse technique des workflows CDP afin de garantir leur conformité avec les besoins métiers et les spécifications définies. • Cadrage des Use Cases ARIANE et traduction des besoins Marketing en exigences fonctionnelles et techniques. • Analyse et exploration des données sous Azure Databricks (PySpark / SQL) afin de valider la faisabilité des Use Cases, la complétude des spécifications et la disponibilité des sources. • Identification des dépendances et sources de données manquantes, et coordination de leur mise à disposition dans le respect du processus Data by Design. • Rédaction des spécifications technico-fonctionnelles et formalisation des règles de gestion sous Confluence. • Animation des ateliers 3A et coordination avec les équipes de développement et de test pour sécuriser l’implémentation des Use Cases. • Accompagnement technico-fonctionnel des équipes de développement et de recette tout au long du cycle de réalisation. • Pilotage des investigations techniques et analyse des écarts de résultats entre développements et tests. • Conception et mise en oeuvre de l’ingestion des Business Views Databricks dans la CDP. • Développement des workflows CDP de Data Cleaning, rapprochement et unification des Business Views. • Enrichissement du Master Segment CDP avec les indicateurs et attributs métiers nécessaires aux différents Use Cases. • Accompagnement des équipes Marketing dans la définition et la mise en oeuvre de leurs ciblages au sein de la CDP.
Big Data Engineer Cloud Azure
AXA en FranceFreelance
janv. 2021 - juil. 2024
3 ans 7 mois
92000 Nanterre, France
Projets : Proposition des recommandations de produits AXA aux agents Ciblage des clients pour l’envoi des enquêtes de satisfaction Convertir des prospects en clients à travers des campagnes marketing • Développement de fonctionnalités Python pour le framework d’intégration de données dans le Data Lake. • Développement de notebooks PySpark de qualification, de transformation et d’ingestion de flux de données dans le Data Lake. • Développement et industrialisation de pipelines ADF d’extraction, de transformation et de chargement (ETL). • Migration du projet ciblage sinistre iard depuis SqlServer vers du Python Spark sur Databricks • Contrôle de la qualité des données tout au long du processus ETL. • Intégration et visualisation de sources de données variées dans l’écosystème Azure, notamment avec Azure Storage Explorer. • Optimisation des jobs Spark afin d’améliorer les performances. • Identification et résolution des goulots d’étranglement dans les pipelines ADF. • Déploiement des cas d’usage sur l’ensemble des environnements avec Azure DevOps. • Documentation des pipelines ETL, des schémas de données et des processus d’intégration. Environnement : Microsoft Azure, Azure Data Factory (ADF), Azure DevOps, Databricks, PySpark 3, PyCharm, Python 3.7
Big Data Engineer
ACOSS
janv. 2020 - déc. 2021
2 ans
93100 Montreuil, France
Projets : 1. Consolidation des individus et leurs contrats pour toutes les déclarations sociales nominatives (DSN) des entreprises. • Développement de jobs Spark (Java) de consolidation des individus • Développement de jobs Spark (Java) de consolidation des Contrats • Développement de job Spark (Scala) de lecture et écriture depuis et vers Hbase, avec le Hcatalog • Développement de job Spark (Scala) de Split et partitionnement des tables Hbase par modulo sur les régions servers. • Développement de job Spark (Scala) d’ingestion des fichiers Hfiles sur Hdfs et chargements massifs dans les tables Hbase 2. Migration du projet DPAE (déclaration préalable à l’embauche) de SAS vers Big Data • Développement de jobs Spark (Python) pour l’imputation des valeurs manquantes par type contrat, durée cdd, sexe et âge. • Développement de jobs Spark (Python) pour la création d’une table synthèse des déclarations préalable à l’embauche depuis 2000. • Développement de jobs Spark (Python) de contrôle de doublons et de calcul taux retard et correction retardataire. • Développement de Jobs d’import Sqoop depuis Oracle. • Développement de scripts Hql pour les tables Hive (formats Orc, Parquet) • Suivi des lancements de traitements et analyse des logs avec le Ressource Manager. • Réalisation des tests unitaires et d’intégrations. • Ordonnancement des chaines avec Oozie. • Support utilisateurs SAS sur tous l’environnement Big Data. Systèmes, SGBD, Langage: Windows 10, MobaXterm, Git Bash, Intellij IDEA, Pycharm, GIT,Keepass, Oozie, Sqoop, Hql, Shell, Java, Scala, Python Outils : HDP 3.0.1,Spark 2.3.2, Hive, Hbase
Big Data Engineer
Enedis (ex ERDF)
sept. 2018 - janv. 2020
1 an 5 mois
92000 Nanterre, France
Projet : Ingestion Massive de données dans le Datalake • Recueil des besoins et chiffrage lors des PI Planning. • Conception des solutions d’ingestion selon le besoin métier. • Mise en place d’une nouvelle chaine d’ingestion en mode Batch. • Mise en place d’une nouvelle chaine d’ingestion en mode Streaming. • Maintenance de la chaine d’ingestion existante avec les Kafka Connect (Syncdir,Hdfs) et Java App. • Développement d’un connecteur Kafka Jms. • Développement des schémas Avro pour l’ingestion Kafka. • Publication des schémas Avro dans le schéma registry de Kafka Confluent. • Développement d’un producer Avro pour les tests unitaires. • Développement de scripts de création de topics, de users, de droits de production et consommation des topics. • Développement de jobs Spark Batch (Scala) d’ingestion dans Hdfs, Hive et Hbase. • Développement de jobs Spark (Scala) streaming (process structuré et non structuré) d’ingestion dans Hdfs, Hive et Hbase. • Suivi des lancements de traitements et analyse des logs avec le Ressource Manager. • Réalisation des tests unitaires et d’intégrations, et rédaction des procédures de livraison. • Développement de scripts Hql pour les tables Hive (formats Json, Avro, Xml). • Ordonnancement des chaines avec Azkaban. • Chantier de migration vers des cluster Hadoop Kerberisé. • Visualisation des Dashboard de dataQuality et topics sur Grafana. • Build d’applications dans Nexus. • Déploiement des chaines sur l’ensemble des environnements avec Jenkins. • Vérification du bon déploiement d’application Java (existantes) sur les containers OpenShift. • Support utilisateurs sur Kafka, Pyspark et Hive. Systèmes, SGBD, Langage: Windows 10, MobaXterm, Git Bash, Intellij IDEA, GIT,Keepass,JIRA,Grafana, Azkaban, Jenkins,Openshift, Hql, Shell, Java, Scala, Python Outils : HDP 2.6.4, Confluent Kafka 0.11,Spark 2.3, Hive.
Consultant Informatica Data Quality
MGEN Solutions
sept. 2017 - août 2018
1 an
7620 Paris, Danemark
Projet : Qualité des données Solvabilité 2 • Rédaction des STD • Extraction des données (Fichiers plat) • Développement des PDO, règles et Mappings • Développement des Workflow et déploiements des applications • Développement des SDM, Profile et Scores sous Informatica Analyst • Développement des Scripts sql et ksh (Korn Shell) • Préparation des Packages de livraison et des procédures d’installation • Réalisation des tests (Unitaires, Intégration) et les dossiers d’exploitation • Assistance à la MOA durant les tests de recette
Formation BigData
CGFOS
mars 2018 - juil. 2018
5 mois
Région de Paris, France
Partie 1 : Infrastructure (12 jours) • Fondamentaux du Big Data • Hadoop • Kafka • Pig-Hive-Impala et Hbase Partie 2 : Stockage NoSQL (8 jours) • SolR • Cassandra • Neo4J Partie 3 : Data Scientist (16 jours) • Spark • ElasticSearch • Machine Learning • Language R • BigData et Objets connectés
Formation Informatica data quality & MDM
Plateforme Informatica
juil. 2017 - oct. 2017
4 mois
Consultant BI informatica oracle
AXA Group Operations
oct. 2015 - juil. 2017
1 an 10 mois
7620 Paris, Danemark
Projet : Gestion du datawarhouse du CALL CENTER AXA, des activités et sinistres ainsi que les données RH d’AXA France. Fonction: Ingénieur d’Etude et de Développement Décisionnel. Tâches : • Analyse de l’existant • Extraction des données (Fichiers plat, Base Oracle) • Alimentation du DWH et DATAMARTS • Développement et optimisation des Mappings • Développement de Workflow, et Worklet • Développement des Scripts sql et ksh (Korn Shell). • Préparation des Packages de livraison et des procédures d’installation • Réalisation des tests (Unitaires, Intégration) et les dossiers d’exploitation. • Assistance à la MOA durant les tests de recette. Environnement : • Systèmes : Windows 7, Putty • SGBD : ORACLE 11g • Langage: SQL, PL/SQL, Shell • Outils : Power Center Informatica V9
Ingénieur d’Etude et de Développement Décisionnel
AXA Assurance Maroc
nov. 2014 - oct. 2015
1 an
Casablanca, Maroc
Projet : Mise en place d’une solution décisionnelle pour le suivi des contrats d’assurance vie. Fonction: Ingénieur d’Etude et de Développement Décisionnel. Tâches : • Analyse de l’existant • Extraction des données (Fichiers plat, Base Oracle) • Alimentation du DWH et DATAMARTS • Développement et optimisation des Mappings • Développement de Workflow, et Worklet • Développement des procédures stockées et scripts Shell • Création des univers BO et des rapports sous Webi • Traitement des boucles et optimisation des univers • Réalisation des tests (Unitaires, Intégration, Recette) Environnement : • Systèmes : Windows 7, UNIX AIX 5.2 • SGBD : ORACLE 10g • Langage: SQL, PL/SQL, Shell • Outils : Power Center Informatica 8.5, BO XI R2, POWER AMC
Assistant Ingénieur d’optimisation
Veolia Environnement Recherche et Innovation
avr. 2014 - oct. 2014
7 mois
7620 Paris, Danemark
Projet : Planification optimisée de la charge rapide des véhicules électriques en auto partage Fonction : Assistant Ingénieur d’optimisation Tâches : Proposer un algorithme de décision, modéliser le problème et l’implémenter sur un solveur de recherche locale, tester plusieurs scénarii et comparer les différents résultats. Outils et concepts associés: techniques d’optimisation, Matlab, LocalSolver.
Formation
Université de Bordeaux
Master II Aide à la décision à l’Université de Bordeaux.
2012 - 2013
1 an 1 mois