
amine HAMDAOUI
Senior Data Engineer | GCP, Spark, Java
Salaire / Taux journalier
Paris, France
Freelance
Peut venir sur site
Expertises
Langues
À propos
Introduction
Senior Data Engineer avec 10+ ans d'expertise en architectures Big Data et migrations critiques bancaires. Spécialisé en Spark/Java avec expérience avérée chez Crédit Agricole et Banque de France sur des projets de réglementation financière et détection de fraude. Expert en pipelines haute performance, tests unitaires et déploiements cloud pour des systèmes mission-critiques.
Expérience de travail
Senior Data Engineer
Crédit Agricole CIB
mars 2024 - Présent
2 ans 8 mois
92120 Montrouge, France
•Contexte : Mission en tant que Senior Data Engineer au sein de CACIB pour contribuer à l’implémentation de la réglementation BALE IV, (calculs risques de contrepartie,calcul des actifs pondérés RWA…)pour évaluer le fond propre minimum requis au sein des banques pour faire face aux éventuelles crises financières. • Mission: Le projet vise à migrer les jobs de calculs du mainframe vers Spark, en plus d'adapter ces derniers selon la nouvelle réglementation BALE IV. Il se compose de trois sous projets : Acquisition et préparation des données, moteur de calcul et le projet de reporting et distribution des résultats de calcul aux différents entités du groupe CACIB. Je contribue aux deux projets, moteur de calcul et le projet de reporting et distribution (from scratch): - Ma contribution : - Concevoir les étapes du pipeline (ex : construction d’un objet global en amont pour les données communes des rapports au lieu de le construire pour chaque génération de type de rapport) -Concevoir le squelette des jobs Spark (Modules, Pattern Java, fichiers de paramétrage) -Analyser le besoin ,affiner,étudier la faisabilité,chiffrer et développer les user stories. -Développer les tests unitaires (couverture de +80%). -Tests de performances. -Animer la démo des U.S développées pour les B.A. -Corriger les bugs remontés. -Créer/mettre à jour les configs YAML pour les besoins CI/CD. - Assurer la code review des M.Rs. •Environnement technique. JAVA17,SPARK,HADOOP,AWS/S3,PostgreSQL,Oracle, Spring Boot,JUnit5,Mockito,Gitlab CI, SonarQube,JSON, YAML, XML,Maven,Artifactory,Docker,Kubernetes,ArgoCD,Intellij ,JIRA. •Org de l’équipe et Méthodologie . - 11 data engineer (équipe Paris et équipe Singapour), 2 chefs de projets,2 tech leads. - Méthodologie Scrum/Kanban, - Technical/ Functionnal Grooming (réunions d’affinage fonctionnel et technique) - Sprints de 2 semaines, Sprint planning, sprint review et rétrospective. - Réunions animées en Anglais avec l’équipe de Singapour.
Senior Data Engineer
Banque de France
mars 2022 - déc. 2023
1 an 10 mois
Paris, France
• Contexte : prestation data engineering au sein de l'équipe MOE du projet BASTID. • Mission : Je contribue à deux projets: 1) BASTID-FRAUDE (from scratch) vise la détection de la fraude au niveau des opérations bancaire. Le projet se compose d'une partie back office contenant les pipelines de collecte, d'extraction et de transformation des données depuis plusieurs sources, aussi que le modèle M.L alimenté par ces données et calculant le score de chaque opération. En plus des IHM pour la visualisation et la prise des décisions concernant les alertes remontées. - Ma contribution: Je me charge de la partie data engineering du back office: - Contribuer au affinage et au découpage des récits. - Étudier la faisabilité et chiffrer les récits. - Développer les pipelines pour alimenter le modèle M.L de détection de fraude. - Développer les tests unitaires et viser une couverture de 80%. - Préparer le déploiement en construisant les fichiers de conf indispensables pour utiliser les outils devops mises en place. - Gérer le projet git suivant un workflow bien défini. - Documenter les pipelines. 2) BASTID-Décisionnel (Maintenance): plateforme Big Data permettant la collecte, le reporting des données et fournissant des IHM et des tableaux de bord dynamiques pour des analyses de données,afin d'assurer le contrôle des opérations financières. Ma contribution: - Assurance de la maintenance corrective du projet et le suivi de production (RUN). - Affinage et chiffrage des récits. - Développer les évolutions au niveau des différents traitements. - Préparer les instructions pour la MEP des évolutions/correctifs. • Organisation: - 3 data eng, 2 dev web,1 tech lead/scrum Master. - Méthode Scrum avec des sprints de 3 semaines + sprint planning, sprint review et la rétrospective. • Env technique : CDP;JAVA, SPARK, HIVE, PostgreSQL,Oracle,Shell, Sqoop,Unix,JUnit,SonarQube, Maven, XlDeploy,Jenkins,Artifactory,Gitlab,Confluence, JIRA.
Senior Data Engineer
Enedis
juin 2021 - janv. 2022
8 mois
92000 Nanterre, France
• Contexte : L’application du profilage dynamique permet le calcul, la prédiction, la publication des données de consommation énergétique journalier, dans l'open data, aussi que l'envoi des données de consommation hebdomadaires aux responsables d'équilibre énergétique. Le but c'est d'aider ces derniers à avoir une bonne compréhension du marché et à mieux prédire la demande permettant ainsi le maintien de l’équilibre entre consommation et production de l’énergie, ainsi, la minimisation des pertes. • Mission: - Maintenance corrective et évolutive de l'application du profilage dynamique. - Supervision du calcul et de la publication des coefficients et intervention en cas d'incident ( suivi de prod) - Intégration du modèle de prévision de la consommation des clients par profil de consommation. • Organisation de l'équipe: - Nous étions une équipe de 5 personnes; 1 PO, 1 tech lead Teradata, 1 developpeur Teradata, 1 Data analyst et moi en tant que développeur java. - Nous travaillions en mode Agile sur des sprints de deux semaines. - Chaque fin du sprint, nous faisions le sprint review et la rétrospective. - Chaque début du sprint, nous faisions le sprint planning et procédions à l'estimation de charge et l’affectation des tickets Jira du backlog. • Environnement technique : - Java, Teradata, Eclipse, Maven, Cucumber, Docker, Kubernetes, Jenkins, Artifactory, Kyss, gitlab, JIRA,
Big Data Engineer
EDF
mai 2019 - mars 2021
1 an 11 mois
Région de Paris, France
• Contexte : Mission de "data engineering" à l’équipe transverse « Bureau d’études » à la direction de commerce d'EDF. • Mission: - Développement des pipelines génériques et paramétrables permettant l’extraction, la transformation et le transfert des données. - Organisation des réunions de validation des solutions proposées avec les product owners. - Travaux de mise en conformité avec la réglementation GDPR. - Optimisation de la stack Hadoop. - Travaux de montée en version des composants de la stack HADOOP - Contribution à la résolution des demandes de support ( support niveau 3) • Quelques projets: - Module de suivi de la qualité des données injectées sur HDFS à travers un Workflow oozie transportant les données injectées dans des tables externes Hive vers des indexes ElasticSearch, pour permettre le suivi à l'aide des dashboards Kibana. - Développement d’un traitement de compression, de regroupement et de classification des fichiers HDFS de petite taille, permettant la réduction de la volumétrie ainsi l’optimisation de l’espace de stockage du Hive Metastore et l'augmentation de sa performance. - Implémentation du droit d’oubli à travers des traitements de purge des données personnelles de consommation d’énergie. - Contribution au projet d'upgrade de la distribution Hadoop HDP - Test d'aptitude au bon fonctionnement des pipelines sous la nouvelle version de la stack Hadoop / redéveloppement et adaptation des pipelines dans le cas échéant. • Organisation de l'équipe: C'est une équipe de 9 personnes dont un PO et un chef de projet. Nous travaillons en Mode Agile Scrum, avec des sprints de 3 semaines. • Environnement technique : Hadoop (HortonWorks), HDFS, Spark, Hive, HBASE, ElasticSearch, Java, Eclipse, SonarQube, Cucumber, Oozie, Maven, Jenkins, Nexus, Gitlab, JIRA
Ingénieur études et développement
CIMR
avr. 2016 - juil. 2018
2 ans 4 mois
Casablanca, Maroc
• Mission. Ma mission consistait à mettre en œuvre le support applicatif des produits de la caisse de retraite aidant l’entreprise à mieux gérer ses produits, automatiser ses différents processus et fournir aux clients des plateformes et portails simples pour bien commercialiser les produits de retraites proposés (application de gestion d’adhésions, Simulateur de points et de pensions, automatisation de déclaration d’impôts …) Elle consistait aussi à fournir au comité de direction des applications de suivi d’activités commerciales pour plusieurs produits construisant et présentant des indicateurs de performances aidant à la prise des décisions Marketing. • Mon rôle : - Analyser les besoins client. - Étudier la faisabilité des fonctionnalités demandées. - Affinage du besoin en collaboration avec l'équipe MOA. - Chiffrage. - Développer et tester. - Assurer la maintenance évolutive et corrective. - Assurer le monitoring et le suivi de production et la résolution des incidents. • Quelques Projets. - Développement d’une application d’automatisation des déclarations d’impôts xonsistant en la collecte des données financières de cotisations de tous les clients de l’entreprise et la mise en forme de ces dernières sous forme de fichiers xmls prêts à uploader sur le webservice de la Direction Générale des Impôts. Processus passé d’une dizaine de jours à quelques heures. - Développement de l’onglet KPIS de l’application du produit de retraite individuelle consistant en la construction de plusieurs dashboards permettant le suivi de l’activité commerciales relative au produit (nombre d’adhérents, évolution des cotisations, chiffre d’affaire par durée, nombre de nouvelles demandes …) aidant ainsi à prendre des décisions Marketing et de communication. • Environnement technique. Windev/Webdev (WLangage), SQL, Eclipse, IBM AS400,XML, XSD. • Organisation de l’équipe et Méthodologie du projet. - Équipe de 12 Développeurs et 1 chef de projet. - Méthodologie de projet :Cycle en V.
AMOA
VENTEC MAROC
janv. 2015 - juil. 2015
7 mois
Casablanca, Maroc
• Contexte. Prestation en tant que AMOA au sein du service après-vente de VENTEC Maroc, distributeur d’équipements de climatisation et de ventilation. • Mission. Ma mission consistait à assurer l’intégration d’un système de gestion de la maintenance assistée par ordinateur (GMAO) dans le système d’informations de l’entreprise. Le système aide à l’organisation et la planification des interventions de maintenance des équipements de climatisation et de ventilation dans les sites des clients. • Mon rôle : - Animer les réunions de suivi du projet avec mon responsable et le prestataire de la solution. - Paramétrer le système et configurer la politique de restriction d’accès. - Préparation de la base de données (Nettoyage et Alimentation). - Assurer la recette fonctionnelle du système. - Assurer la formation et l’assistance aux utilisateurs du système. - Ressortir les indicateurs de performances aidant à la prise des décisions concernant les interventions des techniciens de l’entreprise. Environnement technique. GMAO, SQL, Microsoft Excel.
Analyste développeur BI
Laboratories GENPHARMA
mars 2014 - juil. 2014
5 mois
El Jadida, Maroc
• Contexte. Prestation en tant qu’Analyste Développeur BI aux Laboratoires Genpharma, acteur de fabrication et de distribution de médicaments générique au Maroc. • Mission. Ma mission consistait à analyser le processus métier de gestion des commandes suite aux réclamations de retard de livraison. L’objectif est de modéliser le processus et d’identifier toute anomalie et proposer une solution convenable. En plus, je me suis chargé de proposer une solution pour le suivi d’activités des délégués médicaux responsable de la prospection des clients. Mon rôle : -Modéliser le processus de gestion des commandes. -Identifier les problèmes causant les retards de livraison. -Proposer une solution d’optimisation et la valider avec l’équipe . -Implémenter et tester la solution . -Proposer une solution de suivi d’activités des délégués médicaux. • Problèmes identifiés. -Intervention manuelle pour assurer le transfert des fiches de commandes entre deux progiciels impliqués dans le processus. -L’échange des documents engagés dans le processus est fait par mail dispersés. -La construction des rapports de suivi et leur envoi aux personnes concernées est manuelle. • Solutions proposées. -Optimisation de la communication des deux progiciels en développant des scripts qui récupère les données des commandes depuis le premier, les organise et construit les fiches sous le format exigé par le deuxième automatiquement. -Configurer le logiciel de gestion électronique de document Alfressco pour mieux organiser le flux des actions du processus de gestion des commandes et centraliser les documents utiliser pour assurer les actions du processus. -Développer un pipeline qui récupère les données des activités des délégués médicaux, construit les dashboards de suivi, les organise sous forme de rapports puis les envoi aux personnes concernées automatiquement. • Environnement technique. QlikView, Alfresco, MEGA Process BPMN. • Méthodologie du projet. Cycle en V.
Formation
Grenoble Ecole de Management
Mastère spécialisé Big Data
2018 - 2019
2 ans
National School of Computer Science and Applied Mathematics of Grenoble
Mastère spécialisé Big Data
2018 - 2019
2 ans
Mohammadia School of Engineers
Ingénieur d'état
2011 - 2014
4 ans