
Hamza Bakatir
Lead Data Engineer | Spark, Kubernetes
Salaire / Taux journalier
95600 Eaubonne, France
Freelance
Expertises
Langues
À propos
Introduction
Lead Data Engineer avec 9 ans d'expertise en architecture Big Data et pilotage d'équipes distribuées (jusqu'à 10 développeurs). Conception de DataHub Kubernetes traitant les flux SWIFT pour l'IA anti-fraude chez Crédit Agricole CIB, frameworks ETL Spark/Java réutilisables, et pipelines temps réel pour grands groupes. Spécialisé en Spark/Scala/Python, K8s, Airflow et CI/CD, avec un focus sur la qualité, la scalabilité et le mentorat technique.
Expérience de travail
Lead Data Engineer
Crédit Agricole CIB
févr. 2022 - Présent
4 ans 9 mois
95600 Eaubonne, France
– Au sein de la Direction Compliance, conception d'un DataHub à capacité DataLake pour traiter les flux de paiements SWIFT MT/MX, paiements locaux et instantanés de plusieurs entités. Les pipelines alimentent un modèle IA de détection de fraude. Pilotage d'une équipe de 4 (Singapour) puis 10 développeurs (Île Maurice) en AGILE anglophone. › Leadership & encadrement – Animation des cérémonies AGILE (Grooming, Sprint Planning, rétros) en anglais – Définition des standards de développement, revues de code systématiques – Montée en compétences et mentorat des développeurs juniors – Production et maintien de la documentation technique › Architecture & Développement – Conception d'un framework ETL Spark/Java/Spring sur Kubernetes pour standardiser et sécuriser la création de pipelines – Architecture de la donnée sur S3 (DataLake) et gouvernance adoptée par l'ensemble de l'équipe Data – Conception de la plateforme K8s: intégration d'Airflow (Kustomize), S3 Explorer, tables de monitoring PostgreSQL – Mise en place de solutions de data quality; synchronisation des secrets Vault via ArgoCD › CI/CD & Déploiement – Création et maintenance de la pipeline CI/CD GitLab (tests automatisés, packaging, déploiement production) – Orchestration des workflows via DAGs Airflow en Python – Vérification et débogage avec le client Kubernetes – Installation de services via Kustomize et Python > TMA & Production – Responsable du maintien en condition opérationnelle de la plateforme et des pipelines en production – Supervision via Grafana (Absana), gestion des incidents et garantie du SLA – Visualisation et analyse des logs via une solution ELK – Optimisation continue des performances de l'ETL; traçabilité des actions via JIRA › Collaboration métier & architectes – Recueil des besoins, design technico-fonctionnel, présentation aux parties prenantes – Participation aux réunions d'architecture pour l'intégration de nouveaux outils
Lead Data Engineer
Société Générale
janv. 2019 - déc. 2021
3 ans
94120 Fontenay-sous-Bois, France
– Développement des pipelines Spark/Scala de collecte de données et d'application des règles métier pour améliorer la notation des clients Tiers, puis conception des applications templates servant de socle commun à l'ensemble des projets du Groupe. Accompagnement des équipes qui réutilisent ces modules. Équipe de 5 data engineers en AGILE anglophone. › Leadership & encadrement – Animation des cérémonies AGILE (Grooming, Sprint Planning, rétros) en anglais – Définition et application des standards de développement; revues de code systématiques – Montée en compétences et mentorat des développeurs juniors ; documentation technique › Développement – Architecture des solutions de collecte de données et d'application des règles métier en Spark/Scala – Développement de modules techniques partagés et réutilisés par d'autres équipes du Groupe – TDD (Mockito, FlatSpec, GivenWhen Then); persistance ORC sur HDFS et tables Hive – Version embedded par technologie pour permettre les tests unitaires et d'intégration directement en local, sans infrastructure externe – Gestion rigoureuse des erreurs avec messages explicites pour chaque application Spark › CI/CD & Déploiement – Paramétrage Spark et Oozie (coordinateur + workflow XML) ; configuration JenkinsFile et déploiement via AWX/Ansible – Pipeline CI/CD pour chaque application template ; scripts Shell et Ansible pour le décommissionnement des droits HDFS/Ranger › Documentation & Partage de connaissance – Rédaction de la documentation de référence: best practices, nouvelles fonctionnalités de la plateforme, contraintes techniques et recommandations d'implémentation – Présentation des templates et process aux équipes projets pour standardiser les pratiques à l'échelle du Groupe › Support aux équipes – Accompagnement des équipes en difficulté à l'utilisation des modules : débogage, revue de code, conseil d'implémentation – Présentation des solutions disponibles pour les nouveaux projets démarrant sur la plateforme
Big Data Developer
Renault Digital
juil. 2017 - déc. 2018
1 an 6 mois
92100 Boulogne-Billancourt, France
– Application Scala/Spark pour associer les pièces détachées aux véhicules montés (composition exacte). – Équipe de 4 développeurs Back + 1 Front, déploiement AWS. › Analyse & Conception – Point hebdomadaire PO pour valider la pertinence des user stories et la qualité des données sources – Choix du partitionnement Spark pour optimiser les performances des requêtes › Développement & Qualité – TDD (Mockito, GivenWhenThen); persistance multi-cibles: ElasticSearch, HDFS (ORC), HBase, Hive – API PlayScala exposant les données ; gestion des logs et stratégie de reprise de jobs en erreur › Déploiement – Paramétrage Spark, workflow Oozie; déploiement sur AWS ; gestion de projet AGILE complète
Big Data Developer
La Poste Groupe
juin 2016 - juin 2017
1 an 1 mois
92130 Issy-les-Moulineaux, France
– Application Scala/Spark Streaming pour la récupération et l'indexation de synthèses sur la vie des colis dans une architecture réactive orientée événement en quasi-temps réel. Rôle de Lead Dev sur la qualité et la cohérence technique. › Analyse & Développement – Conception des fonctions de calcul d'indicateurs colis et de parallélisation des tâches – TDD; consommation Kafka ; persistance ElasticSearch (temps réel)
Développeur Java/Sql
Natixis
janv. 2016 - mai 2016
5 mois
Maisons-Alfort, France
– Batch de création de relevés monétiques : 1 To de données/jour, milliers de relevés générés en une nuit, chiffrement AES-128 des données sensibles. › Modélisation & Développement – Analyse de ~20 tables, conception d'une vue matérialisée Oracle réutilisable multi-chantiers – Spring Batch Java : transformation CSV, chiffrement AES-128, SQL*Loader, scripts KSH – Procédures PL/SQL pour extraction et génération de 3 types de relevés/jour ; envoi auto de mails > Déploiement & Gestion de projet – Jenkins / XL-Deploy ; estimation des charges, réunions d'avancement, transfert de connaissance
Analyste développeur
Crédit Agricole d'Ile-de-France
sept. 2013 - oct. 2015
2 ans 2 mois
Paris, France
– Analyse des besoins, Conception, Développement
Web Developer
CPCV
mai 2013 - juin 2013
2 mois
95390 Saint-Prix, France
– Analyse des besoins, Conception, Développement, Test
Formation
Université de Cergy-Pontoise
Master 2 (M2), Systèmes d'intelligents et distribués
2013 - 2015
2 ans 1 mois
Université de Cergy-Pontoise
Licence, Informatique
2009 - 2013
4 ans 1 mois