Hamza Bakatir

Lead Data Engineer | Spark, Kubernetes

Salaire / Taux journalier

95600 Eaubonne, France

Freelance

Expertises

Apache AirflowKubernetesPythonIAElasticsearchRequêtes SQLOracleJenkinsCoaching agileJavaSpring BootETLPostgreSQLGitLabScalaAnsibleAWSKafka

Langues

Français (Maternelle)Anglais (Courant)

À propos

Introduction

Lead Data Engineer avec 9 ans d'expertise en architecture Big Data et pilotage d'équipes distribuées (jusqu'à 10 développeurs). Conception de DataHub Kubernetes traitant les flux SWIFT pour l'IA anti-fraude chez Crédit Agricole CIB, frameworks ETL Spark/Java réutilisables, et pipelines temps réel pour grands groupes. Spécialisé en Spark/Scala/Python, K8s, Airflow et CI/CD, avec un focus sur la qualité, la scalabilité et le mentorat technique.

Liens

Expérience de travail

Lead Data Engineer

Crédit Agricole CIB

févr. 2022 - Présent

4 ans 9 mois

95600 Eaubonne, France

– Au sein de la Direction Compliance, conception d'un DataHub à capacité DataLake pour traiter les flux de paiements SWIFT MT/MX, paiements locaux et instantanés de plusieurs entités. Les pipelines alimentent un modèle IA de détection de fraude. Pilotage d'une équipe de 4 (Singapour) puis 10 développeurs (Île Maurice) en AGILE anglophone. › Leadership & encadrement – Animation des cérémonies AGILE (Grooming, Sprint Planning, rétros) en anglais – Définition des standards de développement, revues de code systématiques – Montée en compétences et mentorat des développeurs juniors – Production et maintien de la documentation technique › Architecture & Développement – Conception d'un framework ETL Spark/Java/Spring sur Kubernetes pour standardiser et sécuriser la création de pipelines – Architecture de la donnée sur S3 (DataLake) et gouvernance adoptée par l'ensemble de l'équipe Data – Conception de la plateforme K8s: intégration d'Airflow (Kustomize), S3 Explorer, tables de monitoring PostgreSQL – Mise en place de solutions de data quality; synchronisation des secrets Vault via ArgoCD › CI/CD & Déploiement – Création et maintenance de la pipeline CI/CD GitLab (tests automatisés, packaging, déploiement production) – Orchestration des workflows via DAGs Airflow en Python – Vérification et débogage avec le client Kubernetes – Installation de services via Kustomize et Python > TMA & Production – Responsable du maintien en condition opérationnelle de la plateforme et des pipelines en production – Supervision via Grafana (Absana), gestion des incidents et garantie du SLA – Visualisation et analyse des logs via une solution ELK – Optimisation continue des performances de l'ETL; traçabilité des actions via JIRA › Collaboration métier & architectes – Recueil des besoins, design technico-fonctionnel, présentation aux parties prenantes – Participation aux réunions d'architecture pour l'intégration de nouveaux outils

Lead Data Engineer

Société Générale

janv. 2019 - déc. 2021

3 ans

94120 Fontenay-sous-Bois, France

– Développement des pipelines Spark/Scala de collecte de données et d'application des règles métier pour améliorer la notation des clients Tiers, puis conception des applications templates servant de socle commun à l'ensemble des projets du Groupe. Accompagnement des équipes qui réutilisent ces modules. Équipe de 5 data engineers en AGILE anglophone. › Leadership & encadrement – Animation des cérémonies AGILE (Grooming, Sprint Planning, rétros) en anglais – Définition et application des standards de développement; revues de code systématiques – Montée en compétences et mentorat des développeurs juniors ; documentation technique › Développement – Architecture des solutions de collecte de données et d'application des règles métier en Spark/Scala – Développement de modules techniques partagés et réutilisés par d'autres équipes du Groupe – TDD (Mockito, FlatSpec, GivenWhen Then); persistance ORC sur HDFS et tables Hive – Version embedded par technologie pour permettre les tests unitaires et d'intégration directement en local, sans infrastructure externe – Gestion rigoureuse des erreurs avec messages explicites pour chaque application Spark › CI/CD & Déploiement – Paramétrage Spark et Oozie (coordinateur + workflow XML) ; configuration JenkinsFile et déploiement via AWX/Ansible – Pipeline CI/CD pour chaque application template ; scripts Shell et Ansible pour le décommissionnement des droits HDFS/Ranger › Documentation & Partage de connaissance – Rédaction de la documentation de référence: best practices, nouvelles fonctionnalités de la plateforme, contraintes techniques et recommandations d'implémentation – Présentation des templates et process aux équipes projets pour standardiser les pratiques à l'échelle du Groupe › Support aux équipes – Accompagnement des équipes en difficulté à l'utilisation des modules : débogage, revue de code, conseil d'implémentation – Présentation des solutions disponibles pour les nouveaux projets démarrant sur la plateforme

Big Data Developer

Renault Digital

juil. 2017 - déc. 2018

1 an 6 mois

92100 Boulogne-Billancourt, France

– Application Scala/Spark pour associer les pièces détachées aux véhicules montés (composition exacte). – Équipe de 4 développeurs Back + 1 Front, déploiement AWS. › Analyse & Conception – Point hebdomadaire PO pour valider la pertinence des user stories et la qualité des données sources – Choix du partitionnement Spark pour optimiser les performances des requêtes › Développement & Qualité – TDD (Mockito, GivenWhenThen); persistance multi-cibles: ElasticSearch, HDFS (ORC), HBase, Hive – API PlayScala exposant les données ; gestion des logs et stratégie de reprise de jobs en erreur › Déploiement – Paramétrage Spark, workflow Oozie; déploiement sur AWS ; gestion de projet AGILE complète

Big Data Developer

La Poste Groupe

juin 2016 - juin 2017

1 an 1 mois

92130 Issy-les-Moulineaux, France

– Application Scala/Spark Streaming pour la récupération et l'indexation de synthèses sur la vie des colis dans une architecture réactive orientée événement en quasi-temps réel. Rôle de Lead Dev sur la qualité et la cohérence technique. › Analyse & Développement – Conception des fonctions de calcul d'indicateurs colis et de parallélisation des tâches – TDD; consommation Kafka ; persistance ElasticSearch (temps réel)

Développeur Java/Sql

Natixis

janv. 2016 - mai 2016

5 mois

Maisons-Alfort, France

– Batch de création de relevés monétiques : 1 To de données/jour, milliers de relevés générés en une nuit, chiffrement AES-128 des données sensibles. › Modélisation & Développement – Analyse de ~20 tables, conception d'une vue matérialisée Oracle réutilisable multi-chantiers – Spring Batch Java : transformation CSV, chiffrement AES-128, SQL*Loader, scripts KSH – Procédures PL/SQL pour extraction et génération de 3 types de relevés/jour ; envoi auto de mails > Déploiement & Gestion de projet – Jenkins / XL-Deploy ; estimation des charges, réunions d'avancement, transfert de connaissance

Analyste développeur

Crédit Agricole d'Ile-de-France

sept. 2013 - oct. 2015

2 ans 2 mois

Paris, France

– Analyse des besoins, Conception, Développement

Web Developer

CPCV

mai 2013 - juin 2013

2 mois

95390 Saint-Prix, France

– Analyse des besoins, Conception, Développement, Test


Formation

Université de Cergy-Pontoise

Master 2 (M2), Systèmes d'intelligents et distribués

2013 - 2015

2 ans 1 mois

Université de Cergy-Pontoise

Licence, Informatique

2009 - 2013

4 ans 1 mois

Le meilleur endroit pour trouver votre prochaine opportunité

© 2026. Tous droits réservés.