
Abdelhamid Haouas
Senior Data Engineer GCP | Spark, Kafka & IA
Salaire / Taux journalier
Paris, France
Freelance, ouvert au CDI
Peut venir sur site
Expertises
Langues
À propos
Introduction
Senior Data Engineer avec plus de 11 ans d'expérience en plateformes data et traitements batch/streaming. Chez Carrefour, j'ai modernisé des applications Spark/Scala sur GCP Dataproc, conçu des pipelines GCS/BigQuery et fait évoluer des services Kafka/Java sur GKE. Tech Lead chez EDF au sein d'une équipe de 7, je combine architecture, migrations, CI/CD et production. Je crée aussi des skills et extensions IA pour Gemini CLI, Claude Code et Codex, avec Python, MCP et agents IA.
Expérience de travail
Senior Data Engineer
Carrefour
oct. 2025 - oct. 2026
1 an 1 mois
Paris, France
Modernisation des plateformes data utilisées pour les assortiments produits, les prix et les flux logistiques entre entrepôts et magasins. - Migration d'applications batch Spark/Scala vers GCP Dataproc 2.3 Standard (Spark 3.5, Scala 2.12, Java 11/21), adaptation des dépendances et packaging sbt. - Conception de pipelines GCS/BigQuery et Spark SQL intégrant référentiels produits et données entrepôts pour calculer les assortiments et priorités d'approvisionnement. - Modernisation de services événementiels Java 21, Kafka 3.8.1 et Avro ; fiabilisation d'API et de composants Bigtable/BigQuery, tests d'intégration et déploiements GKE. - Conception de skills et extensions pour Gemini CLI, Claude Code et Codex, avec Python, MCP et agents IA pour les migrations, tests et diagnostics. - Création de workflows IA de déploiement : prérequis, installation, contrôles et rollback via GitLab CI/CD, Kubernetes/GKE, Rundeck et Azkaban.
Data Engineer - Plateforme temps réel
Projet SRTI (logistique)
mars 2025 - oct. 2025
8 mois
Luxembourg
Conception d'une plateforme Safety-Related Traffic Information qui agrège des données d'équipementiers automobiles et d'autorités publiques, les normalise et les diffuse en quasi temps réel via API REST. - Développement d'API FastAPI sur HBase/Solr avec filtres, pagination et agrégations. - Conception de pipelines Kafka vers HBase/Solr en Python et Apache NiFi, avec validation de schéma, idempotence, back-pressure et règles TTL. - Mise en œuvre de la déduplication, du fenêtrage temporel et de la normalisation multi-sources ; création d'un tableau de bord de suivi temps réel. Environnement : Kafka, Apache NiFi, HBase, Solr, Python, FastAPI, Dash, Java, REST/JSON, Linux, Git.
Senior Data Engineer - Batch & Streaming
Bouygues TelecomFreelance
mars 2023 - févr. 2025
2 ans
Paris, France
Conception et optimisation de pipelines batch et streaming traitant jusqu'à 2,5 Po de données par jour. - Développement de traitements Spark Structured Streaming et Kafka, avec haute disponibilité et réplication. - Industrialisation des déploiements GitLab CI/CD, portant la fréquence de livraison à x3. - Mise en place de tableaux de bord SLA Grafana/Prometheus, contribuant à réduire le temps moyen de résolution des incidents (MTTR) de 30 %. Environnement : Spark, Kafka, Python, Scala, GCP BigQuery, Kubernetes, Docker, Airflow, GitLab CI/CD, Grafana.
EDFFreelance
nov. 2016 - févr. 2023
6 ans 4 mois
Paris, France
Tech Lead Data - Data Lake industriel
juin 2018 - févr. 2023
4 ans 9 mois
Paris, France
Tech Lead au sein d'une équipe de 7 ingénieurs chargée de la maintenance et de la supervision d'un Data Lake Hadoop industriel. - Conception de flux Spark/NiFi pour plus de 80 sources et 45 To/jour, avec alerting en temps réel via ELK. - Migration du cluster Hadoop 2.5.3 vers 2.6.5 sans interruption et coordination de la mise en production de 200 jobs critiques. - Participation à la conception technique, aux ateliers inter-équipes et à l'industrialisation des livraisons. - Amélioration de la qualité et des coûts : couverture SonarQube supérieure à 80 %, 40 % de régressions en moins et 220 k€ d'économies annuelles grâce à l'optimisation du cluster. Environnement : Spark, Scala, Java, Kafka, Hadoop, NiFi, Hive, HBase, Jenkins, SonarQube, Elasticsearch.
Data Engineer - Pricing et courbes de charge
nov. 2016 - mai 2018
1 an 7 mois
Paris, France
Industrialisation de l'API Courbe de Charge pour passer de 42 000 à 400 000 sites, avec un temps de réponse inférieur à 1 seconde. - Développement de microservices REST Play 2 sécurisés par OAuth2 et intégrés à HBase. - Automatisation des prolongations et prévisions avec Spark/Scala. - Validation de l'indexation Elasticsearch jusqu'à 2 000 requêtes/s, avec une latence p95 inférieure à 300 ms. Environnement : Scala, Java, Spark, HBase, Elasticsearch, Gatling, Play 2.
Full-Stack et Data Engineer
CGI
avr. 2016 - oct. 2016
7 mois
Paris, France
Projet MRO pour l'industrie aéronautique : conception d'un chatbot Microsoft Bot Framework pour l'assistance utilisateurs et développement d'une application mobile Ionic/Angular connectée à SAP HANA Cloud. Participation aux ateliers agiles et aux scénarios de test.
Ingénieur Recherche
Télécom ParisTech
avr. 2015 - oct. 2015
7 mois
Paris, France
Optimisation du placement de composants logiciels par programmation linéaire avec GLPK et génération automatique de code, réduisant le temps de calcul de 15 %.
Stagiaire Développement Web Services
Bouygues Telecom
janv. 2014 - juil. 2014
7 mois
Paris, France
Développement de services PHP MVC/MySQL pour le diagnostic des incidents du réseau fixe Bouygues Telecom et automatisation de rapports PDF statistiques utilisés par plus de 50 personnes.
Formation
Pierre and Marie Curie University
Master's degree
2015 - 2015
1 mois
Télécom Paris
2015 - 2015
1 mois