
HAYFA BEN THAMEUR
Lead Data Engineer | Big Data & IA
Salaire / Taux journalier
Paris, France
Freelance
Peut venir sur site
Expertises
Langues
À propos
Introduction
Ingénieur Data Senior avec expertise variée en data engineering et science des données. Solide expérience dans l'industrialisation de modèles ML, le développement de pipelines robustes sur Azure et l'architecture de solutions data pour des entreprises majeures comme GROUPAMA, Thales et SNCF. Dispose d'une polyvalence technique (Spark, Python, Azure, Databricks, Docker) et d'une vision stratégique pour transformer vos données en solutions métiers à forte valeur ajoutée.
Expérience de travail
Senior Data Engineer
GROUPAMA - G2S
mars 2022 - Présent
4 ans 8 mois
Intervention sur plusieurs projets On-premise / Microsoft Azure: Industrialisation des modèles de Machine learning • Le choix de solutions technologiques pertinentes et adaptées au contexte de conception, d’implémentation et réalisation des POC . • Partie Datalake : Preparation des données en amont ( Qualité, fiabilité) avec Spark/Scala/HDFS(cloudera) qui se sont envoyées au Datalab. • Étude des pipelines de Machine Learning développées par les Data scientists sur Dataiku/Databricks • Depoilement des packages on premise et deploiements des api service • Développements des scripts pré-traitement – post-traiments des modèles des données • Configuration des projets spécifique pour les déploiements ML avec l’equipe Devops • Configuration des bases de données pour le stockage des résultats et des logs:Postgres • Preparation des packages d’industrialisation sur Azure Databricks et Dataiku • Implémentation des pipelines robustes avec Azure Data Factory pour automatiser les ETL/ELT. • Utilisation des fonctionnalités de parallélisation et de découpage des tâches. • Activation l’autoscaling pour les clusters Databricks, VMs, ou conteneurs AKS. • Mise en place des espaces de travail partagés dans des outils comme Databricks/ Azure ML. • Configuration des tableaux de bord avec Azure Monitor pour suivre les métriques clés (temps d'exécution, consommation des ressources, performances des modèles). • Genéraliste IA : Chatgpt, Perplexity, Gamma, Gemini Deep Research , Claude ,Voiceflow,promptmetheus Spark, Scala, HDFS, Opcon, Azure Azure Data Factory, LogicApps, Centreon ,Azure Databricks,Kubernetes, Terraform , Liquibase, Docker, PlumberAPI,FLASK,Azure BlobStorage, Azcopy, Docker, Azure Fonction, Java,Github, Gitlab CICD, Maven, Sql Server, PostgreSql, Docker , Openshift , Dataiku, Python,MLOPS,ETL,data pipelines, cloud architecture, MLOps
Data Architect/Senior Cloud Data Engineer
Thales Digital Identity and Security
févr. 2021 - mars 2022
1 an 2 mois
Paris, France
Intervention sur plusieurs projets sur Microsoft Azure • Collecter des données brutes pour l’entreprise • Créer des infrastructures de stockage, manipulation et restitution • Élaborer une architecture de Data Management • L’élaboration de la vision technologique • Le choix de solutions technologiques pertinentes et adaptées au contexte de conception, d’implémentation ou d’optimisation d’architecture data • L’industrialisation de projets Data • L’accompagnement de client dans sa stratégie data et son Data Gouvernance • Mise en place de PoC • Concevoir et développer des services Data en respectant la spécification fonctionnelle et la méthodologie agile • Agréger et stocker de grandes quantités de données • Mettre en place de solutions pour le data processing • Intégrer / développer des outils de visualisation de données et analyser les KPI • Développer, tester, sélectionner et mettre en production des algorithmes qui permettent de répondre aux besoins • Réaliser des analyses de données • Mettre en en place de tests de charge et fonctionnelles pour les solutions Data • Investiguer et corriger les bugs remontés par les utilisateurs • Contribuer à la mise en place de l’infrastructure et outil de déploiement (CI/CD) Environnement Technique: Azure V2, Azure Data Factory, LogicApps, Centreon, ,Azure Databricks,Kubernetes,Liquibase, Azure BlobStorage, Azcopy, Docker, , Azure Fonction, Java,Github, Gitlab CICD, Maven, Sql Server
Développeur Big Data
Banque de France
nov. 2019 - mars 2021
1 an 5 mois
Accompagner les data engineers en fonction des besoins pour le projet : https://www.ecb.europa.eu/explainers/tell-me-more/html/anacredit.fr.html Mise en place des scripts de développement de nouvelles fonctionnalités Mise en place des tests unitaires Traitement des fichiers XML Assurer la livraison a temps Suivi des environnements techniques:Recette, Intégration, Homologation,Production Resolution des anomalies et des tickets d’incidents sur tous les environnements techniques Suivi de production de BIG WEEK et BIG DAY Réalisation des scripts de migration Intervention avec les devops pour le maintien de l’architecture et la plateforme Big DATA Participer aux activités d’architecture, conception et développement Apporter son savoir-faire sur un plan technique et méthodologique Documentations et commentaires de codes Communication avec les MOA : DGSEI : TIMEND , DE : DORIAN , DataLake , ONEGATE, SUPTEC Environnement Technique: Spark, Java, Github, Jenkins, Maven, XLDeploy, Hive, oozie, WinScp, Putty,
Développeur Big Data
SNCF
oct. 2017 - déc. 2019
2 ans 3 mois
• Support Fab junior data engineers in their projects, as needed. • Work closely with project managers, architects and datascientists • Participate in architecture, design and development activities • Bring your know-how on a technical and methodological level • Ensure monitoring, capitalization and knowledge sharing within the Data Science & Data Engineering pole (documentation, good practices, production, reusable assets, templatisation, etc.) • Contribute to the analysis of the needs of the various SNCF businesses in terms of analysis of data, BI Big Data, and data science models, in collaboration with architects, data engineers, data scientists, project managers and mission directors • Set up the data collection, transformation and storage processes within clusters and databases on the Azure cloud platform • Design and implement data processing, both on raw data and on the data developed • Contribute to the operational maintenance of the applications put into production, in collaboration with the IT support of the client Technical environment: Azure V2, ADF, Azure BlobStorage, Azcopy, Docker, RUNDECK, Azure Function, Spark, Scala, Python, Github, Jenkins, Maven
Développeur Big Data
Renault Group
janv. 2017 - oct. 2017
10 mois
Implementation of a technical architecture based on spark / kafka for the ingestion of data flows. Design of a technical application storage architecture on Hadoop Spark-Scala-kafka development of a continuous flow ingestion pipeline for data: CSV, Json,… Development of data collection scripts Development of preprocessing and enrichment script in Scala / Spark Strong investment in the quality of the solution thanks to unit tests Ingestion in an Elasticsearch cluster Visualization and analysis in real time of data stored in Elasticsearch. Implementation of KPI indicator calculation scripts Monitoring of applications / services while setting up an alerting and application monitoring Restitution of data via REST APIs with Spring boot (Java) technical environment • Hadoop distribution (HDP 2.6) • Kafka, Spark, Hbase, ELK • Languages: Java, Spring, Scala • Processing: Batch, Micro-batch
Développeur Big Data / Data Scientist
Ooredoo Group
févr. 2016 - déc. 2016
11 mois
Implementation of techniques for detecting network anomalies and changing behavior of network KPIs. Implementation of strategic solutions on customer campaigns and monitoring of KPI's at the level of network quality service. Development and optimization of Machine Learning algorithm in Python to respond to targeting issues Profiling subscribers to determine their behavior for targeting and launching new strategies. Implementation of Machine Learning techniques for detecting network anomalies and behavioral changes in network KPIs. Forecasting deterioration in performance indicators. Modeling for the identification of the origins of network anomalies and the specification. The contribution of machine learning and correlation techniques to accelerate troubleshooting technical environment • Languages: Python. SQL, Kafka, spark
Data Scientist
Attijariwafa bank
févr. 2015 - oct. 2015
9 mois
Modeling of the law governing the liquidity flow of savings accounts. Modeling the evolution of savings by studying the stochastic properties of the outstanding series of savings accounts. Client classification Modeling the liquidity flow of savings accounts. Modeling the liquidity flow of savings accounts by customer category. Validation of models Speed forecast and flow function by customer category technical environment • Languages: Python. SQL
Data Scientist
Bussiness & decision
janv. 2014 - janv. 2014
1 mois
Projet : Développement d’une application web interactive sous R avec le package Shiny permettant d’appliquer les méthodes de Machine Learning. Environnement technique • Langages: R Shiny
Formation
IPEIN - Institut Préparatoire aux Études d'Ingénieur de Nabeul
National competition for entry to engineering schools
1900 - 1900
1 mois
École Supérieure de la Statistique et de l'Analyse de l'Information
Diplôme d'ingénieur
1900 - 1900
1 mois
Université de Reims Champagne-Ardenne
Master's Degree 2 (M2)
1900 - 1900
1 mois