
lmehdi m
Consultant Big Data
Salaire / Taux journalier
Paris, France
Freelance, ouvert au CDI
Peut venir sur site
Expertises
Langues
À propos
Introduction
Consultant Big Data avec 4+ ans d'expertise en traitement temps réel et architectures distribuées. Spécialisé dans l'industrialisation de pipelines Spark/Kafka et le monitoring via stack ELK pour des groupes bancaires et retail. Expert Python/PySpark capable de transformer vos données en insights exploitables avec une approche DevOps rigoureuse.
Expérience de travail
Développeur Big Data
CDC Informatique
juin 2022 - Présent
4 ans 5 mois
Contexte projet : L’objectif du projet : Dans le cadre du DataHub Groupe ICDC (SG, SFIL, BPI, LBP), le projet vise à industrialiser la mise en relation et la correspondance des tiers issus des différentes entités du groupe. La mission consiste à automatiser les pipelines de traitement des données brutes (fichiers CSV) via des flux API (FLUX CFT) pour La Banque Postale, BPI France et SFIL, en garantissant la robustesse, la traçabilité et la conformité métier des traitements. Un projet de monitoring des traitements Spark a également été conduit via la stack ELK (Elasticsearch, Logstash, Kibana) afin d’assurer un suivi temps réel, la détection proactive d’anomalies et une aide à la décision pour les équipes métiers. Tâches réalisées : -Participation active aux cérémonies Agile (daily, sprint review, retrospectives). -Développement de modules d’ingestion et de contrôle qualité pour les fichiers CSV déposés dans HDFS via des FLUX CFT. -Conception et optimisation de jobs Spark (PySpark) pour le nettoyage, l’enrichissement et la normalisation des données. -Historisation des données dans Hive. -Développement et supervision de pipelines d’intégration de flux API pour LBP et BPI France. -Mise en place du monitoring des jobs Spark à travers la Stack ELK (Elasticsearch, Logstash, Kibana) : o Centralisation des logs techniques, o Création de dashboards dynamiques pour le suivi en temps réel et l’analyse d’incidents. -Gestion des versions sous Git. -Gestion des taches et suivi des anomalies sous Godzilla. Environnement technique : Python (3.10), PySpark(3.3), VSCode (1.61), Apache Spark (3), Apache Kafka (1.0), Jenkins, ControlM, HDFS, Elasticsearch (6), Kibana (6), Hive (3,0), Godzilla, Git (2.34), Sqoop (1,4,6), Dbeaver 21.1.0
Big Data Engineer
Bricorama France
sept. 2020 - mai 2022
1 an 9 mois
Contexte du projet : L’objectif du projet est de remonter et traiter en temps réel des données telles que les tickets de caisse émis et les achats en ligne pour obtenir en temps réel l’évolution du chiffre d’affaires de chacune des catégories de produits de sorte à pouvoir déclencher des actions marketing et logistique avec une bonne réactivité. Tâches réalisées : -Participation aux différentes cérémonies Agile. -Création et paramétrage des Topics Kafka (Ticket de caisse, Ticket Web). -Développement des Jobs Spark Streaming pour l’enrichissement et le nettoyage des données en streaming. -Indexation des données dans Elasticsearch. -Implémentation d’une base de données sur HDFS pour le stockage des données en batch. -Historisation des données dans Hive pour des besoins data science. -Réalisation des Dashboards sous Kibana. -Gestion des versions sous Git. -Gestion des taches et suivi des anomalies sous JIRA. -Assistance de l’équipe recette. Environnement technique : Python (3.4), PySpark(2.4), VSCode (1.61), Apache Spark Streaming (2.4.0), Apache Kafka (2.5.0), Elasticsearch (7.1.0), Kibana (7.1.0), Hive (2,3,7), Jira, Git, FileZilla.
Ingénieur Informatique Industrielle
Renault Tanger Méditerranée
sept. 2017 - juil. 2018
11 mois
Tanger, Maroc
Lors de mon CDD chez Renault Tanger Méditerranée, j’ai pris en charge la conception, la programmation et la mise en service des systèmes automatisés sur les lignes de production. J’ai utilisé des automates programmables industriels (Siemens S7, Schneider Electric, Rockwell Automation) pour piloter les équipements et garantir la fiabilité des process industriels. J’ai également travaillé avec des systèmes de supervision SCADA (WinCC, Wonderware) pour le monitoring en temps réel et la collecte de données, ainsi qu’avec des interfaces homme-machine (IHM) pour faciliter le contrôle opérateur. Dans une démarche d’amélioration continue, j’ai intégré des solutions d’automatisation avancées pour optimiser les cycles de production, réduire les temps d’arrêt et assurer la conformité aux standards qualité Renault. Passionné par l’industrie 4.0, je m’intéresse aux technologies IoT et à la robotique pour rendre les usines plus performantes et connectées.
Formation
Golden Collar
Master 2 (M2)
2018 - 2019
1 an
Ecole Marocaine des Sciences de l'ingénieur
Master 2 (M2)
2013 - 2018
4 ans 10 mois