
Imad Bouchakour
Senior Data Engineer
Salaire / Taux journalier
Marseille, France
Freelance
Peut venir sur site
Expertises
Langues
À propos
Introduction
Data Engineer avec 6+ ans d'expertise en architectures Big Data et stack ELK chez des leaders comme BNP Paribas et VINCI. Spécialisé en Kafka, Elasticsearch et pipelines ETL haute performance avec expérience prouvée en traitement de données massives. J'optimise vos infrastructures data pour des insights métier rapides et fiables.
Expérience de travail
Data Engineer
VINCI AutoroutesFreelance
oct. 2024 - Présent
2 ans 1 mois
84270 Vedène, France
Intégré au sein de l'équipe infrastructure et observabilité, avec pour mission la gestion et l'évolution de la stack Elasticsearch pour les besoins de monitoring et d'analyse de données. • Gestion et administration quotidienne d'un cluster Elasticsearch en environnement de production. • Mise à jour régulière des versions Elasticsearch avec validation en environnement de préproduction. • Intégration et supervision des agents Elastic Fleet pour la collecte centralisée des métriques et logs. • Mise en place et maintenance des pipelines Logstash pour l'ingestion des données diverses. • Intégration d'Apache Kafka dans les flux de collecte de logs afin d'assurer une meilleure scalabilité et résilience. • Configuration des topics Kafka, connexion avec Logstash en tant que consumer. • Surveillance et tuning des performances Kafka pour les charges élevées. Optimisation des performances de recherche et des mappings de données. • Surveillance de la santé du cluster (shards, nodes, index) et mise en place d'alertes proactives. • Accompagnement des équipes projets pour l'utilisation et l'intégration de la stack Elastic dans leurs flux métiers. • Documentation des bonnes pratiques d'utilisation, et support aux utilisateurs internes. • Elasticsearch, Kibana, Logstash, python, apache kafka, Fleet, Ansible, Linux, Git, Azure
Data Engineer
BNP Paribas CIB
nov. 2022 - oct. 2024
2 ans
93100 Montreuil, France
Au sein de l'équipe d exploitation et de support de clusters Elastic. Nous déployons ces clusters et les mettons à disposition d'utilisateurs internes au groupe BNP. Ces clusters sont aussi bien utilisés pour du monitoring de plateformes que de la Data Science orientée business. • Build et Run : Administration d'une centaine de clusters de tailles diverses. Les plus gros, stockant plusieurs PetaOctets de données et composés de plusieurs dizaines de nœud elasticsearch. • Automatisation du déploiement et de l'update des clusters via 'Ansible' et des scripts Python. • Installation et configuration de brokers Kafka en amont des clusters. Ils permettent de 'bufferiser' l'arrivée des logs et améliorent la résistance de l'architecture en cas de panne. • Accompagnement des utilisateurs clients sur l'utilisation et les bonnes pratiques à adopter sur les clusters Elastic. • Rédaction de la documentation au sein de l'équipe pour faciliter l inclusion des nouv-elles personnes dans l équipe d'exploitation/support. • Effectuer le Morning-Check quotidien et Communiquer sur Alertes. Traitement des incidents de niveau P2 et P3 et remise en service dans les meilleurs délais. • Mise en oeuvre des actions correctives à court et moyen terme. • Astreintes mensuels sur des chaines critiques prod. Mise en production (MEP) des projets/applications et des composants applicatifs planifiés. • Attribution des autorisations et des niveaux de permissions aux différents utilisateurs des technologies utilisées. • Mise en place des collectes de données. Mise en place un système de monitoring, de supervision et d'alerting ELK. • Devops CI/CD • Créer des pipelines jenkins et déployer des jobs via ansible Tower. Recommander des améliorations de performance en effectuant une analyse des écarts, en identifiant des solutions alternatives. • Mise en place cluster elastic / opensearch via playbook / roles ansible. • Support et accompagnement des projets sur les pipelines CICD. Stack Elastic, Ansible, Kafka, Os Linux., Versioning de code et de fichiers de configurations via git et bitbucket, Développent et scripting en python.
Consultant Sénior ELK
DataFab
nov. 2022 - oct. 2024
2 ans
93100 Montreuil, France
sMsmode.com - Service d'Envoi de SMS
avr. 2018 - déc. 2022
4 ans 9 mois
Marseille, France
Big Data Engineer
oct. 2018 - déc. 2022
4 ans 3 mois
Marseille, France
• Mise en place et configuration d'un cluster Opensearch de 5 noeud dans le but de migrer vers une solution opensource. • Deploiment d'un cluster opensearch sur AWS avec ansible. • Création de multiple instance. • Gestion de securité firewall et ssl. • Deployement d'opensearch dashboard. • Mise en place des system d'ingestion compatible avec Opensearch. • Connection des differents beat avec logstash. • Créations et confgurations des nouveau pipelines Logstash pour l'ingestion et le pré- traitement des logs. • Création des différentes requettes pour interroger elastic et envoyer des alertes. • Gestion des états des index et création d'un script pour supprimer les données anciennes et réduire la taille de l'index. • Sécurisation et mise en place du chiffrement interne à la stack Elastic (TLS SSL). • Conception de visualisations sur Kibana pour faciliter le monitoring applicatif, notamment lors des phases critiques de montée en charge. • Créations de dashboards via Kibana pour faciliter l'analyse des logs. • Automatisation du déploiement et de l'update des clusters via 'Ansible'. Mise en place d'une gestion des accès pour les différents pole (users/roles) sur Elastic. • Travaille en méthodologie agile scrum. Debian, Amazon Web Services, Opensearch, logstash, Opensearch dashboard, Nginx, Ansible. • Migration vers Elastic cloud. Migration vers Elastic Cloud pour bénéficier des nombreuses fonctionnalités de la Stack Elastic. • Déploiement d'un cluster sur plusieurs datacenter. • Transférer l'injection des données de l'ancien cluster vers le cloud. Utilisation de 'Mappings' adaptés afin de pouvoir exploiter au mieux les données. • Mise en place d'une suppression automatique des anciennes logs pour faciliter la gestion du cluster avec curator. • Mise en place d'une gestion des accès (users/roles) sur la stack Elastic.
Stagiaire BigData
avr. 2018 - oct. 2018
7 mois
Région de Marseille, France
Etude et conception d'une architecture BigData(hadoop, kafka, elasticseach, HDFS,Kibana, Spark, Java,Scala) Tâche : - Etude et déploiement d’une Architecture BigDATA - Développement d’un scripte pour traiter les données - Stockage des données sur Cassandra et indexation Dans Elasticsearch Environnement Technique: Ubuntu16.04, Debian9, ElastickSearch, Java, Kafka, Cassandra, KafkaStream
Développeur Big Data
ItMatched.com
déc. 2017 - mars 2018
4 mois
Région de Paris, France
Tâche : - Mise en place d’un environnement de développement Spark avec Scala - Développement des script spark avec Scala - Déploiement et planification des Job dans Cluster. - Stockage des données sur HDFS/CouchBase et indexation des documents dans ElasticSearch - Développement des requêtes de recherche et de comptage sur ElasticSearch. Environnement Technique: Ubuntu16.04, ElastickSearch, scala, HDFS, Cassandra, spark
Formation
UVSQ Université de Versailles Saint-Quentin-en-Yvelines
Master 2 informatique
2017 - 2018
2 ans
MTS solution
Cisco
2016 - 2017
2 ans
Sciences and Technology University of Oran - Mohamed Boudiaf (USTO-MB)
Master en informatique
2014 - 2016
3 ans
Sciences and Technology University of Oran - Mohamed Boudiaf (USTO-MB)
Licence informatique
2011 - 2014
4 ans