Benoît Miquey
Senior Data Engineer | Expert Spark
Salaire / Taux journalier
Lyon, France
Mobilité : Paris
Freelance
Peut venir sur site
Expertises
Langues
À propos
Introduction
Data Engineer avec 6 ans d'expertise en Big Data et migration Spark, spécialisé dans la gestion de volumétries importantes. Expérience prouvée chez Enedis sur +200 flux et systèmes prédictifs, ainsi qu'en A/B Testing streaming chez Bedrock. Expert Spark pour optimiser vos pipelines de données et moderniser votre infrastructure data.
Expérience de travail
Data Engineer
EnedisFreelance
mars 2023 - juil. 2025
2 ans 5 mois
Lyon, France
🚀 Mission : Finalisation du chantier de migration spark, puis implémentation de nouvelles thématiques métiers. 🎯 Challenges : Gestion des fortes volumétries et des durées des traitements, analyse de besoins métiers complexes. 📋 Réalisations : - Implémentation et refonte de nouvelles thématiques métier. - Maintenance d’un système prédictif de télé opérabilité des compteurs Linky. - Modernisation et amélioration en continue du socle. - Orchestration des flux via Control-M. - Chantier de migration de flux Cascading vers Spark. - QDD des données du data lake.
Data Engineer
Bedrock Streaming
oct. 2022 - janv. 2023
4 mois
Lyon, France
🚀 Mission : Au sein du pole data, intervention sur le projet A/BTesting permettant aux clients de tester en avant première les impacts de nouvelles fonctionnalités. 🎯Challenges : Montée en compétences technique sur AWS, Airflow et Superset. Montée en compétences fonctionnelles sur domaine de l'A/B Testing et du streaming vidéo. 📋 Réalisations : - Implémentation de nouveaux KPIs de bout en bout : implémentation du flux Spark, ordonnancement avec Airflow et intégration dans Superset.
Data Engineer
APOLLO | CODING LIFE
oct. 2021 - oct. 2022
1 an 1 mois
Lyon, France
🚀 Mission : Pour le compte d'Enedis, intervention dans l'équipe de migration Spark (+ 200 flux). 🎯Challenges : Anciens flux complexes et peu documentés, analyse et adaptation en accord avec les évolutions des besoins métiers. 📋 Réalisations : - Chantier de migration de flux Cascading vers Spark : Implémentation des nouveaux flux, mise en place des double runs et analyse des différentiels. - Migration du datalake HadoopFS vers CephObject : contribution à l’outil de comparaison pour s’assurer de la bonne copie des données via la comparaison des checksum des fichiers.
CGI
févr. 2019 - oct. 2021
2 ans 9 mois
Rennes, France
Data Engineer
sept. 2019 - oct. 2021
2 ans 2 mois
Rennes, France
🚀 Pour le compte de Keolis : Migration Cloud de leur plateforme data, anciennement hébergée sur leurs serveurs privés. Intégration d'un POC Spark (Calcul de la vitesse commerciale des bus) dans Databricks.
Data Engineer
mai 2021 - oct. 2021
6 mois
Région de Rennes, France
🚀 Pour le compte de Rennes Métropole : Développement/migration de flux Spark (agrégation des données de fréquentation des principaux axes routiers de la métropole).
Développeur Web full stack
nov. 2019 - oct. 2020
1 an
Rennes, France
Pour le compte d’Orange Business Services : Amélioration et modernisation d'une application AngularJS.
Stage IoT & Cloud
févr. 2019 - août 2019
7 mois
Région de Rennes, France
Création d'une plateforme dans un environnement cloud permettant de traiter des flux de données en provenance de capteurs.
Stage IOT & Arduino
Axolotech
avr. 2018 - juil. 2018
4 mois
Lyon, France
Développement C IoT sur des outils ludo éducatifs, réalisation de tests d'intrusions sur la plateforme web, développement d'outils en python.
Formation
IUT de Vannes
Licence professionnelle S2IMA
2018 - 2019
2 ans
IUT Lyon 1
2016 - 2018
3 ans
Lycée La Mache
Baccalauréat
2013 - 2016
4 ans