
Lorine EME
Senior Data Engineer Cloud | APIs & Pipelines
Salaire / Taux journalier
Paris, France
Freelance, ouvert au CDI
Peut venir sur site
Expertises
Langues
À propos
Introduction
Data Engineer Cloud avec 8+ ans d'expertise GCP et AWS, spécialisée en pipelines Big Data et APIs à grande échelle. Expérience prouvée chez Groupe BPCE et Renault Group avec Spark, BigQuery et Terraform. J'optimise vos flux de données de l'ingestion à l'exposition pour maximiser la valorisation de vos données métier.
Expérience de travail
Data Engineer Cloud
Groupe BPCE
août 2023 - Présent
3 ans 3 mois
94220 Charenton-le-Pont, France
📌 Collecte et exploitation des données de paiements et flux bancaires Périmètre & Enjeux projet : • Collecte et traitement des données de paiements cartes bancaires pour optimiser le suivi et l'analyse des transactions. • Exploitation des données de paiement pour le suivi de l'activité et le monitoring des KPI clés pour le groupe. • Conception et design de l’architecture API pour le projet à destination des clients. • Travail en méthodologie Agile SAFe pour assurer l'alignement des développements avec les objectifs stratégiques. Responsabilités : • Définition et mise en place des pipelines de collecte et de transformation des données de paiement. • Développement de scripts et pipelines d'ingestion pour collecter et transformer les données (streaming et batch). • Développement et implémentation des collectes de données, des jobs de traitement et du mapping de données. • Industrialisation des flux de paiement pour améliorer l’exploitation et l’analyse des données. • Conception et développement des APIs, permettant aux clients d’accéder à leurs informations de paiement. • Intégration et automatisation des traitements sur Google Cloud Platform (GCP). • Déploiement et gestion des workflows CI/CD avec Jenkins et XLRelease. • Rédaction de documents techniques et accompagnement des équipes sur l’utilisation des APIs et des dashboards analytiques. Environnement technique : GCP, Jenkins, XLRelease, BigQuery, Bigtable , Cloud Functions, Pub/Sub, Terraform, FastAPI, Bigtable, Scala, Shell, Postman, Cloud Run, Protobuf, Oracle, Environnement GKE
Data Engineer Cloud
Renault Group
avr. 2021 - juil. 2023
2 ans 4 mois
92350 Le Plessis-Robinson, France
📌 Plateforme de Data Engineering Périmètre & Enjeux projet : • Développement et optimisation des pipelines de données pour assurer la qualité et la satisfaction client. • Mise en place d'un DataLake permettant le stockage, l’enrichissement et la catégorisation des données pour divers usages métier. • Développement d’API et d’IHM pour la visualisation et la consommation des données traitées. Responsabilités : • Cadrage des besoins métier et élaboration de solutions techniques adaptées. • Déploiement et gestion des chaînes de traitement de données sur GCP, de l’ingestion à l’exposition. • Mise en place de cas d’usage métier en facilitant l’accessibilité des données. • Sélection et intégration des services et solutions adaptées aux besoins business. • Orchestration des traitements distribués et amélioration des performances. • Suivi des traitements et analyse des logs pour la détection et correction des erreurs. • Implémentation et optimisation de tests unitaires et d’intégration. • Développement et implémentation d'API avec FastAPI pour l'exposition des données. • Déploiement d’une chaine CI/CD pour automatiser les mises en production. • Rédaction de documents techniques (installation, exploitation, déploiement). Environnement technique : Dataproc, Dataflow, Cloud Build, Cloud repositories, Spark, Scala, Python, Gitlab, Airflow, Terraform, Confluence, Jira, Docker, PostgreSQL, fastApi, Environnement GKE
Consultant big data
RAGT Group
mai 2020 - mai 2021
1 an 1 mois
Neuilly-sur-Seine, France
📌 Centralisation et analyse des données des semences Périmètre & Enjeux projet : • Conception et mise en place de l’architecture Big Data, garantissant la haute disponibilité et la persistance des données. • Intégration des données de semences collectées, traitées et stockées dans MaprFS et MaprDB. • Développement et déploiement des outils d’analyse et de visualisation des données pour les équipes métier. • Travail en méthodologie Agile pour assurer une approche itérative et incrémentale des développements. Responsabilités : • Recueil et cadrage des besoins métier, avec proposition de solutions techniques adaptées. • Développement et optimisation des pipelines Spark pour le traitement des données massives. • Conception et mise en œuvre de la base de données sous MaprFS et MaprDB. • Intégration et orchestration des flux de données entre les différentes briques via Talend Big Data. • Développement et implémentation de WebServices pour l’interrogation et l’alimentation des Operations Management (OM). • Industrialisation et déploiement des traitements Big Data, en assurant leur robustesse et scalabilité. • Rédaction de la documentation technique couvrant l’installation, l’exploitation et le déploiement des solutions développées. Environnement technique : Java, Spark, Talend Big Data, MaprDB, MaprFS, Gitlab
Consultante Data Engineer Spark/Scala
Renault Group
août 2019 - mai 2020
10 mois
92100 Boulogne-Billancourt, France
📌 Projet Supply Chain Monitoring – Automobile Périmètre & Enjeux projet : • Développement et optimisation des pipelines d'ingestion et de traitement des données pour le suivi de la Supply Chain. • Conception et déploiement d’une application de dashboarding avancée pour la gestion du cycle de vie des produits (PLM - Product Lifecycle Management). • Optimisation des performances des traitements de données massives pour assurer une exploitation efficace et en temps réel. Responsabilités : • Cadrage des besoins métiers et proposition de solutions techniques adaptées. • Exploration de données et préparation des jeux de données (Hive HQL). • Développement et optimisation de pipelines de données : ingestion, transformation et enrichissement (Spark-Scala, Hive, Hadoop-HortonWorks). • Mise en œuvre et orchestration des workflows de traitement des données avec Oozie et Hue. • Stockage et indexation des données pour assurer leur accessibilité rapide et sécurisée. • Implémentation de tests unitaires et d'intégration pour garantir la robustesse des traitements. • Suivi et maintenance de la production : monitoring, analyse des logs et résolution des incidents. • Participation aux cérémonies Agile : sprints plannings, rétrospectives et daily meetings. Environnement technique : Spark, Scala, Hive, Hadoop-HortonWorks, Hue, Oozie, PostgreSQL, GitLab, Jira
Consultante Data Engineer GCP
BlaBlaCar
janv. 2019 - juil. 2019
7 mois
Paris, France
📌 Migration des données vers Google Cloud Périmètre & Enjeux projet : • Migration des données Hadoop HDFS vers Google Cloud Storage. • Modernisation des pipelines de données pour améliorer la performance et la scalabilité. • Contribution à la transformation digitale et à l’adoption du cloud computing au sein de l’entreprise. • Travail en méthodologie Agile au sein d’une équipe interdisciplinaire. Responsabilités : • Cadrage des besoins et proposition de solutions techniques adaptées. • Développement et optimisation d’un ETL en Python pour la gestion et la migration des données. • Conception et déploiement des jobs Airflow pour l’automatisation des workflows. • Migration des données de Qlik-sense vers Google Cloud Storage via Compute Engine. • Création et gestion des vues dans BigQuery pour l’exploitation des données par les équipes marketing. • Déploiement et gestion des Cloud Functions pour le traitement des données en temps réel. • Utilisation de Pub/Sub pour le streaming des données issues des API de réservations. • Surveillance et suivi de la production pour assurer la disponibilité des pipelines. • Participation aux sprints plannings, rétrospectives et Daily meetings. • Rédaction de la documentation technique (installation, exploitation, déploiement) dans Confluence. Environnement technique: Python, Airflow, Google Cloud Platform (BigQuery, Cloud Storage, Compute Engine, Pub/Sub, AppEngine, Dataflow, Cloud Functions), BitBucket, Gitflow, JIRA, Confluence, Docker, Terraform
Consultante IT
ANEO
juil. 2016 - août 2018
2 ans 2 mois
Région de Boulogne-Billancourt, France · On-site
📌 Développement et optimisation d’applications IT et mobiles Développement Web pour la banque privée - Edmond de Rothschild (Janvier 2018 – Aout 2018) • Refonte et optimisation d’une Web API pour une plateforme bancaire. • Création de pages responsives et d’un background vidéo. • Intégration des pages dans SharePoint et validation du rendu sur différents navigateurs. Développement d’API Paiement - Vente-Privée (Juillet 2017 – Décembre 2017) • Conception et implémentation d’une API de paiement pour la gestion des transactions. • Développement des interactions entre le front-end et le back-end. • Réalisation de tests unitaires et validation des flux. Développement CRM In-house - ANEO (Juillet 2016 – Juin 2017) • Conception et développement d’une application mobile et web CRM In-house. • Modélisation et gestion des bases de données. • Développement et optimisation de l’architecture applicative. • Intégration et gestion des fonctionnalités liées aux processus commerciaux. Environnement technique : Angular, Gitlab, Google Cloud Messaging, Symfony3, Ionic, JavaScript, jQuery, Phonegap/Cordova, Slim 3, MySQL, Wamp/Lamp, Matrix, JSON, Ajax, LDAP, SharePoint, .Net, TFS, Visual Studio, Python, Bootstrap, Scrum, Selenium, Typescript
Développeur web
Canal+
juil. 2014 - déc. 2014
6 mois
92130 Issy-les-Moulineaux, France
Périmètre & Enjeux projet : Création d’une application web de supervision des tables de signalisation. Responsabilités : Recueil des besoins Etablir un cahier de charge Choix techniques de développement Modélisation Base de données Création d’une IHM Récupérer les données du satellite Créer et analyser les fichiers de configuration XML Remonter des résultats Création d’un panel Admin Analyse quotidienne des taches Environnement Technique : PHP, MySQL, Git, Ajax, JQuery, Bootstrap, Codeigniter, UML, WAMP
Développeur logiciels
SOPECAM
mai 2012 - août 2012
4 mois
Administrateur réseau et systèmes
Creolink
juil. 2010 - août 2010
2 mois
Formation
42 Paris
2013 - 2016
3 ans 1 mois
Université de Bretagne Occidentale
Master Systemes Informatiques et Logiciels embarqués
2012 - 2013
1 an 1 mois
Universite protestante d'Afrique Centrale
Licence en science de l'ingenieur
2010 - 2012
2 ans 1 mois
Portfolio
