
Ken Bayama
Senior Data Engineer
Salary / Daily rate
Paris, France
Freelance
Remote only
Skills
Languages
About me
Intro
Data Engineering : - Transformation des données stockées Extract, Transform, Load (ETL) et/ou Extract/Load/Transform (ELT) - Collecte et intégration des données (via API, Databases, Datamart, Datalake, Datawarehouses, SQL, NoSQL) - Data quality - Data Gouvernance - Data Orchestration: Orchestration des flux de données (Airflow, Azure Pipeline) - Mise en place des pipelines d’ingestion (Azure Data Factory, Jenkins, NIFI) - Data Orchestration: (Airflow, Azure Pipeline) - Déploiement (CI/CD)
Work experience
Senior Data Engineer
Groupe ClarinsFreelance
Jun 2024 - Present
2 years 5 months
Neuilly-sur-Seine, France
Projet : Mise en place de Data Product à travers 3 domaines métiers Contexte et objectif : dans le cadre de la mise en place d’un Data Mesh, la création de Data Product est nécessaire. À travers 3 domaines métiers (Média, Training et R&D), en interaction avec le DPO et les BPO des différents domaines, le développement de différents Data Products a été réalisé afin de pouvoir répondre aux besoins métiers spécifiques tout en permettant un usage plus global de la donnée mise à disposition en fonction des différentes couches (Bronze, Silver, Gold). Environnement travail/fonctionnel : Équipe de 4 personnes en SCRUM (DPO,BPO,DE,DA) Domaine d’intervention : Analyse des besoins potentiels et des données Industrialisation de pipelines d’ingestion Collecte et intégration de données issues d'API (Gestion d'évènement, CosmetoVigilance, Funnel (Agrégateur de données de campagne publicitaire sur différentes plateformes média (Facebook, TikTok, Google Ads, etc.))) Déploiement (CI/CD) Suivi des Runs. Gestion de plusieurs domaines en parallèle. Résultat : Livraison de Data Products et de tables dans les différentes couches (Bronze, Silver,Gold) en adéquation avec les besoins métiers exprimés spécifiquement et s’incluant dans la structuration globale du SI Data en Data Mesh. Environnement technique : Python, PySpark, Azure DataBricks, Azure Data Factory, Azure DevOps (Repos, Pipeline), Gitlab(CI/CD), PyCharm, Snowflake, Azure Data Lake, Snowflake
Senior Data Engineer
AXA
Aug 2022 - May 2024
1 year 10 months
92000 Nanterre, France
Projet : Fiabilisation des DSN Contexte et objectif : Au sein de la DSI Santé et Collectives, de la Tribu Data Digital Services. Dans le cadre du traitement des fichiers DSN envoyés par les clients d’AXA, une fiabilisation de ces données est nécessaire afin de pouvoir répondre efficacement aux clients d’AXA et éviter les erreurs de paiement dans les arrêts de travail et les taux de remboursement (Base de garantie, Référence Contrat). Environnement travail/fonctionnel : Équipe de 6 personnes en SCRUM Domaine d’intervention : Analyse des besoins potentiels et des données Mise en place des pipelines d’ingestion Déploiement (CI/CD) Industrialisation des travaux des Data Scientist Implémentation de briques en vue de la création d’une librairie Résultat : Livraison d'un workflow de plus de 25 business view et génération des fichiers de DSN fiabilisés pour augmenter la productivité des équipes métiers dans le calcul des bases de garanties et du montant des compensations de la Tribu Santé AXA Environnement technique : Python, PySpark, Azure DataBricks, Azure Data Factory, Azure DevOps(Board, Repos, Pipeline, Artifacts), Git, Pycharm
Data Engineer
Euroclear
Jan 2022 - Jul 2022
7 months
Bruxelle · Remote
Projet 1: Enrichissement du Datalake Contexte et objectif : Dans un environnement anglophone, mise en place de pipeline d’ingestion de données issue de bases de données IBM Mainframe pour l’enrichissement du datalake Hadoop et la mise à disposition pour les data scientist et les équipes du service Finance. Environnement travail/fonctionnel : Équipe de 10 personnes en SCRUM Domaine d’intervention : Analyse des besoins potentiels et des données Mise en place des pipelines d’ingestion Documentations techniques Design de chaînes d’ingestion Proposition d’amélioration de conservation et partage de connaissance Déploiement (CI/CD) Résultats : Création de documentation pour l'onboarding de nouveau collaborateur Etude détaillée de l'environnement technique Environnement technique : Scala, Spark, Hadoop, Cloudera, Azure DevOps(Board, Repos, Pipeline, Artifacts), Git, Splunk, IBM Mainframe, Jira, IntelliJ, Eclipse, Maven, Bash Projet 2: Maintenance des pipelines des projets en production Contexte et objectif : Maintenir les pipelines en production dans le respect des SLA associées à chacun des différents projets dans le cadre de la Hotline du service Analytics Environnement travail/fonctionnel : Équipe de 10 personnes en SCRUM Domaine d’intervention : Troubleshooting Gestion des tickets Analyse de code et optimisation Transfert de connaissance. Déploiement (CI/CD) Environnement technique : Scala, Spark, Hadoop, Cloudera, Azure DevOps(Board, Repos, Pipeline, Artifacts), Git, Splunk, IBM Mainframe, Jira, IntelliJ, Eclipse, Maven, Bash
Data Engineer Chez Boursorama
BOURSORAMA
Apr 2021 - Dec 2021
9 months
92100 Boulogne-Billancourt, France
Environnement travail/fonctionnel : Équipe de 8 personnes en SCRUM Projet 1: Enrichissement du Datalake Projet 2 : Segmentation Client Analyse des besoins potentiels et des données Mise en place des pipelines d’ingestion Revue et optimisation des codes pour le passage en industrialisation Déploiement (CI/CD) Amélioration des règles de codages et de la structure des projets Enrichissement continue du code et mutualisation Analyse des besoins clients Analyse des données. Implémentation, proposition et amélioration des règles de gestion Mise en place de pipeline de traitement de données Environnement technique : Scala, Spark, Hadoop, Cloudera, NiFi, Jenkins, Nexus, Docker, Stash, Kafka, Zeppelin, Jira, IntelliJ, SBT Projet 3 : Industrialisation des process d’ingestion NiFi Définition des règles cibles d’industrialisation Benchmark et étude d’outils Implémentation de scénarii pour validation Mise en place du déploiement automatisé sur plusieurs environnement de production Environnement technique : Python, NiPyApi, NiFi Client, NiFi, Nifi Registry
Data Engineer chez Roquette
Roquette
Nov 2020 - Jan 2021
3 months
Lille, France
Projet 1 : industrialisation de modèles de pricing dynamique Définition des Best Practices en vue de l’industrialisation Revue et optimisation des codes pour le passage en industrialisation Industrialisation de modèles Tests unitaires Projet 2 : recommandation et la personnalisation des formulations des composées par les clients externes via des modèles d’Intelligence Artificielle. Analyse du besoin avec le Product Owner Définition des features avec le métier Mise en place des pipelines d’ingestion Extraction, Transformation et Traitement des données (fichiers sources aux formats divers(xlsx, docx, txt) issus de rapports d’essais cliniques, logs de presses à comprimé) Optimisation (temps d‘exécution, format des fichiers sources) Refactorisation du code Mise en production Environnement technique : Python, Visual Studio Code, Git, Azure(Azure Blob Storage, Data Lake Storage, Azure Function, Azure DevOps, Azure Data Factory)
Data Engineer chez Louis Vuitton Data Lab
Louis Vuitton
Jun 2018 - Aug 2020
2 years 3 months
- Création et déploiement continu de Job de récupération et de traitement de données ( produits, marketing) sur Cluster Cloudera (Spark, Scala, Python, SBT, IntelliJ, Cloudera, Jenkins, Ansible, Bitbucket) - Script de traitement de données de chatbot Louis Vuitton, Traitement de donnée d'API de Social Listenning(Netbase) à des fins d'analyse de sentiments (Python, Jupyter Notebook) - Job de récupération et formatage des données conversations des sites Louis Vuitton pour apprentissage du chatbot(Spark, Scala) - Indexation de données et Data Visualization avec ElasticSearch et Kibana - Monitoring des Job (Airflow, Prometheus, Graphana) - Gestion de projet (Jira) - Méthode Agile (Kanban, Scrum) - Gestion de base de données dans le cloud (Heroku)
Data Engineer
Keyrus
Oct 2017 - Jul 2018
10 months
Projet Interne Mise en place d’un cluster couchbase avec des serveurs centos 7 sur des machines EC2 sur AWS Mise en place d’un cluster Spark avec des serveurs centos 7 sur des machines EC2 sur AWS Implémentation d’un script Python pour génération de données en temps réelles Création de buckets sur couchbase et récupération des données produites stockés dans ces buckets pour traitement par Spark à l’aide d’une application Scala. Boot Camp BIG DATA (4 weeks) • Programmation Python et Scala • Développement Hadoop (Cloudera) • Big Data en temps réel Kafka, Storm et Spark Streaming • Apache Spark • Datastax Hands-On • Formation Agile : Méthode Scrum
Apprenti Ingénieur en informatique décisionnelle (SAS) et développement JAVA SE/EE
SNCF
Oct 2014 - Oct 2017
3 years 1 month
Maîtrise d'ouvrage : • Recueil des besoins utilisateurs; • Formalisation des SFD. • Homologation. Maîtrise d'oeuvre : • Conception logiciel pour la maintenance prédictive (JAVA SE, TCP/IP, Rétro Engineering). • Conception d'une application web participative de préparation de commission ferroviaire ( JAVA EE, ANGULAR 2, Node.js). • Conception d'applications stockées à destination du métier: Langage SAS, MySQL, JavaScript, Html/CSS. • Conception d'indicateurs. • Reporting. • Méthode AGILE • Interaction continue avec les Experts Métiers.
Education
ENSIIE - École Nationale Supérieure d'Informatique pour l'Industrie et l'Entreprise
Mathématiques et informatique
2014 - 2017
3 years 2 months
IUT de TROYES
DUT Génie Électrique et Informatique Industrielle
2012 - 2014
2 years 2 months
Licenses & certifications
Professional on Datastax Enterprise
Issued: May 2025
Professional Scrum Master Niveau I - PSMI
Issued: May 2025
Professional On Apache Cassandra
Issued: May 2025
BULATS - LEVEL C2
Issued: May 2025
Microsoft Certified Azure Data Engineer Associate
Issued: Oct 2020
CCA Spark and Hadoop Developper - CCA175
Issued: Dec 2017