
Arthur Lekane
Senior Data Engineer | AI
2 recommandations
Salaire / Taux journalier
2 personnes recommandent
Paris, France
Freelance
Peut venir sur site
Expertises
Langues
À propos
Introduction
Passionné par le big data et l'intelligence artificielle, je cumule 10 ans d'expérience dans l'IT, dont 7 ans consacrés à la conception, à la mise en place, et à l'exploitation des plateformes de données, on-premise et cloud-native. De ce fait, je dispose d’une riche expérience dans la manipulation des framework de données et dans la mise en place des solutions permettant de résoudre de façon optimale les besoins métiers.
Expérience de travail
Consultant Data Sénior
Informatique Caisse des Dépôts et de Consignation
juin 2024 - juin 2025
1 an 1 mois
Paris, France
Missions : - Mise en place de flux d’ingestion et de transformation avec Informatica, pour intégrer des données hétérogènes avant leur traitement et modélisation dans l’environnement Big Data. - Développement des traitements Spark pour alimenter une couche Business Vault, notamment pour le calcul d’indicateurs tels que l’exposition financière sur les tranches de crédit et d’investissement. - Optimisation des traitements Spark afin d’améliorer significativement la performance et la robustesse des pipelines. Environnement technique : Informatica, Spark, Python, SQL, Hadoop (Cloudera)
Consultant Data Sénior
Allianz
juin 2023 - juin 2024
1 an 1 mois
69340 Francheville, France
Migration Cloud & Transformation des données sur Azure | Data Vault 2.0 Missions : - Ingestion et transformation : Extraction, nettoyage et parsing automatisé de fichiers CSV avec stockage optimisé en format Delta Lake dans Azure Data Lake Gen2. - Orchestration : Mise en place et automatisation des workflows de traitement avec Apache Airflow. - Transformation : Transformation des données sur DBT (Data Build Tool) et création des tables selon le modèle Data Vault 2.0 (Raw et Business Vault). Utilisation de Trino comme moteur de calcul distribué pour exécuter efficacement des requêtes analytiques complexes. - Déploiement Cloud-Native : Configuration et déploiement des conteneurs sur AKS (Azure Kubernetes Services). - Automatisation des processus : Développement d'un composant Kubernetes permettant l’export automatique des données vers des serveurs externes sécurisés via SFTP. - Qualité des données : Mise en place de tests rigoureux sur les données avec DBT afin de garantir leur intégrité et leur fiabilité. Environnement technique : dbt (Data Build Tool), Airflow, AKS (Azure Kubernetes Services), Pyarrow, delta-rs, Trino, ArgoCD, Github Actions
Consultant Data Sénior
Amadeus
juin 2022 - juil. 2023
1 an 2 mois
06270 Villeneuve-Loubet, France
Création, qualification et optimisation d’un pipeline Big Data sur Databricks (DLT) et Snowflake Missions : - Ingestion & transformation (Databricks) : Développement de pipelines automatisés avec Delta Live Tables (DLT) pour intégrer les données sources, et transformation selon le modèle Data Vault 2.0. - Transformation (Snowflake) : Génération de schémas en étoile optimisés pour l’analyse et le reporting métier. - Optimisation : Amélioration des performances sur Snowflake (partitionnement, clustering, gestion des ressources) et tuning des jobs Spark sur databricks pour réduire les temps de traitement. - Qualité des données : Développement de tests et contrôles automatisés en Scala et SQL sur Databricks pour garantir l’intégrité et la fiabilité des données consommées dans Snowflake. Environnement technique : Azure, Snowflake, Databricks(DLT, Spark), Spark, Scala, SQL, Bitbucket, jenkins, Jira
Orange
déc. 2016 - juin 2022
5 ans 7 mois
.
Manageur gouvernance data
juil. 2021 - juin 2022
1 an
.
Missions: - Gouvernance des données : Audit et suivi de la gouvernance des données selon les bonnes pratiques DAMA-DMBOK. - Gestion des données : Mise en place et gestion d'un data catalogue. - Sécurité et design : Autorité sur les aspects sécurité et design des clusters Hadoop (HDP). - Études d’impact : Réalisation des études d'impact pour l'intégration de nouveaux flux de données, notamment provenant des sondes téléphoniques.
Big data engineer
nov. 2018 - juil. 2021
2 ans 9 mois
.
Conception et mise en place d'un cluster Elasticsearch Missions : - Planning capacity - Design des architectures physiques et fonctionnelles - Réalisation de la pipeline d'ingestion, configuration des index et de l'ILM (L'Index Lifecycle Management) - Reprise de données Environnement technique : Filebeat, Logstash, Spark streaming, Elasticsearch 7.5 Valeur business: Multiplication par 600 de la vitesse de recherche, amélioration significative de l’évolutivité, de la robustesse et modernisation des plateformes. Calcul des indicateurs de performance BI sur HDP Missions : - Développement d'une chaîne d’ingestion via Apache NIFI permettant la collecte simultanée vers HDFS (traitement batch avec Spark et Hive) et Kafka (traitement temps réel avec Spark Streaming). - Implémentation d’un orchestrateur Scala pour exécuter et gérer automatiquement des jobs diversifiés (Spark, Hive, Pig, Sqoop). - Conception et développement de jobs Spark SQL selon une architecture Medallion (couches Bronze, Argent, Or) pour assurer les transformations progressives et optimisées des données. - Monitoring et suivi opérationnel des composants Hadoop pour garantir leur disponibilité et leur performance. Environnement technique : Scala, Spark, SparkSQL, Hadoop, NIFI, Kafka, Gitlab CI/CD Valeur business: Amélioration significative des SLA grâce à une augmentation par dix de la vitesse de traitement, et optimisation de l’évolutivité et de la scalabilité des plateformes. Mise en place de la plateforme HDP (Hortonworks Data Platform) Missions : - Installation et configuration des services et applications Hortonworks Data Platform (HDP) suivant une architecture Lambda pour assurer la gestion efficace des données batch et temps réel. Environnement technique: HDP 3.1.0 (HDFS, YARN,NIFI, KAFKA, SPARK, HIVE , Zookeeper, Kerberos, Pig, ...) Mise en place de 2 modèles de prédiction (data IA) Missions : - Implémentation et industrialisation d'un modèle de régression logistique pour la détection de churn - Implémentation et industrialisation d'un modèle LSTM permettant la détection des ruptures de stock Environnement technique : Jupyter, Spark 3, Python 3.7 (Scikit-learn, TensorFlow, Keras), Airflow pour l'orchestration
Full stack developer
déc. 2016 - oct. 2018
1 an 11 mois
.
Objectif : Digitaliser et automatiser les processus métiers critiques. Réalisations : - Automatisation de la détection et suspension des fraudes ByPass - Développement d’un portail client Selfcare (Web & USSD) - Création d’un outil de gestion des contrôles internes et missions d’audit Environnement technique : Architecture microservices déployée sur Openshift / Kubernetes ; développement multi-technologies (Python Falcon 2.0, PHP Laravel 5.4, ReactJs 15.2) ; gestion de projet sous Jira et versionning avec Git. Résultats obtenus : - Réduction de 95% des pertes liées aux fraudes ByPass - Diminution de 60% des plaintes clients - Amélioration de la traçabilité et réduction significative du temps de traitement des contrôles internes
Web Developper
Albatres Ingénierie S.A.
août 2015 - oct. 2016
1 an 3 mois
Bali, Cameroun
Formation
Ecole Nationale Supérieure Polytechnique de Yaoundé
Master's Degree
2010 - 2015
5 ans 1 mois
Licences et certifications
AI-900
Délivré le : janv. 2023
AZ-900
Délivré le : janv. 2023
DP-900
Délivré le : janv. 2023