BAILO BAH

En tant que Tech Lead, responsable de la gestion et de l’encadrement d’une équipe technique pour la mise en œuvre et l’évolution des flux d’intégration de données dans le Datalake. Expertise en architecture Big Data, suivi des run en production, et maintenance évolutive (MCO). Expérience en gestion des pipelines d’ingestion de données provenant de sources variées (streaming, batch, CSV, API), ainsi que dans la conception de connecteurs entre les systèmes d’information et le Datalake. Gestion des métadonnées en lien avec les équipes de conformité et gouvernance (GDD). Capacité à définir et automatiser le déploiement des versions, configurer la CICD, et gérer l’accès aux données. Compétent en suivi de production, support de niveau 3, et gestion des recettes internes.

Collaboration avec les Métiers/clients dans un environnement de développement agile au rythme rapide pour analyser, développer et tester rapidement des cas d'utilisation potentiels pour l'entreprise. Proposition et mise en place d’une architecture Big Data Driven Event basée sur kafka et spark Streaming l’ingestion des données à l'écoute des notifications. Développement d’un ETL d’ingestion des données structurées, non structurées qui prend en charges plusieurs sources notamment (APIs, SqlServer, ftp, xml, csv, oracle, kafka etc)

Responsabilités : • Collaboration avec les Métier / clients pour comprendre les besoins et concevoir un système de flux de données afin de répondre à leurs problématiques. • Développement des jobs Spark Scala batch pour les traitements des gros volumes de données dans le système hadoop eco HortonWorks. • Transformation des scripts HQL en Spark 2.2 pour l'analyse des données dans Hive • Implémentation de nombreuses requêtes Hive et création de schémas externes, de tables internes et de vues pour le traitement ponctuel et professionnel à l'aide de techniques de performances telles que le partitionnement et le bucketing. • Développement des Jobs Spark Scala et de Spark-SQL / Streaming pour un traitement plus rapide des données. • Développement des fonctions UDFs, script Scala et utilisation des Dataframe /Dataset/ Spark SQL. • Migration et optimisation du code de spark 1.6 -> Spark 2.2, developpement des tests unitaires • Développement des workflows Oozie pour ordonnancer les jobs Spark • Déploiement des applications en production/homologation • Création des tickets, comments, et mise a jour JIRA/CONFLUENT Environments: HDP,, SPARK 2.2.0, Hive 2.0.0, Oozie , Agile Methodology, JIRA, Git

Responsabilités: • Collaborer avec les POs pour comprendre les besoins métier et Développer la stratégie de développement des APIs en définissant l'architecture et l'infrastructure technique nécessaires. • Développement des APIs pour l’exposition de gros volume de données (REST Stream), avec Spark/Cassandra/Solr/Java • Utilisation du framework Spark pour l'optimisation des requêtes d'extraction des données depuis Cassandra. • Développement des fonctions UDFs, script Scala et utilisation des Dataframe /Dataset/ Spark SQL. • Migration et optimisation du code de spark 1.6 -> Spark 2.2, développement des tests unitaires • Développement des workflows Oozie pour ordonnancer les jobs Spark • Déploiement des applications en production/homologation • Création des tickets, comments, et mise a jour JIRA/CONFLUENT Technologies utilisés: Cloudera, Spring Boot, Spring Security, Spring Data Rest, JPA, Agile Methodology, JIRA, Git

• Développement d’un data cleaner pour le nettoyage automatique des données parallèles (NLP), Machine Learning, PySpark, Hive DevOps : Architecture & Développement • Création d’une plateforme de médiation et d’administration pour l’automatisation des entraînements des modèles statistiques et leurs déploiements en Prod, conception architecturale et développement. o Urbanisation et transformation d’une chaîne de traitement de données bash en service transactionnel en s’appuyant sur le gestionnaire de message Spark/Kafka/ActiveMq • Développement d’un ‘Hub de données’, robots d’extraction des données (documents parallèles source/cible), transformation et alignement des données (mémoire de traduction) pour l’alimentation de la base de données MySQL • Mises en place d’une architecture de supervision logs avec ELK sur 5 serveurs de production (Installation, configuration et développement) • Développement d’un plugin pour intégrer notre API dans le KIT Trados, Framework .NET Environements: Spark, SparkStream,PySpark, KafKa, Cassandra, MysQL, Elasticsearch, logstash, kibana, filebeat ActiveMQ, .NET, JAVA, Python, Perl