Mouhamadou Moustapha MBALLO

Administration d'environnements d’intégration, de DEV, de production en HDP3 et aussi du support sur la partie GCP: * Administration des clusters et support niveau 3 : HDP3, HDFS, HIVE, LLAP, SPARK2, OOZIE, NIFI, ZOOKEEPER, KAFKA, RANGER, KNOX, ELK, HBASE, ... * Développement de scripts d'automation pour le déploiement automatique des opérations standard : Jenkins * Développement de scripts pour la réinitialisation des mots de passe des utilisateurs, des comptes applicatifs et des comptes de déploiement. * Mise en place de documentations de dépannages et d’articles de conseil pour les différentes technologies de l’environnement Hadoop. * Support GCP : aider les utilisateurs de la plateforme à optimiser leur requête sur GCP, recherche de solutions des bugs de leurs tables lors de la migration de Hadoop vers GCP, aides pour l’optimisation et contrôle de cout sur Bigquery, etc.

Développement de plateforme big data en mode streaming et batch: Je travaille dans un environnement en méthodologie agile (Scrum) ou le rôle de scrum master change pour chaque nouveau sprint. Tous les développeurs peuvent prendre le rôle de Scrum Master afin de gerer les daily meeting chaque matin, d’organiser des Sprint Review, des rétrospectives à la fin de chaque sprint et de faire des estimations des Users Stories durant le sprint planning. Faire des études sur des technologies et méthodes de travail jamais utilisées dans nos projets. Mise en place de scripts shell avec l’aide de workflow oozie pour la purge des données historisées sous HDFS en fonction de leur ancienneté. Mise en place de scripts Shell pour lancer nos projets spark en mode batch selon un intervalle de temps bien définie avec l’aide d’oozie afin de pouvoir générer nos tables sous HDFS et de pouvoir faire des requêtes dessus à l’aide de hive et impala. Mise en place de projets en temps réel full kafka avec l’aide de Flink et Spark Streaming pour traiter les données provenant des sondes des antennes d’Orange France afin d’écrire en sortie sur des topics kafka ou sur des fichiers csv, json, avro ... selon les besoins du client. Mise en place de dashboards sous Grafana/Prometheus afin de visualiser nos topics kafka. Mise en place de pipeline Gitlab CI/CD afin d’automatiser les builds, les tests et le déploiement de nos projets. Mise en place d'image docker Ubuntu ou on a installé Spark, Flink, Kafka, Java, etc afin de pouvoir faire nos validations sous Gitlab. Faire du code review des branches de mes collègues avant leur ajout au code source global en vérifiant s’il respecte le style de code, si les tests unitaires ne génèrent pas d’erreurs, si les fonctions sont bien écrites, etc.