Atsé Yénon

Projet 1: Conception d’une plate-forme data pour le suivi médical du cabinet médical F2m clinic Réalisation : Création d’un Resource Group sur MS Azure. Création des répertoires dans Azure Container pour les répertoires Bronze, Silver et Gold Création du connecteur Azure Databricks connector Mise en place du Workspace Azure databricks Creation du cluster Azure Databricks et implementation de Unity Catalog (Metastore, Catalog et External location) Chargement des données brutes dans les tables Bronze situées dans cloud MS Azure Traitements des données (suppression de doublons, valeurs manquantes; etc..) avec PySpark et stockage dans les tables silver Validation des données dans des tables Gold Mise en place du workflow avec Azure Databricks Workflow et automatisation. Monitoring des jobs spark avec SPARK UI Environnement technique : PySpark - Azure Databricks - Azure Data Factory - Azure DL Gen 2 - Scrum Projet 2: Mise en place d’un pipeline de données météo Réalisation : Analyse des besoins. Mise en place de l’architecture data Configuration du fichier .yml avec docker compose des conteneurs kafka, cassandra, airflow, spark Implémentation du fichier DAG dans la mise en œuvre du pipeline streaming des données météo avec apache kafka. Traitement des données en temps réel avec spark streaming Création du keyspace et ingestion des données dans la base de données cassandra Monitoring des jobs spark avec SPARK UI Environnement technique : PySpark - Airflow - Cassandra - Git/Github - Scrum - Vs Code Projet 3: Mise en place d’une solution de prédiction de désabonnement d’abonnés dans un environnement cloud azure Réalisation : Analyse exploratoire des données. Data preprocessing Création du modèle de machine learning avec MLFLOW Modularisation du code notebook. Gestion des logs avec le module logging de python Test avec pep8 et pylint . Mise en place du fichier JSON permettant de déployer l’environnement de production dans azure Implémentation du fichier YML utilisé par AZURE PIPELINE afin de permettre le déploiement des ressources nécessaires répertoriées dans le fichier JSON Installation de l’extension AZURE ML dans AZURE DEVOPS Environnement technique : Python - Azure Devops - Azure ML - MLflow - Git/Github - Scrum - kaggle notebook - Spider Projet 4: Déploiement d’un serveur nginx sur AWS EC2 Réalisation : Mise en place de l’environnement de travail. Création de compte utilisateur sur AWS IAM Création des clés d’accès à AWS IAM et de la paire ssh de type RSA et .pem dans EC2. Implémentation du module de l’instance EC2 utilisant la dernière version ubuntu bionic. Implémentation du module volume ebs et ip publique (eip) . Installation du serveur web nginx. Versionning code sur github. Environnement technique : Terraform - AWS - Git/Github - Scrum -Vs Code Projet 5: Mise en place d'une application de traitement de déchets dans le cloud GCP dans le cadre de la protection environnementale Réalisation : Création du modèle de machine learning avec google colab Création de l’API avec FastApi Création de l’interface utilisateur avec Streamlit. Dockérisation de l’application avec Dockerfile (built de l’image de l’application). Création de projet sur Google Cloud Platform Création de bucket à l’aide de l’invite de commande gcloud Création du répertoire images sur le bucket. Création de compte de service et de la clé json pour l’application Activation de Google Container Registry, push de l’image sur GCR à l’aide de docker push. Configuration de Cloud Run et Déploiement puis mise en service de l’API Versionning code sur github Environnement technique : Python - Google Cloud Storage - Cloud Run - FastApi -Git/Github - Docker - Spider

Skills: Python, Scala, Databricks, Scrum

1- Mise en place d'un gestionnaire de fichier - Installation et paramétrage de l'environnement Spark - Initialisation de la sessionSpark et du SparkContext - Traitement et manipulation de fichier - Gestion des erreurs 2- Mise en place de l'architecture lambda PUSH - Analyse des besoins - Elaboration de l'architecture logicielle Configuration de l'environnement de travail - Implémentation des couches batch et streaming - Gestion de la concurrence et de la tolérance aux pannes avec Akka

Mise en place d'un Data Pipeline Technologies : - Apache Kafka (Confluent Cloud) - Stack ELK - PowerBi - Docker

Analyse de données avec SPLUNK Enterprise – Data Science – Python – Django Projets : PREDICTO , Gestion de paris, WebAnalytics(Splunk), TaxCollect(BI), eSotra(java spring boot), Smart_Advans(Angular 8), Realisation de ChatBot pour Star Connect Africa Business Intelligence : Talend Studio, SpagoBI