Albert Mouaffo

+ Cadrage Techniques et Cadrage Fonctionnel + Monitoring des flux quotidiens + Finops (Enticipation et Optimisation des coûts snowflake, AWS) + Management d'équipe + Assurer la priorisation des sujets de sprint + Modélisation de données + Conception , Développement et déploiement de pipeline ETL ( SQL, Python, Snowpark ) + Création et mise à jour de ressources AWS avec Terraform + Assurer la documentation des flux et leur mise à jour + Veille technologique de l'équipe Cloud & Infrastructure: - AWS - Snowflake - Terraform - Docker Technos: - AWS: AWS Batch, Lambda, cloudwatch, Athena, RDS, postgres SQL, S3, DMS, S3 Transfert Familly, Step Function, Glue - Infrastructure as code avec Terraform. - AWS Step function pour du batch processing - Programmation en python - Programmation Snowpark - CI/CD Gitlab CI

+ Définition de l’architecture de stockage des donnés + Mise en place et préparation de l'environnement de stockage + préparation des scripts de transformation de données non structrées | semi structurées (.logs) + Conception et mise en place et configuration du pipeline ETL (Beats, logstash, Elasticsearch)[ELK] + Stream data processing + Batch Processing + Analyse et visualisation avec Kibana + Requêtes NoSQL, SQL; + Spark, Pandas : ETL de elasticsearch vers des Spark dataframe + Croisement des données d'index (join) et génération d'un dataframe unique + Etude comparative des modèles de machine learning et choix de la solution appropriée + Machine Learning.

Contribution au Déploiement de solutions Big Data : - Contact direct avec le métier pour le recueil du besoin - Scripts python, javascript pour le traitement de données - Requêtes complexes SQL - Spark (pyspark), pandas, SQL (data processing, ETL) - Reporting, Live Dashboard - Introduction au machine learning avec sklearn - Concepts appliqués: data engineering, data analysis, data visualization, machine learning(+)