Thomas POIRIER.

Mise en place d’un Datalake : 🔹Consommation de flux dans Databricks (Kafka, AWS SQS, Azure SB) 🔹Création d’une architecture médaillon (Bronze, Silver, Gold) 🔹Ingestion de Big Data en batch et en streaming (PySpark, Spark SQL) 🔹Tests unitaires des pipelines (Pytest, Chispa) Exposition de la donnée : 🔹Création et run d’une API (FastAPI) 🔹Tests unitaires de l’API (Pytest) 🔹Migration de hive metastore vers Unity Catalog (Databricks) 🔹Gestion des droits et de l’accès à la BDD (Unity Catalog) 🔹Mise en place d’un monitoring et testing de l’API (Postman) CI/CD : 🔹Déploiement automatisé de pipeline (Terraform, GitHub Actions) 🔹Optimisation de stockage sur le Datalake (Python) 🔹Optimisation des coûts d’exécution (PySpark) 🔹Mise en place d’un workflow de delivery (GitHub)

Migration d’application d’Azure vers AWS : 🔹Optimisation de stored procedure SQL (SQL SERVER) 🔹Amélioration de l’infrastructure AWS (Terraform) 🔹Amélioration de l’orchestration globale de l’application (AWS Step Functions, AWS Event Bridge) 🔹Création de scripts en PySpark

Migration d’application d’Azure vers AWS : 🔹Optimisation de stored procedure SQL (SQL SERVER) 🔹Amélioration de l’orchestration de la BDD (SQL SERVER)

🔹Migration On-Prem vers Azure (SQL Server) 🔹ETL en Python 🔹Optimisation de requêtes (SQL)

🔹Création de rapports (Power BI) pour le pôle trading de Engie Italie 🔹Optimisation des performances (DAX, Langage M) de rapports pré-existants 🔹Modélisation des données (Power BI) en schéma étoile 🔹Calcul de formules de trading (Python) intégrées dans des rapports (Power BI)