Ayoub Khinit

En mission en tant que Cloud Data Engineer - Azure & Databricks chez Up Coop (connu avant sous le nom de Chèque Déjeuner): • Transformation de fichiers XML (Blob storage comme landing stage) avec PySpark et ingestion dans des tables Delta en architecture Medallion (Azure, Databricks, PySpark, SQL) : Traitement de fichiers d’une taille globale entre 5 Go et 14 Go par jour. • Mise en place de Jobs Spark Streaming pour ingérer les données d'EventHub dans des tables Delta sur Databricks, permettant l'affichage des transactions et leurs redressement en temps réel pour l'application mobile, et le suivi des transactions par le support. Optimisation des jobs en streaming pour respecter les SLA : Moins de 5 secondes respecté à 95%. • Configuration du partage de données via Delta Sharing. • Refactorisation du code avec les meilleures pratiques (PEP8, CI/CD, SonarCloud) et optimisation de l’archivage et des purges. Optimisation du code et des delta tables (Z-order, partitionnement, small files,..) : réduction de 30% du temps de traitement. • Création des pipelines CI/CD (Azure DevOps) : tests unitaires (Pytest), qualité de code (SonarCloud), intégration et régression (dbt Cloud). • Surveillance des pipelines avec Datadog et Betterstack ; orchestration via Azure Data Factory. • Implémentation du Unity Catalog pour la gestion des données sécurisée sur Databricks. • Configuration et optimisation des clusters, SQL Warehouses et Workspaces sur Databricks avec gestion des ressources, scripts d'initialisation et contrôle des accès : Réduction des coûts de 35%. • Automatisation du provisionnement de l’infrastructure en utilisant Terraform. • Création des dashboards et rapports en utilisant Power BI et Databricks Dashboards.