Amine Sennouni

Concevoir et déployer un pipeline ELT de bout en bout (Airflow, MinIO, Snowflake, dbt) pour automatiser l’ingestion, la transformation et la publication des données. Définir et implémenter des modèles Data Warehouse (staging, dimensions, facts) avec dbt, incluant des tests automatisés et la documentation. Mettre en place un CI/CD multi-environnements (GitHub Actions, Bitbucket Pipelines) pour déployer les DAGs Airflow et les modèles dbt. Développer un monitoring et un alerting proactifs afin de garantir la qualité de service et prévenir les anomalies de flux. Travailler en Agile (Scrum) : sprints de 2 semaines, cérémonies, gestion des stories dans Jira, pair programming, code reviews et collaboration étroite avec les équipes Data Science et BI.

Concevoir et livrer un pipeline Lakehouse sur Azure Databricks, orchestré avec Azure Data Factory et stocké dans ADLS Gen2 ; mettre en place l’architecture Médaillon (raw → bronze → silver → gold). Automatiser l’ingestion event-driven vers Delta Lake (gestion des schémas, nettoyage des colonnes, typage, dédoublonnage) avec un taux de succès > 99 % et zéro doublon observé en production. Développer des notebooks PySpark pour transformer les données et optimiser les jobs ; réduire la latence end-to-end à 1 min 30 avec mécanismes de retries et alerting intégrés dans ADF. Standardiser les accès via ABFSS, gérer finement les droits dans ADLS Gen2, clés gérées sur cluster ; contribuer à la trajectoire d’implémentation de Unity Catalog. Intégrer notebooks et jobs Databricks avec Azure DevOps Git (branches feature, PR quotidiennes, conventional commits) ; collaborer étroitement avec Data Science et BI pour un delivery agile et documenté. Mettre en place un suivi temps réel via les logs Databricks et des dashboards de monitoring pour faciliter le Root Cause Analysis (RCA) et prévenir les anomalies.

Nettoyer et préparer les données : gestion des valeurs manquantes, encodage des variables catégorielles, mise à l’échelle des variables numériques. Réaliser une analyse exploratoire (EDA) avec Pandas, Seaborn et Matplotlib pour identifier tendances, motifs et anomalies. Concevoir et exécuter des requêtes SQL pour extraire, manipuler et agréger les données.