Ines Mankour

– Mise en place d'une architecture data industrialisée multi-environnements (dev/uat/prod) Azure Databricks from scratch – Mise en place de l'environnement Azure Data: Service Principals, Key Vault, Secret Scopes et RBAC – Configuration de Unity Catalog avec external locations, credentials et gouvernance des données – Développement de pipelines incrémentaux avec ingestion depuis Cosmos DB (Change Feed), APIs et bases SQL via connecteurs jdbc, clés ssh et privées mise à disposition vers Azure SQL Database – Conception et déploiement d'une architecture Lakehouse Azure Databricks (Delta Lake) avec structuration Bronze → Silver → Gold garantissant traçabilité, qualité et cohérence des données. – Industrialisation des traitements via Databricks Asset Bundles et pipelines CI/CD Azure DevOps avec Service Principals assurant un déploiement automatisé, reproductible et sécurisé sur tous les environnments. – Structuration du projet en packages Python versionnés pour standardiser les traitements ETL – Optimisation des performances Spark (partitioning,optimize, liquid clustering, incremental loading...) – Mise en place des bonnes pratiques Data Engineering : séparation des environnements, gestion des schémas, monitoring, data quality, documentation – Livrables clés : Intégration de 10+ sources de données, mise en production de 20+ pipelines Delta Lake, environnement Azure sécurisé (Service Principals, Key Vault), déploiements CI/CD Azure DevOps, 40+ tables analytiques Delta et framework ETL Python réutilisable.

– Développement de pipelines d'ingestion connectant des données issues de sources multiples (SQL, API, Excel) à un entrepôt de données centralisé via Azure Data Factory. – Orchestration et planification de workflows complexes avec Airflow, garantissant des livraisons ponctuelles et une automatisation complète. – Traitement de grands ensembles de données avec Spark en calcul distribué, améliorant les performances ETL de 50% et accélérant le rafraîchissement des tableaux de bord. – Mise en place de pipelines CI/CD pour un déploiement sécurisé et reproductible des workflows de données. – Livraison de pipelines de données testés unitairement, versionnés et documentés avec des recettes techniques, assurant leur maintenabilité dans le temps et entre équipes. – Livrables clés: plus de 6 pipelines ETL réutilisables, DAGs Airflow supervisés avec système d'alerte, tableaux de bord Power BI de bout en bout pour les opérations métiers.

– Développement d'un outil d'automatisation pour le traitement des données de trafic mobile, réduisant de 70% les étapes manuelles. – Maintenance et optimisation d'une base de données Oracle centralisant les données d'usage télécom, utilisées pour les KPI nationaux. – Migration des pipelines de traitement vers Databricks, améliorant la scalabilité et la traçabilité des flux. – Conception d'un modèle de prévision du trafic mobile combinant ARIMA et régression linéaire. – Création de tableaux de bord Power BI interactifs, utilisés par les responsables techniques régionaux, avec des filtres dynamiques par date, région et seuils de volume. – Livrables clés: 5 pipelines automatisés en production, un module de prévision du trafic, 3 tableaux de bord en ligne, un guide d'utilisation pour les équipes locales.