Zouari Aymen

Dans le cadre de mon stage de fin d’études, j’ai participé au développement d’une solution data complete visant à automatiser et gouverner une chaîne d’intégration de données dans une plateforme Data Moderne. Le projet avait pour objectif de centraliser et fiabiliser le traitement des données issues de diverses sources ( Lac de données: azure, aws ..etc), tout en garantissant la qualité, la traçabilité, la sécurité et la maitrise des couts. Les principales fonctionnalités développées sont : - Gestion des utilisateurs et RBAC (Role-Based Access Control) : Mise en place d’un système d’authentification et d’autorisation permettant de restreindre les accès aux fonctionnalités selon les rôles. - Ingestion de données : Automatisation de l’ingestion de fichiers structurés (CSV, Parquet) depuis des data lakes (AWS S3, Azure Blob) vers Snowflake. - Mapping de données: Développement d’interfaces de mapping pour permettre à l’utilisateur de définir la correspondance entre les colonnes sources et cibles avant intégration ainsi que le deploiement du nouveau modele de données. Orchestration des pipelines ETL: Utilisation de TASK Snowflake pour planifier et exécuter les workflows de transformation de données. - Gouvernance de données: Intégration de mécanismes de data masking pour la protection des données sensibles, ainsi que la gestion des accès aux modules selon les rôles. Ce projet m’a permis d’approfondir mes compétences en Data Engineer, tout en appliquant des principes de gouvernance, de modularité et d’industrialisation des processus de traitement des données.

La mise en place d'une solution décisionnelle "Tableau de bord" pour la location de voitures de luxe pour la compagnie Swiss Premium Negoce SA - Collecte des exigences et conception du système. - Développement des processus d'intégration de données et d'ETL. - Développement et test des tableaux de bord. - Analyse de données avancée. - Déploiement et formation des utilisateurs.

- Projet de création d’une plateforme Data pour les entreprises du secteur Retail. - Les fichiers sources sont déposés automatiquement dans le cloud (AWS S3). - Un script Python permet de :   • Se connecter à AWS S3 et à Snowflake   • Lire les fichiers et reconnaître leur format   • Identifier les bases, schémas, et colonnes   • Créer les tables dans une base RAW sur Snowflake   • Charger les données dans les tables créées - Un portail web (développé avec Django) permet au client de :   • Mapper ses données brutes avec un modèle standard du Retail   • Ajouter ses propres tables ou colonnes si besoin - Le modèle de données utilisé est un modèle en étoile avec :   • Une table de faits : ventes   • Plusieurs dimensions : clients, articles, magasins, stocks, factures, etc. - Un rapport Power BI a été créé pour afficher les indicateurs clés (KPIs) et aider à la prise de décision. - L’objectif est de proposer une solution simple, adaptable et personnalisée à chaque client.