Sofiene B.

- Conception et maintenance d'une architecture data multi-couches sur GCP, avec projets dbt cloisonnés par domaine, garantissant isolation des permissions et des cycles de release. - Modélisation dbt en trois couches (staging, intermediate, mart) avec mise en place de contrats de données et tests d'unicité pour sécuriser les interfaces entre projets - Développement de pipelines de transformation pour les domaines COGS et MAP, alimentant des dashboards Power BI de pilotage budgétaire - Intégration de données financières vers Anaplan via CloudWorks, en structurant les datasets de forecast dans la couche d'exposition. - Conception d'un star schema en self-service exposant faits et dimensions directement aux équipes métier via Power BI, dans le cadre d'une migration visant à remplacer le legacy. - Orchestration de l'ensemble des pipelines via Cloud Composer, incluant la gestion des dépendances inter-DAGs et le déclenchement cross-projets - Mise en place de pipelines CI/CD GitLab : compilation dbt, build et publication d'images Docker, déploiement automatisé des DAGs vers Cloud Composer, génération et publication de la documentation dbt - Gestion de la sécurité des données via les policy tags BigQuery et un package dbt interne de masking, garantissant une application cohérente du contrôle d'accès sur l'ensemble des couches - Centralisation du catalogue de données et du lineage dans Data Galaxy, alimenté automatiquement depuis les artefacts dbt en production - Industrialisation de l'infrastructure via Terraform et optimisation des temps de build via uv et Artifact Registry - Mise en place d'un monitoring de qualité de données avec Elementary Data

- Conception et automatisation d’un pipeline de scraping pour le marché de la location courte durée, orchestré avec Airflow et Squid, avec publication des données vers Kafka puis ingestion dans Apache Druid pour une analyse temps réel des disponibilités et métadonnées. - Mise en œuvre du cycle de vie complet de modèles de pricing dynamique : préparation des données, entraînement distribué sur Amazon EMR (PySpark), suivi des expérimentations, métriques et artefacts via MLflow, et analyse agrégée dans Apache Druid pour exploration interactive et visualisation métier. - Développement de plusieurs APIs FastAPI exposant les modèles de pricing dynamique et déploiement d’un service basé sur LLM permettant la génération automatique d’annonces à partir des données de logement. - Déploiement et gestion d’Airflow sur EKS avec Helm et Argo CD. - Mise en place de pipelines CI/CD pour différents microservices, avec déploiement sur ECS et EKS, gestion des images via ECR. - Passage d’une infrastructure manuelle à une gestion déclarative avec Terraform. - Mise en place de la stack ELK pour le monitoring et création de dashboards assurant un suivi quasi temps réel de l’ensemble de l’infrastructure.