Ayoub Lazaar

- Collecte et traitement de données provenant de sources multiples dans la base de données Azure SQL à l'aide de Data Factory. - Développement de modèles DBT pour transformer et structurer les données SAP en schémas dimensionnels (star schema) - Implémentation de tests de qualité de données avec DBT (unique, not_null, relationships, custom tests) - Création de documentation automatique des modèles de données et lineage avec DBT Docs - Orchestration des transformations DBT pour modéliser les données de production temps réel et historiques - Développement de modèles DBT incrémentaux pour optimiser les performances sur données volumineuses - Mise en place de macros DBT personnalisées pour standardiser les transformations métier complexes - Construction de data marts avec DBT pour analyse des potentiels de production - Migration de procédures stockées T-SQL vers des modèles DBT pour améliorer la maintenabilité - Création de snapshots DBT pour tracer l'historique des changements de coûts dans le temps - Architecture et développement de pipelines ELT multi-sources (temps réel et batch) - Transformation et modélisation de données historiques avec Databricks pour alimenter des modèles ML - Implémentation d'OpenTelemetry pour le monitoring des performances et l'observabilité des transformations DBT - Automatisation CI/CD avec GitHub Actions et Azure DevOps pour déploiement automatique des modèles DBT - Contribution au comité technique Data Engineering et au développement du Azure Function Starter Kit Outils : DBT CORE, Azure Data Factory, Azure SQL Database Azure DevOps, Azure Data Lake, sources de données On-premise, Storage account, Scrum, Jira, Confluence, Miro

- Développement de jobs Spark/PySpark pour transformation de données financières de facturation - Orchestration de workflows batch avec Apache Airflow - Monitoring et maintenance des pipelines de données journalières Outils : Python, Scala, Spark, PySpark, Hadoop, Apache Airflow.

- Développement de pipelines d'ingestion avec Apache Airflow vers PostgreSQL - Implémentation de MLflow pour tracking d'expériences et versioning de modèles ML - Architecture et déploiement CI/CD avec Docker et GoCD pour environnement MLOps - Mise en place de la stack ELK pour observabilité et monitoring des modèles ML Outils : Python, JupyterLab, VS Code, Docker, GoCD, MLflow, Apache Airflow, PostgreSQL, ELK Stack, DVC, Portainer.

- Transformation et consolidation de données de facturation multi-sources avec Azure Data Factory - Développement de procédures stockées T-SQL pour modélisation de données - Architecture de pipeline streaming avec Kafka et Spark-Streaming pour géolocalisation temps réel - Déploiement d'infrastructure Big Data sur AWS (cluster Hadoop sur EC2) - Transformation de données temps réel, calcul de métriques et visualisation avec Tableau Outils : Bash, Hadoop, Kafka, Spark Streaming, Spark SQL, Tableau.