Tariq Mghari

• Built data pipelines using Azure Data Factory (ADF) and Databricks, orchestrating with Stonebranch. • Integrated CI/CD workflows into ADF, Databricks, and Stonebranch via GitHub. • Utilized Power Automate for pipeline automation. • Implemented architecture guidelines for efficient data ingestion and analytics tool selection. • Specialized in processing and analyzing nutritional data across all projects.

• Implemented robust data pipelines within a Medallion architecture framework using Azure Databricks with Pyspark and SQL, ensuring scalable and efficient data processing. • Orchestrated data transformation processes using Azure Data Factory Data Flow. • Leveraged Synapse Analytics, particularly focusing on Serverless SQL Pool, to optimize data querying and analysis

• Etude de l’existant des outils utilisés dans le Data Lab • Conception d’une solution MLOps répondant au besoin Data Science (Computer Vision, ML) • Optimisation de la phase de prétraitement et pré entrainement avec Pyspark ‑ Réecriture des modèles ML en MLLIB avec Scala • Modification d’un pipeline sur azure data factory

Collecte des données de plusieurs sources : BDD(postgre,SQL Server), Fichier, MongoDB, Données Capteurs • Présentation des données collectées aux métiers et priorisation des cas d’usage • Conception d’un pipeline de déploiement des jobs sur l’infrastructure • Connecter spark avec les Topics de kafka, et faire l’analyse du risque des piétons dans la route.

Collecter des tweets et fichiers Logs avec Flume et la sauvegarde dans HDFS. Sqoop pour importer les données RDBMS à HDFS • Streaming en temps réelle avec Kafka.—‑SparkSQL with hive – Gerer le flux de travail en utilisant apache airflow.

Utilized web scraping techniques to extract tweets from twitter for sentiment analysis

Professional project for tracking shipping transits in real-time for the company.