Mohamed El Arbi

* Maintenance et optimisation des applications Big Data développées en Spark (Scala). * Conception et développement de nouveaux use cases en Spark Scala répondant aux besoins métiers. * Création, planification et supervision de workflows de traitement de données via Apache Airflow. * Collaboration avec les équipes Data Engineering et Data Science pour intégrer de nouvelles fonctionnalités et améliorer les performances des traitements. Environnement technique : GitLab, Kubernetes, Spark, Scala, Hadoop, Hive, HDFS

Traitement des données financières (Datahub UK): •Travail dans un environnement anglophone. • Intégration des flux des données issues des systèmes opérationnels sur le Datalake (HDFS) •Développement d'un ETL (SparkScala). • Développement des tests unitaires. • Développement des tests de contrôle de données en SQL sur Dremio. • Construire des pipelines CI/CD sur Jenkins. •Rédaction de la documentation technique.

Analyse des données du transport et de logistique : Préparer un environnement Big Data dans le cloud Azure. Nettoyer les données issues du système d’information en utilisant Azure Databricks (PySpark). Intégrer les données dans Azure SQL Data Base. Créer des pipelines dans Azure Data Factory. Créer des tableaux de bord affichant les indicateurs clés (KPI) en exécutant des agrégateurs Power Query dans un pipeline Azure Data Factory.

WHONOX, Data Engineer — (06/2020– Aujourd’hui) Projet 1: Alimentation Data warehouse (platforme de e-learning) Alimentation de la Data warehouse à partir des données issues des systèmes opérationnels sources Participation à la conception de l’architecture projet. Intégration des flux des données issues des systèmes opérationnels sur le Datalake Développement d'un ETL (SparkScala) pour l'intégration des données dans la data warehouse Oracle. Environnement technique: Spark, Oozie, Shell, Scala, Hive, GitLab Projet 2: Projet Smart House Développement d’une architecture Big data pour le contrôle des équipements intelligents installés à distance via IOT: Conception de l’architecture. Réception et Traitement des flux des données reçus des équipements connectés en spark-scala Stockage des données reçu dans la base mongoDB Développement des dashboards en Python-D3js Environnement technique: Spark, Oozie, Shell, Scala, MongoDB, MQTT, Python, D3js, GitLab Documentation de l’architecture Environnement technique: Spark, Oozie, Shell, Scala, Hive, GitLab

Révision et étude de l’existant (base de données relationnelle) Conception d’un data warehouse (modèle en étoile) Préparation des données et l’alimentation des dimensions avec Talend Mise en place d’une étude de faisabilité pour le développement des nouveaux rapports Définition des règles métiers Configuration et installations d’un cluster Kibana-logstach-elasticsearch Développement des rapports d’analyses sur kibana Rédaction de la documentation technique