Wael HILATI

Le projet consiste à migrer une application existante qui s’appelle OSCAR en utilisant spark comme moteur de traitement de données et power bi comme outil de visualisation. La majorité des données donnent des informations sur le réseau électrique d’enedis comme la localisation des composants de réseau ou les coupures et leurs raisons. Principales Tâches : • Transformations des specs métiers en des jobs scala Spark d’agrégation et d’enrichissements de données (Mapping, transformation et des jointures). • Exposition des tables Hive externes et internes sur les données traitées. • Exposition des tables sur Sql Server • Exposition des vues métier • Ingestion des référentiels depuis des fichiers csv et des bases de données relationnelles sur HDFS avec Sqoop. • Code review et optimisation des jobs développés.

Project : • Architecture definition and implementation of a data virtualization platform • Migration of data between the internal CDP cluster and the new platform shared between the european central banks Main tasks : • Market study on the different virtualization technologies • Participation in the design of the final architecture • Implement the Denodo virtualization solution • Migrate data between cluster and S3 buckets • Migrate Spark jobs to Glue AWS • Develop Lambdas and Steps functions for pipeline sequencing • Implement some queues for the exchange of events with AWS EventBridge • Implement the infrastructure through a Terraform project

Ingestion and processing of massive group data. Design and development of spark jobs for the enrichment and aggregation of data representing the group's contracts. Calculation of functional KPIs to help management make these decisions regarding their client files. Tasks: * Ingest repositories from csv files and relational databases on HDFS. * Development of a scala coordinator for the launch and coordination between spark jobs. * Development of a scala workque for the different jobs. * Data cleaning with Scala Spark jobs. * Transformation of business specs into scala Spark jobs for aggregation and data enrichment (Mapping, transformation and joins). * Exposing external Hive tables to processed data. * Code review and optimization of developed jobs. * Development of ansible playbooks for the deployment of jobs, the execution and debugging of the various services and the updating of the catalog

Conception et développement des jobs Spark pour l’enrichissement et l’agrégation des données qui représentent les crédits et les informations des clients de la caisse. Réalisations : • Ingestion des référentiels depuis des fichiers csv et des flux Kafka. • Remplissage de la fiche control m pour la synchronisation entre les jobs. • Nettoyage de données avec des jobs Spark développé en Python. • Transformations des specs métiers en des jobs Spark d’agrégation et d’enrichissements de données (Mapping, transformation et des jointures). • Exposition des tables Hive externes et internes sur les données traitées. • Code review et optimisation des jobs développés. Compétences : Hive · Apache Spark · Hadoop · Pyhton · Kafka

Development of a generic data ingestion framework based on the notion of datasets (Spark 2.x) to avoid repetitive tasks for developers. Achievements • Establishment of the work environment (installation and configuration of the technical base: hadoop cluster and development and deployment tools) • Development of the input part from Hbase, HDFS, Hive by transforming the data under the Dataset type. • Development of a data search engine • Development of the Hbase output part, ElasticSearch…

• Establishment of the work environment (installation and configuration of the technical base: hadoop cluster and development and deployment tools) • Data preparation: Loading of data stored from csv files into Kafka topics • Data ingestion: Consumption and storage of data by Flume in HDFS • Data cleaning: Removal of duplicates and null values using Spark • Data storage: Storage of processed data in parquet format • Data analysis : • Find the best performing company • Find the best time of day / day of the week / time of year to minimize flight delays • Study the effect of the age of the aircraft on flight delays Keywords: Hadoop, Spark, Kafka, HBase, MongoDB, Hive, ElasticSearch, Sqoop .

- Apply the Reinforcement Learning theory on the IOT domain to optimize the consumption of recovered energy by sensors. Keywords: Monte Carlo, TD learning, Machine learning, network of neurons

- Controller of raw material storage processes - Establish detailed weekly production planning Keywords: Material Ressources Planing, ERP, LN, KANBAN