Ilyas Benfattoum

➢ Analyse de l’existant ➢ Lecture et analyse des spécifications fonctionnelles détaillées ➢ Rédaction des spécifications techniques détaillées ➢ Revue de code ➢ Accompagnement technique des ingénieurs data ➢ Extraction des données à partir des bases hétérogènes (Oracle, Redshift, fichiers plats) ➢ Migration des données à partir des bases sources vers des bases SQL/NoSQL ➢ Développement des pipelines de données avec Spark ➢ Développement des applications à base API REST orienté data ➢ Centralisation des données en dataware ➢ Développement des indicateurs en datamart ➢ Modélisation, transformation et tests des données avec dbt ➢ Automatisation des pipelines data avec Step Functions ➢ Ordonnancement des traitements et des packages ➢ Optimisation des traitements ➢ Réalisation des tests unitaires ➢ Réalisation des tests de recette ➢ Gestion et correction des anomalies ➢ Génération des rapports sous PowerBI ➢ Développement des scripts Shell ➢ Rédaction des dossiers d’exploitation ➢ Suivi de la mise en production et gestion des livraisons ➢ Maintenance corrective et évolutive • Environnement Technique : Python, Java, Spark, Terraform, AWS (S3, EC2, EKS, Glue, Athena, EMR, Lambda, Redshift, DynamoDB, CloudWatch, DMS -Database Migration Service-, Appflow, Step Functions..), Spring (boot, MVC, sécurité), Angular, DBT, Power BI, SQL, Hadoop, HDFS, Hive, Kafka, Docker, Jenkins, Git (Gitlab/Github), Shell.

➢ Analyse de l’existant et des spécifications fonctionnelles détaillées ➢ Développement de scripts PySpark pour le nettoyage, la transformation et la structuration des données ➢ Utilisation d’Azure Data Factory, Blob Storage, HDInsight et Livy pour orchestrer et exécuter les traitements Spark ➢ Intégration des données depuis Oracle, MySQL et fichiers plats ➢ Mise en place d’un composant PQL pour la traduction des requêtes URL vers Elasticsearch ➢ Indexation des données dans Elasticsearch avec optimisation des index ➢ Développement des fonctionnalités de recherche avancée ➢ Développement de microservices Java Spring Boot dédiés à la recherche ➢ Monitoring des flux de données des microservices (Micrometer, Prometheus) ➢ Génération de rapports dynamiques via Kibana ➢ Automatisation des déploiements avec Jenkins et Nexus ➢ Réalisation des tests unitaires et de recette ➢ Gestion et correction des anomalies ➢ Développement de scripts shell pour les automatisations système ➢ Rédaction des dossiers d’exploitation ➢ Suivi de la mise en production et gestion des livraisons ➢ Maintenance corrective et évolutive • Environnement Technique : Java, PySpark, CLoud Azure (Data factory, Blob, HDInsight, Livy, Synapse), Elasticsearch, Kibana, Oracle, SQL, Kubernetes, Docker, DynamoDB, Micrometer, Prometheus, Jenkins, Git, Shell.

Projet : Conception et mise en oeuvre d’un moteur de recherche plein texte pour l’indexation, l’analyse et la visualisation de contenus multimédias, en combinant des outils de traitement de données (Talend, Dataflow), d’indexation (Elasticsearch) et de visualisation (Kibana, Power BI), avec une montée progressive vers un écosystème cloud (GCP). ➢ Analyse de l’existant ➢ Lecture et analyse des spécifications fonctionnelles détaillées ➢ Rédaction des spécifications techniques détaillées ➢ Revue de code ➢ Accompagnement technique des ingénieurs data ➢ Extraction des données à partir des bases hétérogènes (Oracle, PostgreSQL, fichiers CSV, API internes) ➢ Migration et centralisation des données vers Snowflake et BigQuery ➢ Développement des pipelines de données avec Talend et Dataflow (Apache Beam) ➢ Développement des microservices en Java pour l’intégration des fonctionnalités de recherche ➢ Mise en œuvre et optimisation des index Elasticsearch pour la recherche plein texte ➢ Centralisation et structuration des données dans un Data Warehouse (Snowflake/BigQuery) ➢ Développement des indicateurs et tableaux de bord avec Kibana et Power BI ➢ Automatisation et orchestration des pipelines avec Cloud Composer (Apache Airflow) ➢ Ordonnancement et automatisation des traitements batch ➢ Optimisation des performances des traitements et des index Elasticsearch ➢ Réalisation des tests unitaires ➢ Réalisation des tests de recette ➢ Gestion et correction des anomalies ➢ Génération des rapports visuels sous Power BI ➢ Développement de scripts pour l’automatisation (Talend, GCP, Shell) ➢ Rédaction des dossiers d’exploitation ➢ Suivi de la mise en production et gestion des livraisons (Jenkins, Cloud Build) ➢ Maintenance corrective et évolutive Environnement Technique : Java, Talend, Snowflake, Elasticsearch, Kibana, Oracle, MySQL, PostgreSQL, UNIX, Jenkins, Git, SQL, JSLT, Shell, GCP (Dataflow, Cloud Storage, BigQuery, Cloud Composer, Cloud Build)

Projet : Mise en place et alimentation d’un portail pour la gestion des données massives de facturation de la société Michelin. ➢ Analyse des besoins fonctionnels et techniques ➢ Utilisation de Talend pour l’extraction, la transformation et le chargement des données (ETL) ➢ Traitement de données issues de systèmes hétérogènes ➢ Développement des traitements backend avec Java, Spring Boot, Hibernate ➢ Conception et développement d’une interface utilisateur en JavaScript ➢ Création et exposition d’API REST pour l’interfaçage avec les sources de données ➢ Réalisation de tests unitaires et d’intégration ➢ Automatisation des déploiements avec Jenkins (CI/CD) ➢ Développement de scripts Shell pour les tâches automatisées ➢ Rédaction de la documentation technique et des dossiers d’exploitation ➢ Suivi des mises en production et gestion des anomalies ➢ Maintenance corrective et évolutive de la solution Environnement technique : Talend, Java, Spring Boot, Hibernate, JavaScript, REST APIs, SQL, Jenkins, Git, Unix, Shell

Projet : Mise en place d’une plateforme de reporting et d’analyse basée sur la suite Elasticsearch pour détecter les liens entre différentes entités et identifier des clusters. o Contexte : Le projet visait à concevoir une solution de reporting analytique exploitant la puissance de Elasticsearch et Kibana. L’objectif principal était de créer des index templates Elasticsearch adaptés, d’ingérer des données variées, et d’explorer les graphes sur Kibana pour révéler les relations et clusters entre entités. o Cycle de développement : Cycle en V, comprenant une de benchmark, développement, tests, et déploiement o Équipe : Une équipe multidisciplinaire de 4 data ingénieurs et développeurs fullstack. • Rôles et activités : o Conception et Développement des Index Elasticsearch :  Définition et construction des index templates Elasticsearch pour répondre aux besoins spécifiques du reporting et de l’analyse.  Mise en place des mappings et configurations avancées pour optimiser la recherche et le stockage des données.  Développement de pipelines d’ingestion pour intégrer des données provenant de plusieurs sources (fichiers plats, bases SQL). o Analyse et Visualisation des Données :  Étude des graphes générés sur Kibana pour détecter les liens entre les entités et analyser les clusters.  Identification de motifs et relations cachés à partir des données ingérées, facilitant la prise de décision. • Résultats obtenus :  Identification de motifs et relations cachés à partir des données ingérées, facilitant la prise de décision.  Détection rapide de clusters et relations complexes grâce à une visualisation optimisée sur Kibana.  Amélioration des temps d’ingestion et d’interrogation des données, facilitant une analyse en quasi-temps réel. Environnement Technique : Elasticsearch, Kibana, Logstash, SQL, Shell, Unix, Jenkins, Git. Environnement Fonctionnel : Analyse de graphes, détection de clusters, reporting analytique, ingestion de données massives.