Farid Makhfarid

– Projet de modernisation de la plateforme Data de TotalEnergies dédiée au suivi des parcs éoliens et solaires, visant à fiabiliser les traitements sur Databricks, améliorer la qualité des indicateurs métiers et optimiser la performance et les coûts Cloud (AWS) – Optimisation des jobs sparks – Mise en place d'un cadre de travail commun (Way of Working) pour améliorer la collaboration et la productivité de l'équipe. – Recueil, analyse et priorisation des besoins utilisateurs afin de les traduire en évolutions produit. – Gestion du backlog produit (création, suivi et affectation des tickets). – Coordination avec les équipes techniques et métiers pour assurer la cohérence et l'avancement des développements. – Suivi et documentation des bugs en production pour garantir la qualité de la plateforme. – Organisation et participation aux réunions de support avec Databricks. – Extraction et analyse des coûts liés à la stack technique (Databricks, AWS). – Optimisation des coûts et de la performance du cluster Spark selon une approche FinOps & RunOps. – Supervision et participation aux mises en production via des pipelines CI/CD.

– Mise en place d'un cluster Hadoop/Spark multi-nœuds sur des serveurs Linux pour moderniser la plateforme Data de DGFPI, avec intégration de Jupyter multi-utilisateurs, automatisation via Shell/Ansible, optimisation des performances et accompagnement des équipes Data. – Installation, configuration et optimisation d'un cluster Hadoop (HDFS, YARN) sur un environnement Linux (Rocky/Ubuntu) multi-nœuds. – Déploiement et intégration de Apache Spark sur YARN pour l'exécution distribuée des jobs analytiques. – Mise en place et configuration de Jupyter Notebook multi-utilisateurs (Data Engineers & Data Scientists) connecté au cluster Spark via PySpark. – Rédaction d'une documentation technique complète (installation, configuration, bonnes pratiques et troubleshooting). – Automatisation partielle du déploiement via Ansible (installation Spark/Hadoop, configuration des nœuds). – Validation du bon fonctionnement du cluster par des tests de jobs Spark (batch et SQL) sur des datasets réels. – Suivi et diagnostic des performances (allocation mémoire, parallelisme, logs YARN/Spark UI). – Formation et accompagnement des équipes Data (onboarding, utilisation de Jupyter sur le cluster).

– Conception et validation des architectures Kafka, développement de jobs Spring Boot pour l'ingestion Kafka-MongoDB, gestion de la configuration Kafka, documentation sur Confluence et accompagnement technique des équipes dans l'implémentation des pipelines – Construction et validation des architectures pour l'implémentation des solutions Kafka – Doccumentation de la mise en place des pipeline kafka sur confluence – Gestion de la configuration de Kafka – Écriture de job Spring-boot (Kafka-mongodb) [tests unitaires, gestion des erreurs Kafka] – Effectuer des sessions techniques et de support pour les développeurs – Encadrement de nouveaux développeurs pour l'implémentation des solutions Kafka – Participation aux réunions techniques et proposition de solutions

– Résolution des incidents en production, gestion des accès Kafka, rédaction des MOP, accompagnement des équipes de développement et intégration de nouveaux cas d'usage dans un environnement Confluent/Kafka – Résolution proactive des bugs en environnement de production, garantissant la continuité des services et la stabilité des applications. – Fourniture d'un support technique et fonctionnel aux équipes de développement, facilitant la résolution de problèmes complexes et l'optimisation des processus de développement. – Rédaction et mise à jour des documents Method of Procedure (MOP) pour l'équipe de production, afin d'assurer une exploitation fluide et sans interruption. – Support des équipes de développement dans l'intégration de nouveaux cas d'usage, en assurant une approche agile et collaborative. – Gestion et administration des accès au cluster Kafka, garantissant la sécurité et l'efficacité des échanges de données au sein de l'infrastructure.

– Analyse et extraction de données issues de logs et bases de données afin de calculer des KPIs d'usage applicatif, permettant de suivre la fréquence, la répartition géographique, et la performance des applications internes – Recueil de besoins – accés à des base de donnée (sql,noSQL,mongoDB,Postgrés) et reccupération de données – parcing des fichiers de logs – Enrichissement et Nettoyage de données avec les données du LDAP – configuraton des serveurs linux(dev,preprod,prod) – mise en production: disposition des données pour Visualisation sur Splunk pour l'équipe métier

– Le projet consiste à enrichir des tables Oracle avec des indicateurs calculés à partir d'un ensemble d'informations (logs, agences BDDF), ces tables sont visualisées avec Tableau afin de valoriser l'utilisation de deux applications (Rebond360 et Mon Rendez Vous). – Création des KPIs sous Spark SQL (Scala) en interrogeant les données du Datahub (raw layer Hive) – Intégration des KPIs créés dans une base Oracle. – Mise en œuvre de Oozie pour l'industrialisation de la production des KPIs

– Mise en place d'un Système d'information géographique (SIG) afin de visualiser en temps réel les déplacements des voyageurs SNCF de porte à porte et de gare à gare. – Définition de l'architecture technique Big Data basée sur Hortonworks – Récupération des données via SNCF en temps réel avec des jobs SCALA. – Intégration des données avec Producer KAFKA sous SCALA. – Mise en conformité des données avec la loi sur la géolocalisation et la vie privée de la CNIL – Couplage des données avec des données Open Data (horaires des trains, démographie des communes) – Création de KPIs en fonction des dimensions spatiales et temporelles. – Récupération des données via des topics KAFKA avec des Job Consumer sous SCALA. – Intégration des données dans Elasticsearch avec des jobs StreamSets – Visualisation des données avec Kibana – Construction des modèles machine-learning pour anticiper les pannes des trains (en fonction d'un nombre synthétique d'indicateurs sur le train). – Formation de deux stagiaires sur les techniques de prédiction

– Étude statistique de solvabilité des futurs locataires de l'organisme OPHIS : le projet consiste à l'exploration de l'historique des locataires pour une gestion optimale et efficace de l'organisme OPHIS et l'anticipation du comportement future des locataires (bon ou mauvais locataire). – Récupération des données stockées sous HDFS avec PySpark – Nettoyage, transformation et enrichissement des données avec des jobs PySpark – Construction d'un jeu de données unique permettant une exploration simultanée de toutes les années. – Analyse des dépendances entre les différents indicateurs (corrélation, test statistique) – Analyse exploratoire simple (PCA) pour une visualisation globale des données – Analyses exploratoires poussées (analyse canonique, AFM) pour expliciter les différentes évolutions des clients dans le temps – Classification des profils des clients(CHA) – Projection des analyses via des rapports et des applications inter-actives(Shiny) – Construction des modèles prédictifs permettant de classer un nouveau client comme étant bon ou mauvais (les impayés), en fonction du profil du client(Xgboost) – Déploiement du meilleur modèle via un application interactive (Docker et Flask) – Rédaction des rapports d'utilisation de l'application et formation des utilisateurs internes.

– Étude de de la rugosité des cristaux de glace : La campagne de mesures RICE03 (Rough Ice Crystal Experiment) est un ensemble de simulations nuageuses (49 simulations) réalisées dans la chambre à nuages AIDA à l'institut de technologie de Karlsruhe(KIT). Ces simulations permettent de créer des nuages en conditions contrôlées (température, humidité). L'objectif de la campagne est d'étudier l'influence de la rugosité des cristaux de glace sur l'interaction nuage-rayonnement. – Étude bibliographique sur les cirrus et la rugosité des cristaux de glace – Nettoyage de données (49 simulations) – Analyse de normalité de ces simulations (détection des données aberrantes) – Analyses exploratoires du type PCA pour visualiser les conditions thermodynamiques de création des nuages et le comportement optique de ces simulations – Analyses exploratoires du type AFM permettant d'étudier couplage thermodynamique-optique dans ces simulations – Mise en place des modèles capables de prédire l'état thermodynamique d'un nuage en fonction de ses propriétés optiques – Mise en place des modèles capables de prédire le niveau de rugosité des cristaux de glace dans un nuage en fonction de ses propriétés optiques – Comparaison de ces modèles prédictifs et sélection de meilleur modèle (KNN avec la métrique de Mahalanobis).