
Hassane SEOUD
Ingénieur Big Data Senior | Azure & Databricks
Salaire / Taux journalier
Paris, France
Freelance
Expertises
Langues
À propos
Introduction
Ingénieur Big Data avec 9 ans d'expérience dans l'architecture de données et l'optimisation de pipelines complexes. Expert en développement Spark/Scala/Python et mise en place de solutions Azure/Databricks, avec un historique prouvé dans le secteur bancaire et l'optimisation énergétique. Je conçois des infrastructures data robustes et automatisées pour transformer vos données en valeur métier mesurable.
Expérience de travail
Ingénieur Big Data – Projet d'Optimisation Énergétique
Invivo
mars 2024 - Présent
2 ans 8 mois
– Contribution à l'optimisation des processus de production des grains en collectant, analysant et traitant des données de capteurs Aveva, commandes SAP et sources externes (météo), intégrées dans une architecture Delta Lake. – Fourniture d'une base de données fiable pour les data scientists afin d'optimiser la consommation énergétique et d'améliorer les processus de production agricole. – Ingestion et traitement des données à partir de sources variées (capteurs Aveva, SAP, météo, etc.) dans un environnement Azure. – Mise en place d'architectures de données en utilisant Databricks, Delta Lake et Azure Data Lake Storage (ADLS). – Développement de workflows Databricks pour automatiser l'ingestion et la transformation des données (Pyspark, SQL). – Mise en place d'une chaîne CI/CD avec Azure DevOps pour le déploiement des modules du projet, en garantissant des processus d'automatisation des tests et de suivi des versions. – Analyse des données pour l'optimisation énergétique et création de rapports décisionnels. – Collaboration avec les équipes Data Science pour assurer un socle de données fiable et complet. – Amélioration continue des processus dans une architecture Cloud Azure.
Senior Developer Big Data – Équipe ALM Centrale
Société Générale
mars 2022 - févr. 2024
2 ans
Paris, France
– Amélioration du système de gestion de la liquidité, avec un focus sur la gestion des risques structurels, la résolution de limites et la génération de rapports financiers. Projet impliquant une forte collaboration entre équipes internationales (Paris/Bangalore) et une interaction avec plusieurs flux de données. – Développement et optimisation de jobs Spark pour calculer des métriques financières complexes. – Création et maintenance de tables Hive pour structurer et centraliser les données métiers. – Mise en place de pipelines CI/CD en utilisant Jenkins et Nexus pour automatiser le cycle de vie des applications. – Monitoring des applications Spark pour garantir la stabilité en production. – Collaboration étroite avec les équipes métiers et techniques pour répondre aux besoins spécifiques du projet. – Participation aux transformations sur Databricks, en implémentant des règles de gestion avancées et des transformations complexes.
Senior Developer Big Data – Équipe Data Lake
Natixis DSI Finance
sept. 2020 - mars 2022
1 an 7 mois
– Développement d'une solution transverse pour le calcul de la juste valeur des contrats Natixis dans un environnement de Data Lake, avec une forte collaboration entre différentes équipes et projets (GASPARD). – Maintenance et évolution des modules techniques existants pour assurer la robustesse et la scalabilité du système. – Développement d'ordonnanceurs CTM afin d'intégrer des règles métier complexes en Spark/Scala. – Optimisation des flux Kafka pour une gestion performante et efficace des logs techniques. – Collaboration étroite avec des équipes internationales basées à Porto, en charge de l'ordonnancement CTM et du support technique global.
Dev confirmé Big Data/ Lead – Projets : INCORE + SQU@D
Société Générale
juin 2017 - mai 2020
3 ans
Bangalore, Karnataka, Inde
Mise en place d'une solution de DataViz de portée Groupe, permettant de piloter la qualité des données (Finance et Risque) stockées dans un Data Lake. Le projet SQU@D (Sustainable Quality Dashboards) visait à produire des dashboards exécutifs, hautement visibles, et conformes aux standards BCBS239 et aux réglementations GDPR. – Collaboration avec les fonctions centrales et les entités du groupe. – Interactions fortes avec l'ensemble du SI Société Générale. – Projet structuré dans un environnement complexe avec des enjeux transverses. **1. Développeur Big Data (1,5 an) Projet INCORE:** – Migration du département BSC/DAT vers un modèle CI/CD pour automatiser les livraisons dans tous les environnements, incluant la production. – Contribution à la mise en place de la chaîne CI/CD complète avec Jenkins et Ansible Tower, dans le cadre d'un projet pilote. **2. Tech Lead Big Data (1,5 an) Projet SQU@D:** – Encadrement et montée en compétence de l'équipe Big Data à Bangalore sur les modules clés du projet. – Collaboration avec les équipes métiers et techniques pour assurer la robustesse des solutions développées. **Tâches techniques:** – Analyse technique et évolution de l'architecture des applications du projet. – Préparation et transformation des données issues de différentes sources (CSV, XML) en fichiers Parquet et tables Hive pour intégration. – Création de pipelines CI/CD avec Git, Jenkins, Ansible et SonarQube pour automatiser le cycle de vie des applications. – Développement de playbooks Ansible pour permettre le lancement parallèle de workflows par plusieurs développeurs. – Conception et gestion des ordonnanceurs Oozie pour orchestrer les règles métier en Spark/Scala. – Surveillance et optimisation des applications Spark via YARN. – Création de schémas et gestion des dépendances via Nexus pour les jobs Spark. – Application de la méthode TDD (Test-Driven Development) pour assurer la qualité des livrables.
Développeur Back-end & Big Data
Lansrod
déc. 2015 - mai 2017
1 an 6 mois
Participation à deux projets majeurs : **1. Plateforme Log Analyser (Équipe de 4 personnes):** – Acquisition et traitement des logs provenant des serveurs et de la plateforme Big Data. – Stockage des données dans Elasticsearch pour faciliter leur exploitation. – Visualisation et analyse des données via Kibana. **2. Application Bet4SURE (Développement en autonomie sous l'encadrement d'un référent technique):** – Collecte et stockage des données : – Récupération des données sportives du web avec Jsoup et stockage dans HDFS au format CSV. – Utilisation de Hive pour formater les données collectées et créer des tables relationnelles. – Traitement et analyse des données : – Extraction des résultats intermédiaires et finaux avec Hive et Spark pour alimenter le modèle prédictif. – Implémentation d'algorithmes prédictifs inspirés de recherches académiques et tests internes en utilisant Spark avec l'API Java. – Développement des web services : – Intégration des résultats et de la logique d'analyse dans des web services REST avec Spring Rest (Serveur Tomcat). – Consommation des web services par un client mobile développé avec AngularJS et Ionic.
Développeur
Luxembourg Institute of Science and Technology
mai 2015 - oct. 2015
6 mois
Luxembourg
Participation à la conception et au développement d'un module d'évaluation des questions de test pour la plateforme TAO au sein de l'équipe ASSESS du département IT for Innovative Services. Le projet s'est déroulé en trois phases : – Analyse et spécification des besoins, accompagnée d'une étude approfondie de la plateforme existante TAO. – Conception d'une solution intégrable à la plateforme TAO. – Réalisation de l'outil en deux parties : – Développement des web services avec Jersey pour l'intégration de modules externes permettant le calcul de métriques d'évaluation. Ces métriques incluent : – NLP (Natural Language Processing) : similarité sémantique, lexicale et distributionnelle. – Critères liés à la difficulté des textes. – Intégration et tests de la solution dans TAO en respectant les exigences de la plateforme développée en PHP.
Formation
École Nationale des Sciences de l'Informatique (ENSI)
Diplôme d'Ingénieur, Informatique
2015 - 2015
1 mois