Oussama Esghayer

Mise en place de bout en bout une plateforme data destinée à constituer un inventaire national des bâtiments publics, en croisant et fiabilisant de grands référentiels (BDNB, RNB, BAN, IGN). - Architecture & plateforme : installation et configuration de la chaîne d'exécution — Kubernetes, Spark Operator, orchestration des pipelines avec Argo Workflows, déploiement via Helm (multi-environnements), stockage Delta Lake sur S3 (OVH). Framework de tâches config-driven (registry, profils de ressources). - Data Engineering : pipelines PySpark, traitements géospatiaux avec Apache Sedona (jointures spatiales, reprojections, EWKB), résolution d'entités multi-sources, écriture Delta et publication vers PostgreSQL. - DevOps : conteneurisation Docker (image Spark sur GHCR), CI/CD GitHub Actions (build, tests, déploiement, tagging), versioning avec Commitizen, qualité de code avec Ruff et pre-commit, dépendances avec uv. Technologies : Python, PySpark, Delta Lake, Apache Sedona, PostgreSQL, S3 (OVH), Kubernetes, Spark Operator, Argo Workflows, Helm, Docker, GitHub Actions, Ruff, uv, Commitizen.

Accompagner une équipe de 8 Data Engineer sur leurs tâches et les aider à monter en compétences Participer à la conception de l'architecture Data et faire les choix techniques correspondants en maitrisant les coûts finops Revoir le backlog et les priorités avec le Project Manager et le Product Owner Mise en place d'un Framework ETL en PySpark modulaire, réutilisable et testable 85% coverage rate) Conception et implementation des jobs ETL en Spark et en Spark Streaming Mise en place des microservice en Java Spring Cloud Streaming Participation à la mise en place de l’infrastructure As Code (Terraform) avec l’aide de l’équipe DevOps Automatisation des déploiement sur Aws Glue, Aws Lambda et Kubernetes (EKS) Mise en place des API Java Springboot pour exposer les données Mise en place d'une chaîne CI/CD solide intégrant les contrôles nécessaires pour assurer la bonne qualité des livrables Tests, Review, Sonar) Mise en place des tests BDD en utilisant le Framework Behave et remonter les rapports dans Jira Xray Mise en place des dashboards de monitoring des environnements (Datadog, ELK) Participation au processus de recrutement Technologie : PySpark, Python3 Flask, Java, SpringBoot, Terraform, Kubernetes, ELK, Kafka CI/CD : Gitlab, Jenkins, Terraform, Sonar, Xray Services Cloud : AWS, AWS Glue, Aws Lambda, Aws Athena, EKS, DynamoDB, SnowFlake Méthodologie Agile : SCRUM, (Continuous Delivery)

Accompagner une equipe de 3 Data Engineer pour concevoir et implémenter un Hub de données Mise en place d'un ensemble de bonnes pratiques pour assurer la bonne qualité des livrables Participation au développement des jobs Databricks en PySpark et revues de l'existant Implémentation des tests d’intégrations en utilisant le framework bdd Behave) Automatisation du déploiement sur Azure Databricks Assurer la transition de l’application de la phase développement à la phase mise en production Travailler en forte collaboration avec le business et assimilation des règles métier à implémenter Technologie : Python3, PySpark, Azure Databricks, DeltaLake, AzureDevOps Craftmanship : clean code, TDD, BDD (Cucumber), code review, pair programming Cloud : Azure Méthodologie Agile : SCRUM, (Continuous Delivery)

Développement d'un plugin (C# interop /VBA excel) permettant de restituer les données de risque Amélioration et optimisation des performances de l'API de restitution des données de risque Optimisation du processus d’integration du périmètre Var et STT Utilisation de la nouvelle stack ApiBank (SGConnect/Swagger) Accompagner et former les nouvels arrivants et les équipes bangalore Technologie : Microsoft .NET (C#4.0, WCF, LINQ, WebApi) & Oracle Exadata Méthodologie Agile : SCRUM, KANBAN (Continuous Delivery)

Skills: Software Engineering · Software Development

Skills: Software Engineering · Software Development

Skills: Software Engineering · Software Development

Skills: Software Engineering · Software Development