Arnaud Rivero

Entrepôt de données de santé (EDS) : audit puis refonte et industrialisation des pipelines d'une plateforme data hospitalière (architecture médaillon, données pseudonymisées). ➡️ Audit et recommandations ● Analyse du code et du modèle de données de la plateforme existante ● Rédaction et présentation de préconisations d'amélioration ➡️ Conception d'un framework d'ingestion et de traitement PySpark ● Socle commun à tous les jobs : configuration externalisée et validée (Pydantic), logs standardisés, initialisation des applications ● Objectifs : homogénéiser et fiabiliser les traitements, les rendre testables et accélérer la création de nouveaux pipelines ➡️ Pipelines et modélisation en architecture médaillon ● Construction de la couche gold : modèle harmonisé fusionnant plusieurs sources hospitalières, avec contrôles de qualité et d'intégrité référentielle ● Maintenance des pipelines d'alimentation depuis les bases sources ● Stockage sur stockage objet compatible S3 (MinIO), au format Apache Iceberg (précédemment Delta Lake) ● Orchestration Airflow : gestion des dépendances entre jeux de données et DAGs ➡️ Industrialisation et CI/CD (GitLab CI) ● Qualité : analyse statique (Ruff, mypy), tests unitaires, d'intégration et d'acceptance en BDD (Behave), couverture de code (80% minimum) ● Livraison : versioning sémantique (Commitizen), packages Python publiés sur Nexus, images Docker déployées sur Kubernetes Stack : Python, PySpark, Pydantic, Apache Iceberg, Delta Lake, Airflow, MinIO, Kubernetes, Docker, GitLab CI, Nexus, uv, Ruff, mypy, Pytest, Behave, Commitizen

Tech lead au sein d'une équipe data : évolution de traitements Spark (Scala, Python) et montée en compétence de développeurs juniors. ➡️ Référent technique et montée en compétence de l'équipe ● Accompagnement de développeurs juniors : architecture du code, tests, design patterns, abstractions, debugging ● Conception et animation de formations au format masterclass ● Aide à l'onboarding et à la mise en place des environnements de développement ➡️ Évolution et qualité de la base de code Spark ● Développement de nouvelles fonctionnalités et correction d'anomalies ● Refactorisation de modules pour améliorer la testabilité et la maintenabilité ● Renforcement de la couverture de tests ➡️ Migration d'un environnement on-premise vers IBM Cloud ● Adaptation et évolution des jobs Spark existants pour le nouvel environnement cloud ● Conseil à l'équipe sur les technologies cibles, en m'appuyant sur mon expérience (Kubernetes, Docker, Airflow) Stack : Scala, Python, Apache Spark, Airflow, HDFS, stockage objet compatible S3 (IBM Cloud Object Storage), IBM Cloud, Kubernetes, Docker, Jenkins, GitLab, Maven, SonarQube, ScalaTest, Pytest

Construction, évolution et run de la plateforme de supervision temps réel de la qualité du réseau iQual, de son lancement à sa maturité. ➡️ Socle technique de la plateforme ● Conception et développement d'un framework Java au-dessus d'Apache Spark pour standardiser et accélérer le développement des pipelines ● Mise en place d'un pipeline CI/CD générique GitLab CI, réutilisé par l'ensemble des projets ● Documentation technique et fonctionnelle, support et accompagnement de l'équipe sur le framework ➡️ Pipelines Spark en production ● Traitements quasi temps réel sur Kafka : enrichissements externes, agrégations sur fenêtres de temps variables ● Traitements analytiques batch planifiés via Airflow ● Volumétries de quelques Mo à plusieurs To par jour selon les flux ● Stockage des données au format Delta Lake (HDFS, stockage objet compatible S3 avec MinIO) ● Conteneurisation (Docker), déploiement sur Kubernetes, optimisation des ressources ➡️ Exposition et observabilité des données ● Création des vues SQL sur Hive, puis migration vers Trino ● Mise en place de la collecte de logs (Filebeat, Logstash) ➡️ Travail avec les métiers et l'équipe ● Cadrage des besoins avec les équipes métier ● Participation au run et à l'amélioration des méthodes de travail de l'équipe Stack : Java, Apache Spark, Spring Boot, Kafka, Delta Lake, HDFS, MinIO, Hive, Trino, Airflow, Docker, Kubernetes, GitLab CI, Maven, SonarQube, Logstash, Filebeat, JUnit 5, AssertJ, Mockito

Intégrateur ERP (PME) : développement, déploiement et mise en production chez les clients. ● Développement de modules Java pour l'ERP open source Axelor (ventes, achats, production) et d'extensions pour Cegid Manufacturing ● Installation et configuration des environnements d'exécution (Tomcat, PostgreSQL, services Unix) ● Mises en production sur site, en lien direct avec les clients ● Développement d'une application mobile multiplateforme (Ionic) Stack : Java, Axelor, Tomcat, PostgreSQL, JUnit, Git, Gradle