Développeur Big Data / Data Engineer – Base des Pertes @ Spark @ Finance @ Paris

Contexte & enjeux

Dans le cadre d’un projet Data orienté Base des Pertes, la mission vise à renforcer les capacités de développement, d’industrialisation et d’optimisation de traitements Big Data.

L’environnement cible repose sur une plateforme Cloudera / Hadoop, avec des traitements de données volumineux réalisés principalement en Spark Java. Les enjeux portent sur la conception de pipelines robustes, la qualité des données, la performance des traitements et l’industrialisation des déploiements dans un contexte exigeant.

Une expérience dans le secteur financier est attendue, idéalement sur des sujets liés à la gestion des risques de crédit.

Missions détaillées

1. Développement de pipelines de données

Le consultant interviendra sur la conception, le développement et l’optimisation de traitements Big Data.

Ses responsabilités incluront :

• Concevoir, développer et optimiser des jobs Apache Spark en Java pour le traitement, la transformation et l’agrégation de grands volumes de données issus de sources diverses.

• Implémenter des flux de données robustes et performants sur une plateforme Cloudera.

• Utiliser HBase pour répondre à des besoins de stockage NoSQL rapides et d’accès à des données structurées ou semi-structurées.

• Développer des requêtes SQL complexes sur Hive et Spark SQL pour l’extraction, l’analyse et la validation des données.

2. Optimisation et performance

Le consultant participera activement à l’amélioration de la performance des traitements et de la plateforme.

Les missions comprendront :

• Monitorer la performance des jobs Spark.

• Identifier les goulots d’étranglement dans les traitements.

• Optimiser les requêtes SQL.

• Optimiser les stratégies de lecture et d’écriture sur HDFS et HBase.

• Proposer et mettre en œuvre des solutions permettant d’améliorer la scalabilité, la performance et l’efficacité globale de la plateforme.

3. Assurance qualité, industrialisation et DevOps

Le consultant contribuera à la fiabilité du code et à l’industrialisation des déploiements.

Il sera notamment amené à :

• Écrire des tests unitaires et des tests d’intégration afin de garantir la qualité du code.

• Participer aux processus de build et de déploiement via les outils de CI/CD.

• Utiliser et intégrer les outils d’analyse de code statique dans le cycle de développement.

• Gérer les dépendances et les versions applicatives avec Maven.

4. Collaboration et documentation

Le consultant travaillera en lien avec les équipes projet et contribuera à l’amélioration continue.

Les attendus incluent :

• Documenter le code, les architectures et les processus.

• Partager les bonnes pratiques de développement Big Data.

• Contribuer à l’amélioration continue des pratiques de l’équipe.

Stack technique

Big Data & Data Engineering

• Apache Spark 3.x

• Spark Java

• Java 8

• Scala, souhaitable

• Cloudera

• Hadoop

• HDFS

• Hive

• HBase

• Spark SQL

• SQL

DevOps & Qualité

• Jenkins

• XLD

• SonarQube

• Checkmarx

• Maven

• CI/CD

• Tests unitaires

• Tests d’intégration

Domaines fonctionnels

• BI

• Data analyse

• Data engineering

• Data quality

• Finance

• Gestion des risques de crédit, idéalement

Modalités

• Durée : 12 mois.

• Démarrage souhaité : 01/06/2026.

• Localisation : Paris.

• Télétravail : 2 jours par semaine.

• Langue : Français courant.

Profil recherché

Le profil attendu est un Développeur Big Data / Data Engineer confirmé, disposant d’une expérience solide sur des environnements distribués et des traitements de données volumineux.

Expérience attendue

• 5 à 9 ans d’expérience.

• Minimum 5 ans d’expérience en développement Big Data et/ou Data Engineering.

• Expérience significative dans le secteur financier.

• Expérience idéalement acquise sur des problématiques de risques de crédit.

Compétences indispensables

• Excellente maîtrise d’Apache Spark 3.x, notamment en développement, optimisation et scalabilité d’applications.

• Très bonne maîtrise de Java 8 pour le développement Spark.

• Expérience avérée sur la stack Cloudera / Hadoop, incluant HDFS, Hive et HBase.

• Maîtrise indispensable du SQL pour l’exploitation, l’analyse et la validation des données.

• Pratique des environnements DevOps et CI/CD : Jenkins, XLD, SonarQube, Checkmarx.

• Bonne maîtrise de Maven pour la gestion des dépendances et des versions.

Compétence souhaitable

• Connaissance ou pratique de Scala.