Senior Data Engineer GCP / Cloudera – Spark Scala / PySpark @ Banque @ Paris

Contexte & Enjeux

Dans le cadre d’un programme Data à forte volumétrie, la mission consiste à intervenir en tant que Data Engineer Senior sur un environnement hybride GCP et Cloudera on-premise.

L’objectif principal est de :

• Développer et maintenir des ETL/ELT sur des plateformes Big Data ;

• Assurer le maintien en condition opérationnelle d’un socle Spark/Hadoop développé en Java ;

• Participer à un chantier stratégique de réécriture et de modernisation vers Scala ou PySpark ;

• Contribuer à l’évolution de l’architecture data en garantissant performance, sécurité et qualité des traitements.

Mission basée à Paris avec 2-3 jours de télétravail par semaine.

Démarrage : Juin 2026
Durée : 12 mois
Expérience attendue : 5 à 9 ans
Langue : Français courant

Missions détaillées

Développement & Industrialisation Data

• Concevoir, développer et mettre en œuvre des pipelines ETL/ELT robustes et performants pour l’ingestion, la transformation et le chargement de données structurées et non structurées ;

• Développer des traitements Big Data à grande échelle en Scala et/ou PySpark ;

• Participer au développement et à l’évolution des traitements sur GCP et/ou Cloudera on-premise.

Architecture & Performance

• Participer à la conception et à l’évolution de l’architecture de données ;

• Garantir la cohérence, la performance et la sécurité des plateformes et traitements ;

• Optimiser les requêtes et les performances des jobs Spark et pipelines de données ;

• Contribuer aux choix techniques liés aux architectures Big Data et Cloud.

Qualité, Monitoring & MCO

• Mettre en place et maintenir les processus de qualité des données ;

• Déployer des solutions de monitoring et supervision des traitements ;

• Assurer le déploiement, la configuration et la maintenance des outils et plateformes data ;

• Résoudre les incidents et problématiques techniques liés aux flux de données et aux environnements Big Data.

Collaboration & Engineering Practices

• Collaborer étroitement avec les architectes, Tech Leads, analystes data et parties prenantes métiers ;

• Produire un code propre, maintenable et documenté ;

• Participer aux revues de code et à l’amélioration continue des bonnes pratiques de développement ;

• Travailler en autonomie tout en évoluant dans un environnement collaboratif.

Stack Technique

Cloud & Data Platforms

• Google Cloud Platform (GCP)

  • Cloud Functions (CF)

  • Cloud Run

  • Dataproc

  • BigQuery

  • Cloud Storage

Big Data / Cloudera

• Cloudera On-Prem

• Hadoop

• HDFS

• Spark

• Hive

• Ranger

• Kerberos

Langages

• Java

• Scala

• PySpark

Orchestration & Workflow

• Composer

• Airflow

• Control-M

Cloud complémentaires (plus)

• Azure

• AWS

Points forts de la mission

• Environnement Big Data & Cloud hybride (GCP + Cloudera) ;

• Dimension architecture et modernisation importante ;

• Travail sur réécriture stratégique Java → Scala/PySpark ;

• Forte exposition aux problématiques de performance, industrialisation et MCO.

Profil recherché

Compétences clés

• Expertise confirmée sur GCP, Hadoop/Cloudera, Spark, Scala et/ou PySpark ;

• Expérience significative en Data Engineering (> 5 ans) ;

• Très bonne maîtrise du développement Java, notamment dans des contextes de maintenance et d’évolution de socles techniques ;

• Solide expérience en Scala ou PySpark, idéalement dans des contextes de réécriture ou migration de composants Java ;

• Bonne compréhension des principes :

  • Data Engineering

  • Software Engineering

  • System Engineering

  • Architectures Big Data

Soft Skills

• Forte autonomie ;

• Capacité à travailler en équipe ;

• Excellentes compétences en communication ;

• Esprit analytique et résolution de problèmes.