Data Engineer Senior - Spark/Scala

Missions

Concevoir et développer les traitements Data

• Développer et maintenir les pipelines de données sous Spark/Scala.

• Concevoir les flux d'ingestion, de transformation et d'exposition des données.

• Participer à la mise en œuvre de l'architecture cible Bronze / Silver / Gold.

• Garantir la qualité, la performance et la fiabilité des traitements.

Accompagner la transformation de la plateforme

• Participer à la rationalisation du Data Lake et à la réduction des copies de données.

• Contribuer à la mise en place d'une source de vérité unique (Single Source of Truth).

• Accompagner la transition des traitements batch vers des architectures orientées événements.

Mettre en œuvre les flux temps réel

• Déployer et maintenir les solutions de streaming basées sur Kafka.

• Concevoir et implémenter les mécanismes de Change Data Capture (CDC).

• Assurer l'intégration des flux en temps réel avec les systèmes existants.

Maintenir et faire évoluer le patrimoine technique

• Intervenir sur les environnements historiques Oracle, HDFS et Hive.

• Participer aux optimisations de performance et aux travaux de migration.

• Respecter les standards de développement, de versionning et d'exploitation.

Collaborer avec les parties prenantes

• Travailler en étroite collaboration avec les Data Engineers, Tech Leads, Chefs de Projet et équipes Infrastructure.

• Participer aux échanges techniques et aux arbitrages d'architecture.

• Communiquer efficacement sur l'avancement, les risques et les points de vigilance.

Environnement Technique

Obligatoire

• Spark

• Scala

• Kafka

• CDC (Change Data Capture)

• Oracle

• HDFS

• Hive

• Git

• Protocoles de transfert de fichiers (SFTP, FTPS, etc.)

Connaissances appréciées

• Architectures Data Lake modernes

• Streaming Data

• Event-Driven Architecture

• Architecture Bronze / Silver / Gold

• Environnements Big Data On-Premise

Contexte technologique

• Infrastructure 100 % On-Premise

• Oracle Big Data Appliance

• Hadoop (en phase de dépréciation)

• Databricks utilisé uniquement par le Data Lab

• Réflexions en cours sur certaines évolutions Cloud