Data Engineer Scala/Spark sénior

Contexte

Prestation à temps plein de Data Engineer Senior Scala/Spark. Intervention en tant que contributeur individuel sur l’étude, le chiffrage, la réalisation et l’exploitation de tâches liées à la constitution de traitements Data complexes.
Les projets sont menés en équipe de 2 à 6 Data Engineers, accompagnés d’ops, architectes et encadrés par un chef de projet.
Le projet concerne une migration technologique d’un décisionnel RH, avec une bascule technologique d’IBM vers Databricks.

Missions

• Réaliser les livrables liés aux User Stories (US) dans un cadre agile, avec découpage par sprints de 2 semaines environ
• Développement des US et tests associés
• Documentation projet, mapping des données, modélisation des pipelines, documents d’exploitation
• Mise en place du CI/CD sur l’usine logicielle
• Mise en place du monitoring

Outils & Environnement

Compétences requises :

• Maîtrise de l'API Scala Spark (batch principalement)
• Maîtrise des techniques d'optimisation Spark
• Expérience dans le traitement de volumétries importantes / complexes
• Développement et bonnes pratiques Scala, build Maven
• Travail en environnement cloud (idéalement Azure) et écosystème Databricks

Compétences souhaitées :

• Connaissance du SI d’une grande entreprise ferroviaire française
• Connaissance des outils Datadog, Rundeck

1. Maîtrise de l'API Scala Spark (batch principalement)
2. Maîtrise des techniques d'optimisation Spark
3. Expérience dans le traitement de volumétries importantes / complexes
4. Développement et bonnes pratiques Scala, build Maven
5. Travail en environnement cloud (idéalement Azure) et écosystème Databricks
6. Connaissance du SI SNCF (souhaitée)
7. Connaissance des outils Datadog, Rundeck (souhaitée)