Data Engineer Big Data (F/H/X)

Au sein du pôle Systèmes d'Information Décisionnels, la mission concerne une plateforme de Business Intelligence dédiée à un système industriel d'envergure nationale, répondant aux objectifs suivants :

• Assurer le pilotage opérationnel du système et des processus métier associés

• Garantir la qualité et la cohérence des données

• Fournir les données pour l’analyse et l’amélioration continue du système

Le projet est utilisé par environ 1000 utilisateurs (analystes, experts métiers, experts SI). Il est composé de cinq équipes couvrant à la fois le développement des traitements fonctionnels, des reportings ainsi que la gestion des plateformes et de l’outillage.

Dans un contexte de transformation du SI décisionnel, l’équipe porte actuellement des enjeux forts de modernisation des traitements Big Data, avec une migration en cours vers Spark ainsi qu’un projet de refonte complète dans le cloud basé sur Databricks à moyen terme.

Missions

Les missions s’inscrivent dans une trajectoire progressive :

Phase 1 : Modernisation des traitements existants

• Migration de traitements Informatica et PL/SQL vers Spark (Java)

• Participation à l’optimisation des traitements existants

• Maintenance corrective et évolutive des traitements PL/SQL

• Appropriation des processus métier derrière les flux de données

Phase 2 : Refonte cloud (Databricks)

• Participation au projet stratégique de migration vers le cloud

• Conception et mise en œuvre de pipelines de données sur Databricks

• Industrialisation des traitements dans un environnement moderne

Activités principales :

• Concevoir, développer et maintenir des pipelines de données en Spark (Java)

• Migrer des traitements legacy vers des architectures Big Data modernes

• Assurer la maintenance des traitements existants SQL / PL-SQL

• Garantir la performance, la robustesse et la qualité des données

• Participer activement au RUN et à l’amélioration continue

Activités secondaires :

• Contribution aux bonnes pratiques de développement et d’exploitation

• Mise à jour du référentiel documentaire

• Partage de connaissances au sein de l’équipe

• Participation à la guilde Spark de l’équipe (choix de conception, optimisation des traitements, road map technique, etc.)

Outils & Environnement

• Spark

• Java

• Ceph

• Tableau Server

• Oracle

• Informatica

• Maven

• Control-M

• Git

• Jenkins

• Terraform

Conditions de travail

• Localisation : Lyon

• Télétravail : Hybride

1. 3 ans d'expérience minimale requise
2. Forte appétence pour la compréhension des enjeux métier liés à la donnée
3. Expérience avec les environnements Big Data en transformation
4. Compétences solides en Spark
5. Maîtrise de SQL / PL-SQL
6. Maîtrise de la programmation orientée objet (Java ou Python)
7. Maîtrise des solutions de stockage de données
8. Maîtrise des technologies Big Data pour le traitement et la manipulation de données
9. Maîtrise des outils de gestion de code et de déploiement projet
10. Maîtrise des fondamentaux de l’agilité
11. Posture d’ingénieur impliqué dans le fonctionnement global du SI (BUILD & RUN)