Dev Big Data

- Contexte de la mission :
Au sein de notre environnement Big Data, la mission principale consiste à concevoir, développer et maintenir des pipelines de données (collecte, enrichissement, stockage) ainsi que des KPIs.
Vous serez en charge de la gestion et de la supervision d'une partie du périmètre. Ces flux traitent des volumes de données massifs, pouvant atteindre plusieurs téraoctets quotidiens (la 5G), avec des fréquences de traitement variables. Vous interviendrez sur l'ensemble du cycle de vie des données, de la collecte initiale jusqu'à leur mise en production.
Bien que la majeure partie de la mission soit de travailler sur des stream en java, une partie de la mission sera dédiée à l'industrialisation des KPI développés en Python par les équipes métiers. Cela inclura l'analyse fonctionnelle, le refactoring, l'optimisation des performances et le déploiement de ces indicateurs.
Enfin, votre expertise sera sollicitée pour les montées de version des applications (flux de streaming, KPI, frameworks) afin d'intégrer les dernières évolutions de Spark et des librairies associées.
Pour information :
• 3 jours de présentiel : mercredi/jeudi/vendredi
• Démarrage : avant début septembre 2026

- Objectifs et livrables
Nous cherchons un développeur Data-Engineer connaissant Spark, ayant une expérience en Java et comprenant les besoins de l'optimisation.
Ses missions seront :

• industrialisation des KPIs métiers
• mise en place de flux stream/batch de récupération de données
• suivis sur le temps du bon fonctionnement des flux
• travail sur la dette technique du service (maj de librairies ...)
• travail sur des configurations optimales
Stack principale :
• spark (java & python)
• s3-minio / ceph
• elastic
• kafka
• k8s
• airflow/argoCD

Le candidat évoluera dans un environnement en production.

- Compétences demandées

Java : Avancé
Spark : Confirmé
 

Cette mission représente un apport d'affaires.

La mission n'accepte que les freelances en direct et ne fait pas appel à la sous-traitance.
Nous accueillons les candidatures de tous, sans distinction de genre ou d'origine.