Développeur Java Spark

Contexte :

Dans le cadre de la gestion et de l’industrialisation d’une plateforme Big Data, le client recherche un Développeur Big Data expérimenté afin d’intervenir sur l’implémentation, la maintenance et l’optimisation de flux de données à grande échelle.
L’environnement traite plusieurs centaines de KPIs et une centaine de flux stream avec des volumes pouvant atteindre plusieurs téraoctets de données par jour.
Le consultant participera également aux travaux d’industrialisation des KPIs métiers, aux montées de version des frameworks et à l’amélioration continue des performances de la plateforme.

Missions principales :

• Développer et maintenir des flux de collecte, transformation et stockage de données dans un environnement Big Data.

• Mettre en place des flux stream et batch de récupération et traitement des données.

• Participer à l’industrialisation des KPIs métiers développés en Python.

• Réaliser l’analyse, le refactoring et l’optimisation des KPIs existants.

• Assurer le suivi et le monitoring du bon fonctionnement des flux de données.

• Participer aux montées de version des applications, frameworks et librairies techniques.

• Optimiser les performances des flux et traitements Big Data.

• Contribuer à la réduction de la dette technique du service.

• Participer aux mises en production et à la maintenance évolutive des traitements.

Compétences requises :

• Expérience confirmée en développement Java (environ 5 ans).

• Bonne maîtrise de Spark (Java Spark et/ou PySpark).

• Expérience sur les architectures Big Data et traitements distribués.

• Connaissance des environnements de streaming de données.

• Maîtrise de Kafka.

• Expérience sur les environnements Kubernetes (K8s).

• Connaissances des solutions de stockage objet type S3, MinIO ou Ceph.

• Bonne compréhension des problématiques de performance et optimisation Big Data.

• Capacité à travailler sur des volumes importants de données.

Compétences appréciées :

• Expérience sur Elastic / Elasticsearch.

• Connaissance des pipelines CI/CD et industrialisation des traitements.

• Expérience sur des environnements temps réel ou forte volumétrie.

• Sensibilité aux problématiques de monitoring et observabilité.