Data Engineering Java / Scala - nearshore

La Data Platform conçoit et développe des services digitaux centrés sur la donnée, afin de mettre à disposition des équipes des informations fiables et facilement accessibles via API. Elle a pour objectif de simplifier et d’accélérer les traitements analytiques, tout en assurant un alignement cohérent entre les besoins opérationnels et les enjeux décisionnels.

Intégré(e) aux équipes de la Data Platform, le/la consultant(e) aura pour mission de concevoir, développer et maintenir des solutions de traitement de données à grande échelle, en s’appuyant sur des technologies telles que BigQuery, BigTable, Apache Kafka et Apache Spark.

Il/elle contribuera également à différents projets Data en apportant son expertise sur les activités suivantes : montée en compétences sur l’ETL BDI, participation à la mise en œuvre de projets métiers dans le cadre de solutions offline ELT (BigLoader in-house) ainsi que sur BDI/DBT.

Le/la consultant(e) travaillera en étroite collaboration avec les équipes de développement et de production afin de garantir la qualité, la fiabilité et la performance des solutions déployées.

Livrables attendus :

Développement et livraison des composants techniques définis avec les Product Owners

Réalisation des tests, participation à la recette et aux campagnes de non-régression

Maintenance et évolution des assets data existants

Solide expérience en développement avec des langages tels que Scala et/ou Java, ainsi qu’une bonne maîtrise des concepts de programmation fonctionnelle

Compétences avérées dans l’utilisation de plateformes de streaming de données comme Apache Kafka et de frameworks de traitement distribué tels que Apache Spark

Expérience significative dans les environnements Data & Cloud, notamment sur Google Cloud Platform (GCP)

Excellente maîtrise de BigQuery et du SQL avancé, avec une expérience sur des traitements de volumes de données importants

Bonne maîtrise du SQL pour la manipulation, l’analyse et la valorisation des données

Connaissance approfondie de DBT (Data Build Tool) pour la gestion et l’orchestration des pipelines de données

Expérience avec Pub/Sub pour la gestion de flux de données en temps réel

Maîtrise des outils de CI/CD, notamment via GitLab CI/CD et Docker Compose, pour l’automatisation des workflows data

Bonne connaissance de l’environnement Linux et des outils en ligne de commande

Expérience solide des systèmes de gestion de version, en particulier Git

Habitude de travail en méthodologie Agile (Scrum), avec une capacité à collaborer efficacement au sein d’équipes pluridisciplinaires