Data Engineering Java / Scala Expérimenté 100% Télétravail

Intégré(e) dans les équipes Plateforme Data le/la consultant(e) aura pour mission de concevoir, développer et maintenir des solutions de traitement de données à grande échelle, en utilisant des technologies telles que BigQuery, BigTable, Apache Kafka et Apache Spark. Mais aussi contribuer à des projets Data en apportant son expertise sur les tâches suivantes : montée en compétence sur l'ETL BigL, participation à la réalisation de projets métier dans le cadre de la solution offline ELT in-House Big Loader et BDI/DBT, Le/la consultant(e) travaillera en étroite collaboration avec les équipes de développement et de production afin de garantir la qualité et la performance des solutions mises en place.

● Solide expérience en développement avec des langages comme Scala et/ou Java, et une compréhension approfondie des concepts de programmation fonctionnelle.

● Compétences avérées dans l'utilisation de plateformes de streaming de données comme Apache Kafka, et de frameworks de traitement de données distribuées comme Apache Spark.

● Expérience significative dans le domaine de la Data et du Cloud, notamment sur Google Cloud Platform (GCP).

● Très bonne maîtrise de BigQuery et du SQL avancé, avec une expérience sur des traitements de gros volumes de données.

● Maîtrise de SQL pour la manipulation, l’analyse et la valorisation de données.

● Connaissance approfondie de DBT (Data Build Tool) pour la gestion et l’orchestration de pipelines de données.

● Expérience avec Pubsub pour la gestion de flux de données en temps réel.

● Maîtrise des outils de CI/CD, en particulier via GitLab CI/CD et Docker Compose, pour l’automatisation des workflows data.

● Bonne connaissance de l’environnement Linux et des outils de ligne de commande.

● Expérience solide avec les systèmes de gestion de version (Git).

● Travail en méthodologie agile (Scrum), avec une capacité à collaborer efficacement dans des équipes pluridisciplinaires