Tech Lead Data Engineer GCP-N2 Expérimenté

Dans le cadre d’un projet stratégique lié à la gestion des risques climatiques et physiques, nous recherchons un Tech Lead Data Engineer spécialisé en Python, Spark et Google Cloud Platform (GCP).

Vous intégrerez une équipe technique expérimentée en charge de mettre en place une solution permettant d’ingérer, agréger, transformer et exposer des données provenant de sources multiples, afin de produire des données et rapports destinés au suivi et à la surveillance des risques.

La mission intervient dans un environnement Data à forts enjeux, avec des problématiques de volumétrie, de fiabilité des données, d’industrialisation et de performance.

Mission: 

En tant que Tech Lead Data Engineer GCP, vous serez amené à :

• Concevoir et développer des solutions Data en Python / Spark.

• Participer à l’architecture et à l’intégration de solutions basées sur Google Cloud Platform.

• Concevoir et maintenir des pipelines d’ingestion et de transformation de données.

• Travailler sur des données provenant de sources multiples.

• Participer à l’industrialisation et à l’automatisation des traitements Data.

• Assurer l’intégration des solutions avec les différents services Cloud.

• Contribuer à la qualité, la fiabilité et la performance des traitements.

• Participer aux choix techniques et à la définition des bonnes pratiques.

• Collaborer étroitement avec les équipes Data, techniques et fonctionnelles.

• Participer aux activités DevOps et à l’automatisation des déploiements.

• Accompagner l’équipe sur les sujets techniques et contribuer à la résolution des problématiques complexes.

Environnement technique

Data / Cloud

• Python

• Apache Spark

• Google Cloud Platform

• BigQuery

• Dataproc

• Cloud Composer

• Cloud Functions

• Cloud Run Jobs

• Google Cloud Storage (GCS)

DevOps / Industrialisation

• Terraform

• Jenkins

• XLD

Nous recherchons un profil Tech Lead Data Engineer expérimenté, disposant d'une solide expertise dans les environnements Data Cloud.

Compétences techniques indispensables:

• Excellente maîtrise : BigQuery, Dataproc, Cloud Composer, Cloud Functions, Cloud Run Jobs et Google Cloud Storage (GCS).

• Bonne maîtrise de la partie DevOps : XLD, Terraform et Jenkins.

• Maîtrise du développement Data : Python et Apache Spark.

• Expérience sur les environnements Google Cloud Platform (GCP) et l’intégration de solutions Data.

• Une expérience dans le domaine du risque de crédit constitue un plus.

Expérience:

• Expérience significative en Data Engineering.

• Expérience confirmée sur des environnements Google Cloud Platform.

• Expérience dans la conception et l’industrialisation de pipelines Data.

• Expérience sur des traitements distribués avec Spark.

• Une expérience dans le domaine de la gestion des risques, notamment du risque de crédit, constitue un atout.