Data Engineer GCP

Contexte

La mission vient dans le contexte d’un projet de gestion (Build + Run) d’une plateforme data sur GCP pour les données de l'entreprise.

Missions

• Mise en place de pipelines d’ingestion des données cliniques depuis les systèmes on-premise vers GCP (Python, GCS, BigQuery, Argo Workflows, Docker, GKE).

• Transformation des données via dbt selon les modèles métiers définis.

• Gestion de l’infrastructure cloud de la plateforme data (création des ressources, gestion des accès) avec Terraform.

• Orchestration et automatisation des workflows de données sur GKE via Argo Workflows.

• Développement du backend d’un portail utilisateur pour l’accès aux services de la plateforme (Flask).

• Création d’un connecteur entre GCP et l’outil de dictionnaire des données pour la remontée et la restitution des métadonnées (Python, DataGalaxy).

• Développement, maintenance des chaînes CI/CD (Git, Gitlab CI/CD).

• Mise en place de la supervision et du monitoring des pipelines de données.

• Rédaction de la documentation technique liée aux développements réalisés.

Environnement technique

• GCP, GKE, Argo Workflows, BigQuery, Cloud Run, Cloud Functions, Pub/Sub, Cloud Storage

• Python, Terraform, Docker, Kubernetes, SQL, Git, Gitlab CI/CD, Bash

Profil recherché

• Diplôme d'ingénieur ou Master en informatique, Data Engineering, ou équivalent

• Minimum 3 à 5 ans d'expérience en Data Engineering, idéalement sur des environnements cloud GCP

• Expérience confirmée dans la mise en place et l'exploitation de plateformes data en mode Build & Run

Compétences techniques

• Excellente maîtrise de GCP et de ses services data : BigQuery, Cloud Storage, Pub/Sub, Cloud Functions, Cloud Run

• Solide expérience en Kubernetes / GKE et orchestration de workflows

• Maîtrise de Python pour le développement de pipelines de données et de connecteurs applicatifs

• Bonne connaissance de dbt pour la transformation de données selon des modèles métiers

• Expérience en Terraform pour la gestion de l'infrastructure as code

• Maîtrise de SQL et des bonnes pratiques de modélisation de données