Senior Data Engineer / Expert Dataplatform (GCP) (IT) / Freelance

Fiche de poste ? Senior Data Engineer / Expert Dataplatform (GCP)

Contexte & Organisation

Le Pôle Data est structuré autour du modèle Spotify :
Une Dataplatform en pleine transformation, composée de 4 experts

Architectes / Développeurs GCP & BigQuery

Maintenance de l?existant + évolution de la plateforme

Début d?un chantier majeur de construction début 2025 (v1 en cours, forte ambition d?évolution)

Outils & écosystème :
GCP (Cloud Run, Cloud Function, Pub/Sub, Vertex AI, BigQuery)

Airflow (orchestration)

Dataform (concurrent DBT ? SQL)

Terraform pour le provisioning

Modèle Data type médaillon

Pratique Data Engineer moderne + enjeux d?observabilité / finops / sécurité

Objectifs du poste

Renforcer l?équipe Dataplatform avec un profil senior ayant déjà participé à la construction d?une Dataplatform et capable d?accélérer l?industrialisation des pipelines et des outils d?ingestion.

Le rôle vise à :
Faciliter et accélérer le travail des Data Engineers

Améliorer l?expérience de construction de pipelines de données

Structurer et fiabiliser l?ingestion et le transfert de données, encore peu industrialisés

Apporter une expertise de haut niveau sur GCP & Data Engineering

Missions principales

1. Gouvernance & Contrôle de la plateforme

Assurer un contrôle global de la Dataplatform et accompagner les Data Engineers dans les bonnes pratiques d?industrialisation.

Identifier les axes d?amélioration techniques et proposer des solutions robustes.

Participer aux choix d?architecture technique et Data (modèle médaillon).

2. FinOps, Observabilité & Sécurité

Définir et mettre en ?uvre les standards d?observabilité.

Garantir la performance, la robustesse et la sécurité de la plateforme.

Suivre les coûts et proposer des optimisations FinOps.

Automatiser le provisioning via Terraform.

3. Développement & Industrialisation

Concevoir et industrialiser les pipelines : Cloud Run, Cloud Functions, Pub/Sub, Airflow, Vertex AI.

Contribuer à résorber la dette technique.

Développer et industrialiser les briques d?ingestion et de transformation.

4. Animation & Documentation

Participer à la mise à disposition de nouveaux outils et à la documentation associée.

Assurer une démarche d'amélioration continue du run.

Animer une équipe de Data Engineer chaque vendredi:
partage de bonnes pratiques

suivi des évolutions de la Dataplatform

retours d?expérience et recommandations

5. Innovation & IA

Apporter une vision sur l?usage de l?IA (générative et traditionnelle) pour :

réduire les coûts

améliorer la productivité

faciliter le travail des collaborateurs

Contribuer à des projets Vertex AI / ML (ambition forte vers l?IA)

Profil candidat:
Profil recherché

Compétences techniques

Excellente maîtrise de GCP (BigQuery, Cloud Run, Cloud Function, Pub/Sub, Vertex AI).

Très bonne connaissance d?Airflow (orchestration, ingestion massive, optimisation des DAGs).

Expertise en SQL / Dataform / transformation.

Maîtrise de Terraform.

Connaissance solide des architectures Data modernes (médaillon, Data Lakehouse).

Expérience significative en construction de Dataplatform (critère essentiel).

Compréhension des usages IA/ML.

Soft skills & mindset

Force de proposition, capacité à défendre ses idées.

Esprit collaboratif, adapté au management horizontal.

Capacité à accompagner, structurer et faire monter en compétence les autres Data Engineers.

Aptitude à documenter, vulgariser et transmettre.

Expérience & certifications

Expérience confirmée (senior).

Participation à la construction d?une Dataplatform (impératif).

Certification GCP Data Engineer et/ou Professional Cloud Architect appréciée.