Data Engineer Junior (GCP/DBT/terraform)

Contexte client

Notre client est une entreprise de taille intermédiaire (environ 2 500 collaborateurs) engagée dans la mise en place et l’industrialisation de sa plateforme Data sur Google Cloud Platform. Dans un contexte de forte tension capacitaire et d’architecture encore en consolidation, l’organisation doit sécuriser la continuité de service tout en accélérant la structuration de la plateforme et la livraison de premiers cas d’usage. La mission vise à renforcer immédiatement l’équipe Data Engineering avec un profil junior autonome.

Contexte & Objectifs de mission

La plateforme Data est en phase de construction et d’industrialisation : les pipelines existent

mais nécessitent une remise à niveau en termes de robustesse, d’architecture et de bonnes

pratiques DataOps. Le SI comporte de nombreuses sources (plus de 40), des applicatifs

hétérogènes et un contexte de fusion/harmonisation (multiples référentiels/CRM), rendant la

standardisation et la qualité de données particulièrement critiques.

L’objectif de la mission est double :

·       Assurer la continuité et la fiabilité opérationnelle de l’existant (ingestion, orchestration, transformations, exploitation) dans un contexte d’équipe réduite.

·       Structurer et faire monter en maturité la plateforme (infrastructure as code, standards de développement, monitoring, qualité, sécurité) afin de permettre la création de services de données pour des applications consommatrices (web, CRM interne, RH, etc.).

Le profil attendu doit combiner une forte bonne connaissance de GCP (infrastructure et services data) et une posture de consultant : prise de hauteur, capacité à communiquer de manière claire et structurée, proactivité forte.

Périmètre de la mission

·       Prendre en main l’écosystème Data sur GCP et sécuriser l’exploitation quotidienne des pipelines data : diagnostic, stabilisation, correction d’incidents, gestion des dette techniques.

·       Concevoir, développer et industrialiser de nouvelles pipelines d’ingestion multi-sources (ex. Salesforce et autres providers)

·       Développer et maintenir les transformations analytiques avec DBT

·       Mettre en place et opérer l’orchestration via Cloud Composer (Airflow) : DAGs, scheduling, dépendances, gestion des environnements, bonnes pratiques de déploiement.

·       Renforcer l’infrastructure et la plateforme via Infrastructure as Code (Terraform) : provisioning, réseaux/permissions, environnements, services managés, configuration GKE, sécurisation et reproductibilité.

·       Participer à l’évolution de l’architecture cible (data platform) : patterns d’ingestion, zones de données, gouvernance minimale, stratégie de montée en charge, choix techniques argumentés.

·       Participer aux standards Data Engineering / DataOps : conventions de développement, CI/CD, stratégie de branching, revues de code, qualité, tests automatisés, observabilité (logs/metrics/alerting), gestion des secrets.

·       Contribuer à la mise en place de “data services” pour des applications clientes (API/exports/jeux de données), en lien avec les Data Analysts et les équipes métiers.

Profil recherché

Compétences techniques :

·       Bonne connaissance de l’écosystème Google Cloud Platform (GCP)

·       Bonne connaissance de DBT : modélisation, tests, documentation, optimisation des performances et des coûts

·       Familiarité avec des solutions d’infrastructure as Code (Terraform)

·       Familiarité avec le CI/CD et les pratiques DevOps/DataOps (Git, pipelines, tests, déploiements, gestion des environnements)

Qualités personnelles :

·       Bonne autonomie (capable de prendre un sujet de A à Z)

·       Prise de hauteur et esprit critique : capacité à challenger et à proposer des solutions robustes

·       Posture de consultant : communication claire, sens du service, fiabilité

·       Rigueur et sens de l’industrialisation (qualité, documentation, standards)

·       Formation grande école appréciée

Modalités de mission

·       Date de démarrage : ASAP

·       Durée : Long terme

·       Localisation : Paris

·       Télétravail : 3 jours sur site

·       TJM : Selon Profil