Data Engineer - Lille

Contexte

L'entreprise conçois et opère sa plateforme globale à travers 2 couches stratégiques :

• Le Socle d'Infrastructure Standardisé (Infrastructure Plane) : Nous masquons la complexité technique du cloud en fournissant des services managés clés en main dédiés à l'ingestion, au calcul et à la distribution des flux de données (GCP, Kafka, BigQuery).

• Le Plan d'Expérience des Produits de Données (Data Product Plane) : Nous mettons à disposition des équipes métiers l'outillage logiciel nécessaire pour concevoir, valider et gouverner leurs propres actifs de données en toute autonomie.

La feuille de route : simplification et révolution technologique
Nous faisons évoluer notre architecture historique (microservices Python/FastAPI sur GCP) vers un écosystème ouvert, moderne et standardisé (notamment articulé autour de dbt et Argo Workflows). Vos chantiers prioritaires s'articuleront autour de deux axes majeurs :

• Garantir une visibilité universelle (Observabilité) : intégrer des standards ouverts (comme OpenLineage) au cœur de notre plateforme. L'objectif est de cartographier la traçabilité de bout en bout, de monitorer la fiabilité des données et d'automatiser la remédiation en cas d'anomalie, quels que soient les outils utilisés par les métiers.

• Tracer le golden path des développeurs (DevEx) : concevoir des bibliothèques, des utilitaires d'automatisation et des briques logicielles autonomes dotées de capacités agentiques. Ce dispositif permettra de supprimer les frictions du cycle de mise en production et de systématiser la création des Data Products.

Missions

• Développer une plateforme de gestion et d'observabilité des données BigQuery

• Concevoir des API robustes, évolutives et performantes en Python (FastAPI, Flask, etc.)

• Intégrer des standards ouverts d'observabilité (OpenLineage)

• Automatiser la remédiation en cas d'anomalie sur les données

• Concevoir des bibliothèques et utilitaires d'automatisation avec des capacités agentiques

• Participer à la simplification et à la modernisation de l'architecture existante

• Collaborer avec les équipes métiers pour fournir des outils logiciels adaptés à leurs besoins

Outils & Environnement

• Python (expert)

• Workflow data (confirmé)

• Google Cloud Platform (Cloud Run, Pub/Sub, BigQuery)

• Kafka

• dbt

• Argo Workflows

• Docker

• Cloud Build

• Terraform

• Microservices Python/FastAPI

• Méthodologies Scrum ou Kanban

• Standards ouverts d'observabilité (OpenLineage)

Conditions de travail

• Date de démarrage : 01/07/2026

• Date de fin : 31/12/2026

• Nombre de jours souhaitables sur site : 2 jours par semaine

1. Ingénieur(e) logiciel chevronné(e) spécialisé(e) dans les problématiques de données ou Data Engineer de haut niveau avec une culture logicielle pointue et un amour pour l'automatisation des plateformes
2. Attrait prononcé pour la culture AI-Assisted et les agents, avec une volonté de placer l'intelligence artificielle au centre du quotidien
3. Maîtrise de Python avec expertise dans la conception d'API robustes, évolutives et performantes (FastAPI, Flask, etc.)
4. Maîtrise opérationnelle de l'écosystème Google Cloud Platform (Cloud Run, Pub/Sub, BigQuery)
5. Excellente culture des outils de transformation de données modernes et des orchestrateurs de conteneurs
6. Pratique courante de Docker et de Cloud Build (CI/CD & Conteneurisation)
7. Capacité à automatiser le provisionnement via Terraform (idéalement jusqu'à la maintenance ou création de providers)
8. Forte sensibilité aux enjeux de sécurité applicative, de gestion des accès à grande échelle et d'optimisation des performances de calcul
9. Habitude des rituels Scrum ou Kanban, orientés vers la livraison continue de valeur