Data Engineer Lille

Contexte de la mission

ATTENTION NE SERONT PRIS EN COMPTE QUE LES PROFILS LILLOIS

Au sein d’une équipe Data dédiée au pilotage financier, le Data Engineer intervient sur un produit central garantissant l’accessibilité, la fiabilité et la qualité des données utilisées pour l’analyse de performance économique.

L’équipe, composée d’un Product Manager et de Data Engineers, travaille en étroite collaboration avec les consommateurs de données afin de répondre aux besoins analytiques métiers. La mission s’inscrit dans une phase stratégique de refonte de la modélisation et de l’architecture Data, avec des projets d’intégration d’outils et de modernisation des systèmes existants.

Le rôle attendu est clé : concevoir des pipelines créateurs de valeur, contribuer aux choix techniques et soutenir l’innovation, tout en favorisant la collaboration, l’entraide et la co-construction au sein d’une équipe internationale.

Objectifs et responsabilités

• Concevoir, développer et maintenir des infrastructures et pipelines Data robustes et performants

• Optimiser l’architecture et la modélisation des flux pour garantir évolutivité et performance

• Contribuer aux décisions techniques et à la modernisation de la stack legacy

• Assurer la qualité, la fiabilité et la gouvernance des données financières

• Promouvoir les bonnes pratiques de développement et la qualité du code

• Collaborer en environnement Agile au sein d’une équipe internationale

• Assurer le RUN et le respect des SLA selon le principe « You build it, you run it »

• Respecter les engagements de sprint et participer à l’amélioration continue

Compétences clés requises

Plateforme Data & Cloud

• Databricks (gestion de clusters, optimisation Big Data, gouvernance)

• AWS

Langages & traitement de données

• Python / PySpark

• SQL (niveau expert, optimisation et modélisation)

• DBT (industrialisation, documentation, tests)

Orchestration & DataOps

• Apache Airflow (DAGs complexes, monitoring)

• GitHub & CI/CD

Méthodologie

• Agile (Scrum / Kanban)

• Revue de code et bonnes pratiques de développement