Data Engineer confirmé

Contexte

Nous accompagnons une société technologique développant une plateforme data au cœur de son produit. La solution repose sur la collecte, la transformation, l’enrichissement et l’exploitation de volumes importants de données afin de produire des analyses fiables et actionnables.

Dans ce contexte, l’équipe recherche un Data Engineer confirmé pour renforcer la construction, l’industrialisation et la fiabilisation de la plateforme data.

Le besoin est prévu entre maintenant et septembre / octobre, selon disponibilité du profil.

Finalité du poste

Le consultant interviendra sur la construction et l’industrialisation de la plateforme data.

Son rôle sera de garantir la qualité, la fiabilité, la performance et l’évolutivité des pipelines et du modèle de données. Il travaillera en lien avec les équipes tech, produit, sales et customer success afin de rendre les données exploitables, compréhensibles et fiables.

La fiche initiale précise que la data est au cœur du produit, avec des enjeux de volumétrie pouvant aller jusqu’à plusieurs téraoctets chez certains clients.

Environnement technique

• Python

• Pandas

• SQL

• DuckDB

• PostgreSQL

• DBT

• Athena

• Kestra

• Kubernetes

• Architecture ELT

• Modélisation analytique

• Architecture médaillon

• Environnements PostgreSQL / S3

Missions principales

Data engineering et pipelines

• Concevoir, orchestrer et maintenir les pipelines d’ingestion, de transformation et d’exposition des données.

• Développer et maintenir les traitements en Python et SQL.

• Participer à l’industrialisation des flux ELT.

• Travailler sur des volumes de données importants.

• Optimiser les traitements en termes de performance, coût et consommation mémoire.

Modélisation et gouvernance des données

• Faire évoluer le modèle de données.

• Participer à la modélisation analytique : granularité, métriques, dimensions, faits, historisation.

• Structurer les conventions de nommage et les règles de gouvernance.

• Documenter les modèles, transformations et règles métier.

• Garantir la cohérence et la lisibilité des datasets exposés.

Qualité, fiabilité et monitoring

• Mettre en place des tests et contrôles de qualité de données.

• Identifier et analyser les anomalies.

• Réaliser des analyses de causes racines.

• Mettre en place ou améliorer les mécanismes de monitoring data.

• Fiabiliser les pipelines et réduire les risques d’erreur en production.

Architecture et industrialisation

• Participer à la définition et à l’évolution de l’architecture data.

• Contribuer à des choix techniques simples, robustes et maintenables.

• Améliorer les pratiques d’industrialisation : tests, CI/CD, observabilité, documentation.

• Créer des runbooks, guides de debug et supports d’onboarding technique.

Collaboration et rôle de référent

• Être un point de contact data pour la squad et l’équipe tech.

• Participer aux arbitrages techniques.

• Accompagner les équipes produit dans la clarification des besoins et des définitions métier.

• Livrer des datasets, modèles ou transformations directement utiles aux équipes internes.

• Mentorer ponctuellement des profils moins seniors si nécessaire.

Profil recherché

• Minimum 5 ans d’expérience en data engineering.

• Très bonne maîtrise de Python, Pandas et SQL.

• Expérience solide sur des environnements DuckDB, PostgreSQL, Athena ou équivalents.

• Bonne compréhension de la modélisation analytique.

• Expérience sur des pipelines ELT et architectures data industrialisées.

• Culture forte de la qualité de données : tests, monitoring, performance, gestion des anomalies.

• Capacité à travailler avec des équipes produit et métiers.

• Communication claire, capacité à vulgariser et à structurer les sujets.

• Autonomie, rigueur et capacité à évoluer dans un environnement tech / produit.

Informations mission

• Type de mission : freelance / prestation

• Séniorité : confirmé

• Démarrage : entre maintenant et septembre / octobre

• Durée : à préciser selon besoin

• Environnement : data, produit, SaaS, volumétrie importante

• Stack principale : Python, SQL, Pandas, DuckDB, PostgreSQL, DBT, Athena, Kestra, Kubernetes