Fiche de poste – Data Engineer confirmé

Intitulé du poste : Data Engineer confirmé
Expérience : 5 ans et plus
Environnement : dbt, Airflow, Python, SQL, Lakehouse, Starburst, Trino, Iceberg, OpenMetadata

Langues : Français courant, anglais professionnel

Contexte du poste

Dans le cadre du développement et de l’industrialisation de sa plateforme Data, nous recherchons un Data Engineer confirmé pour renforcer l’équipe Data.

Vous interviendrez sur la conception, le développement et la fiabilisation des pipelines de données, depuis l’ingestion jusqu’à la mise à disposition des données pour les équipes métiers et BI.

Vous évoluerez dans un environnement Lakehouse, basé notamment sur dbt, Airflow, Python, SQL, Starburst/Trino et Iceberg, avec une attention particulière portée à la qualité, à la documentation et à la traçabilité des données.

Missions principales

• Concevoir, développer et maintenir les flux de transformation de données avec dbt.

• Développer et maintenir les DAGs Airflow pour orchestrer et superviser les traitements de données.

• Développer en Python les traitements d’ingestion, de préparation et de transformation des données.

• Contribuer à la mise en œuvre et à l’évolution des différentes couches de la plateforme Lakehouse : Bronze, Silver et Gold.

• Fiabiliser et industrialiser les traitements en mettant en place :

  • des tests de qualité des données ;

  • des contrôles de cohérence ;

  • des mécanismes de reprise ;

  • des optimisations de performance ;

  • un suivi et une supervision des exécutions.

• Documenter les modèles, traitements et flux de données.

• Contribuer au catalogage, à la documentation et à la traçabilité des données dans OpenMetadata.

• Préparer et structurer les jeux de données destinés aux usages métiers et au reporting.

• Collaborer avec les équipes Data, Architecture, BI et métiers afin de garantir la bonne adéquation des données avec les besoins fonctionnels.

Compétences techniques

Data Engineering

• Très bonne maîtrise de dbt :

  • modèles ;

  • macros ;

  • tests ;

  • documentation ;

  • traitements incrémentaux.

• Très bonne maîtrise d’Apache Airflow :

  • conception de DAGs ;

  • planification ;

  • gestion des dépendances ;

  • supervision ;

  • gestion des erreurs et reprises.

• Très bonne maîtrise de Python et SQL pour les traitements d’ingestion, de préparation et de transformation des données.

• Maîtrise de Git et des pratiques CI/CD.

• Expérience des architectures Lakehouse et des patterns Bronze / Silver / Gold.

• Expérience de Starburst / Trino.

• Bonne connaissance des formats de tables et catalogues associés à Apache Iceberg.

• Notions d’OpenMetadata : catalogage, métadonnées, documentation et traçabilité des données.

• Connaissance ou expérience des outils de restitution et de reporting tels que Power BI, Metabase ou Superset.

Environnement métier

• Une connaissance des métiers de l’assurance et/ou du courtage est appréciée.

• Capacité à comprendre les enjeux métiers afin de produire des données fiables, documentées et exploitables.

• Modèles et flux dbt testés, documentés et prêts pour la production.

• DAGs Airflow robustes, supervisés et maintenables.

• Scripts Python dédiés à l’ingestion et à la préparation des données.

• Jeux de données structurés et qualifiés pour les différentes couches du Lakehouse.

• Jeux de données prêts à être exploités par les outils BI et reporting.

• Tests et contrôles permettant de garantir la qualité et la fiabilité des données.

• Documentation technique des modèles, traitements et flux.

• Contributions au catalogue de données et à la traçabilité dans OpenMetadata.

Enjeux du poste

Le Data Engineer aura un rôle central dans l’industrialisation de la plateforme Data et dans la mise à disposition de données fiables, documentées et facilement exploitables.

Il/elle contribuera notamment à :

• améliorer la fiabilité et la qualité des données ;

• industrialiser les pipelines et traitements Data ;

• optimiser les performances des flux ;

• renforcer la documentation et la gouvernance des données ;

• faciliter l’exploitation des données par les équipes métiers et BI ;

• accompagner l’évolution de l’architecture Lakehouse.

Profil recherché

• Data Engineer confirmé, avec 5 ans d’expérience minimum dans le domaine de la Data Engineering.

• Expérience significative de dbt et Airflow en environnement de production.

• Solide culture du développement logiciel et des bonnes pratiques d’industrialisation.

• Rigueur et sens du détail dans la conception de pipelines et de modèles de données.

• Autonomie et capacité à prendre en charge des sujets de bout en bout.

• Sensibilité forte à la qualité, la maintenabilité, la performance et la documentation des traitements.

• Capacité à travailler en collaboration avec des architectes Data, équipes BI, équipes techniques et équipes métiers.

• Bonnes capacités de communication et de vulgarisation des sujets techniques.

• Français courant et anglais professionnel.