Intitulé du poste : Data Engineer confirmé Expérience : 5 ans et plus Environnement : dbt, Airflow, Python, SQL, Lakehouse, Starburst, Trino, Iceberg, OpenMetadata Langues : Français courant, anglais professionnel<h2>Contexte du poste</h2>Dans le cadre du développement et de l’industrialisation de sa plateforme Data, nous recherchons un Data Engineer confirmé pour renforcer l’équipe Data.Vous interviendrez sur la conception, le développement et la fiabilisation des pipelines de données, depuis l’ingestion jusqu’à la mise à disposition des données pour les équipes métiers et BI.Vous évoluerez dans un environnement Lakehouse, basé notamment sur dbt, Airflow, Python, SQL, Starburst/Trino et Iceberg, avec une attention particulière portée à la qualité, à la documentation et à la traçabilité des données.<h2>Missions principales</h2><ul><li>Concevoir, développer et maintenir les flux de transformation de données avec dbt.</li><li>Développer et maintenir les DAGs Airflow pour orchestrer et superviser les traitements de données.</li><li>Développer en Python les traitements d’ingestion, de préparation et de transformation des données.</li><li>Contribuer à la mise en œuvre et à l’évolution des différentes couches de la plateforme Lakehouse : Bronze, Silver et Gold.</li><li>Fiabiliser et industrialiser les traitements en mettant en place :<ul><li>des tests de qualité des données ;</li><li>des contrôles de cohérence ;</li><li>des mécanismes de reprise ;</li><li>des optimisations de performance ;</li><li>un suivi et une supervision des exécutions.</li></ul></li><li>Documenter les modèles, traitements et flux de données.</li><li>Contribuer au catalogage, à la documentation et à la traçabilité des données dans OpenMetadata.</li><li>Préparer et structurer les jeux de données destinés aux usages métiers et au reporting.</li><li>Collaborer avec les équipes Data, Architecture, BI et métiers afin de garantir la bonne adéquation des données avec les besoins fonctionnels.</li></ul><h2>Compétences techniques</h2><h3>Data Engineering</h3><ul><li>Très bonne maîtrise de dbt :<ul><li>modèles ;</li><li>macros ;</li><li>tests ;</li><li>documentation ;</li><li>traitements incrémentaux.</li></ul></li><li>Très bonne maîtrise d’Apache Airflow :<ul><li>conception de DAGs ;</li><li>planification ;</li><li>gestion des dépendances ;</li><li>supervision ;</li><li>gestion des erreurs et reprises.</li></ul></li><li>Très bonne maîtrise de Python et SQL pour les traitements d’ingestion, de préparation et de transformation des données.</li><li>Maîtrise de Git et des pratiques CI/CD.</li><li>Expérience des architectures Lakehouse et des patterns Bronze / Silver / Gold.</li><li>Expérience de Starburst / Trino.</li><li>Bonne connaissance des formats de tables et catalogues associés à Apache Iceberg.</li><li>Notions d’OpenMetadata : catalogage, métadonnées, documentation et traçabilité des données.</li><li>Connaissance ou expérience des outils de restitution et de reporting tels que Power BI, Metabase ou Superset.</li></ul><h3>Environnement métier</h3><ul><li>Une connaissance des métiers de l’assurance et/ou du courtage est appréciée.</li><li>Capacité à comprendre les enjeux métiers afin de produire des données fiables, documentées et exploitables.</li></ul><ul><li>Modèles et flux dbt testés, documentés et prêts pour la production.</li><li>DAGs Airflow robustes, supervisés et maintenables.</li><li>Scripts Python dédiés à l’ingestion et à la préparation des données.</li><li>Jeux de données structurés et qualifiés pour les différentes couches du Lakehouse.</li><li>Jeux de données prêts à être exploités par les outils BI et reporting.</li><li>Tests et contrôles permettant de garantir la qualité et la fiabilité des données.</li><li>Documentation technique des modèles, traitements et flux.</li><li>Contributions au catalogue de données et à la traçabilité dans OpenMetadata.</li></ul><h2>Enjeux du poste</h2>Le Data Engineer aura un rôle central dans l’industrialisation de la plateforme Data et dans la mise à disposition de données fiables, documentées et facilement exploitables.Il/elle contribuera notamment à :<ul><li>améliorer la fiabilité et la qualité des données ;</li><li>industrialiser les pipelines et traitements Data ;</li><li>optimiser les performances des flux ;</li><li>renforcer la documentation et la gouvernance des données ;</li><li>faciliter l’exploitation des données par les équipes métiers et BI ;</li><li>accompagner l’évolution de l’architecture Lakehouse.</li></ul>

Fiche de poste – Data Engineer confirmé

<h2>Contexte</h2>Dans le cadre de plusieurs projets Data &amp; BI pour un grand acteur du secteur des services, nous recherchons un Analytics Engineer disposant d’une solide expérience en data engineering, modélisation et reporting.La mission porte sur plusieurs projets autour de la préparation, de l’intégration, de la fiabilisation et de la restitution de données.<h2>Missions</h2><h3>1. Pilotage des formations</h3><ul><li>Participer à la mise en place d’une première version de l’outil de pilotage.</li><li>Préparer et fiabiliser les données provenant notamment de fichiers Excel.</li><li>Développer des traitements de données en Python dans un environnement on-premise.</li><li>Concevoir les flux permettant d’alimenter les restitutions.</li><li>Mettre en place les dashboards et indicateurs sous Power BI.</li><li>Contribuer à la qualité et à la fiabilité des données exploitées.</li></ul><h3>2. Dashboard de suivi VDS</h3><ul><li>Analyser le reporting existant sous Power BI.</li><li>Identifier et corriger les anomalies présentes dans les données et les restitutions.</li><li>Investiguer notamment les écarts constatés sur les données de dates.</li><li>Travailler sur les données issues de SharePoint.</li><li>Fiabiliser les flux d’alimentation et les indicateurs du dashboard.</li></ul><h3>3. Observatoire des mobilités – V2</h3><ul><li>Faire évoluer un dashboard existant afin d’intégrer de nouvelles sources de données.</li><li>Concevoir et faire évoluer les pipelines d’intégration de données.</li><li>Utiliser Azure Data Factory et SQL pour l’intégration et la transformation des données.</li><li>Participer à la modélisation des données.</li><li>Assurer la cohérence entre les sources, les modèles de données et les restitutions Power BI.</li></ul><h2>Compétences techniques recherchées</h2>Cloud &amp; Data<ul><li>Azure</li><li>Azure Data Factory (ADF)</li><li>Databricks et/ou Synapse</li><li>SQL</li><li>Modélisation de données</li><li>Conception et gestion de pipelines de données</li></ul>Bases de données<ul><li>PostgreSQL et/ou Oracle</li></ul>Développement<ul><li>Python</li><li>Traitement et transformation de données</li><li>Développement de scripts et traitements data</li></ul>BI &amp; Reporting<ul><li>Power BI</li><li>Conception et évolution de dashboards</li><li>Analyse et correction d’anomalies de reporting</li></ul><h2>Profil recherché</h2><ul><li>Formation supérieure en informatique, data, statistiques ou domaine équivalent.</li><li>5 à 6 ans d’expérience minimum sur des problématiques Data / Analytics Engineering.</li><li>Expérience significative dans des environnements Azure.</li><li>Bonne maîtrise de Python et SQL.</li><li>Expérience en modélisation et intégration de données.</li><li>Capacité à intervenir sur l’ensemble de la chaîne, de la préparation des données jusqu’à leur restitution.</li><li>Autonomie, rigueur et capacité à analyser et résoudre des problématiques de qualité de données.</li><li>Bon relationnel et capacité à collaborer avec différents interlocuteurs métiers et techniques.</li></ul><h2>Environnement technique</h2>Azure · ADF · Databricks / Synapse · Python · SQL · PostgreSQL / Oracle · Power BI · SharePoint · Excel<h2></h2>

JEMS

Filtres

2 résultats

Fiche de poste – Data Engineer confirmé

Analytics Engineer – Data & BI

Talents

Recruteurs

À propos

JEMS

Filtres

.css-1976qcv{font-family:var(--chakra-fonts-heading);font-weight:700;color:var(--chakra-colors-rythm-900);-webkit-transition:.1s ease-in-out color;transition:.1s ease-in-out color;font-size:1.125rem;line-height:1.75rem;letter-spacing:-0.01rem;}2 résultats

Fiche de poste – Data Engineer confirmé

Analytics Engineer – Data & BI

Talents

Recruteurs

À propos

2 résultats