Data Engineer confirmé

Contexte

Le présent cahier des charges fait état des attentes concernant une prestation de Data Engineering dans le cadre de la construction de sa plateforme data. Une transformation data en profondeur a été engagée, avec pour objectif de disposer d'une plateforme data moderne, fiable et évolutive, capable de couvrir des besoins allant du reporting standard à l'exploration analytique avancée.

L'architecture retenue est hybride, combinant une infrastructure on-premise et une plateforme cloud (Snowflake). La mise en place est en cours, s’appuyant sur de l’expertise. La chaîne technique est basée sur des outils modernes et open source : DLT pour l'ingestion, DBT Core pour les transformations, Dagster pour l'orchestration, PostgreSQL comme destination on-premise et Snowflake pour le cloud. La restitution s'appuie sur Power BI. La plateforme est en cours de construction et le prestataire vient renforcer la capacité de delivery technique.

Afin de répondre aux enjeux dans des délais raisonnables, la DSI souhaite renforcer l'équipe data avec un Data Engineer confirmé, maîtrisant la stack technique retenue (Python et DBT au minimum, DBT et Dagster si possible). Une connaissance minimale de Snowflake serait appréciée pour contribuer à son administration courante.

Missions

• Concevoir et implémenter des modèles DBT en couches : staging, intermédiaire, datamarts
• Appliquer les conventions de nommage et d'organisation des couches
• Rédiger des tests de qualité, techniques et fonctionnels avancés
• Maintenir la documentation DBT : descriptions, lineage, dictionnaire de données
• Gérer les évolutions de schéma et assurer la compatibilité ascendante
• Développer et maintenir les pipelines d'ingestion avec DLT
• Se connecter aux sources : APIs, bases de données on-premise (Oracle, PostgreSQL), fichiers
• Travailler sur des sources principales : applications SaaS (Servicenow, Salesforce, Workday…) et SI internes (SI des ventes, Référentiel technique…)
• Mettre en place des mécanismes de chargement incrémental et de gestion des doublons
• Gérer les schémas déclaratifs et les évolutions de schéma
• Concevoir des assets et jobs Dagster pour orchestrer les pipelines de bout en bout
• Mettre en place le monitoring des exécutions : alertes, logs, stratégies de retry
• Définir les dépendances entre assets et les stratégies de scheduling
• Administrer Snowflake : gestion des warehouses (sizing, suspension automatique, allocation par type d'usage), sécurité et gestion des accès (modèle RBAC, gestion des rôles et des droits), supervision des coûts et de la consommation (crédits Snowflake)
• Travailler en lien direct avec l'équipe interne et documenter son travail de manière structurée
• Devenir le référent de l’équipe sur l'usage quotidien de la plateforme

Outils & Environnement

• DLT, DBT Core, Dagster
• Snowflake, dbt project, Streamlit
• Starburst (Trino), PostgreSQL
• Power BI, Git, CI/CD
• Stockage S3, Apache Iceberg
• Stack historique : SAP Business Object, SAP BODS

Conditions de travail

• Renforcement de l'équipe data dans le cadre d'une transformation data majeure
• Collaboration avec une équipe interne et des experts externes
• Projet en cours de construction avec une forte exigence de rigueur, autonomie et pédagogie
• Intervention sur une plateforme hybride (on-premise et cloud)
• Durée, lieu et modalités à préciser selon le contexte du projet

1. 3 à 6 ans d'expérience minimum en Data Engineering sur des projets en production
2. Maîtrise de la stack technique retenue : Python et DBT au minimum, Dagster si possible
3. Connaissance minimale de Snowflake appréciée pour l'administration courante
4. Capacité à concevoir et implémenter des modèles DBT en couches (staging, intermédiaire, datamarts)
5. Application des conventions de nommage et d'organisation des couches
6. Rédaction des tests de qualité, techniques et fonctionnels avancés
7. Maintenance de la documentation DBT : descriptions, lineage, dictionnaire de données
8. Gestion des évolutions de schéma et compatibilité ascendante
9. Développement et maintenance des pipelines d'ingestion avec DLT
10. Connexion aux sources : APIs, bases de données on-premise (Oracle, PostgreSQL), fichiers
11. Mise en place des mécanismes de chargement incrémental et gestion des doublons
12. Conception des assets et jobs Dagster pour orchestrer les pipelines
13. Mise en place du monitoring des exécutions : alertes, logs, stratégies de retry
14. Définition des dépendances entre assets et stratégies de scheduling
15. Autonomie, rigueur et pédagogie
16. Capacité à travailler en lien direct avec l'équipe interne et à documenter son travail de manière structurée