Data Engineer confirmé

Contexte

Le présent cahier des charges fait état des attentes concernant une prestation de Data Engineering dans le cadre de la construction de sa plateforme data. On a engagé une transformation data en profondeur, avec pour objectif de disposer d'une plateforme data moderne, fiable et évolutive, capable de couvrir des besoins allant du reporting standard à l'exploration analytique avancée. L'architecture retenue est hybride, combinant une infrastructure on-premise et une plateforme cloud (Snowflake). Nous sommes en train de la mettre en place, en s’appuyant sur de l’expertise. La chaîne technique est basée sur des outils modernes et open source : DLT pour l'ingestion, DBT Core pour les transformations, Dagster pour l'orchestration, PostgreSQL comme destination on-premise et Snowflake pour le cloud. La restitution s'appuie sur Power BI. La plateforme est en cours de construction. Le prestataire vient renforcer la capacité de delivery technique.

Afin de répondre aux enjeux dans des délais raisonnables, la DSI souhaite renforcer l'équipe data avec un Data Engineer confirmé, maîtrisant la stack technique retenue (Python et DBT au minimum, DBT et Dagster si possible). En complément, une connaissance minimale de Snowflake serait appréciée, pour contribuer à son administration courante.

Missions

• Conception et implémentation des modèles DBT en couches : staging, intermédiaire, datamarts
• Application des conventions de nommage et d'organisation des couches
• Rédaction des tests de qualité, technique, et avancés fonctionnellement
• Maintenance de la documentation DBT : descriptions, lineage, dictionnaire de données
• Gestion des évolutions de schéma et compatibilité ascendante
• Développement et maintenance des pipelines d'ingestion avec DLT
• Connexion aux sources : APIs, bases de données on-prem (Oracle, PostgreSQL), fichiers
• Sources principales : applications SaaS (Servicenow, Salesforce, Workday…) et SI internes (SI des ventes, Référentiel technique…)
• Mise en place des mécanismes de chargement incrémental et de gestion des doublons
• Gestion des schémas déclaratifs et des évolutions de schéma
• Conception des assets et jobs Dagster pour orchestrer les pipelines de bout en bout
• Mise en place du monitoring des exécutions : alertes, logs, stratégies de retry
• Définition des dépendances entre assets et des stratégies de scheduling
• Gestion des warehouses Snowflake : sizing, suspension automatique, allocation par type d'usage
• Sécurité et gestion des accès : modèle RBAC, gestion des rôles et des droits
• Supervision des coûts et de la consommation (crédits Snowflake)

Environnement technique

• DLT, DBT Core, Dagster
• Snowflake, dbt project, Streamlit
• Starburst (Trino), PostgreSQL
• Power BI, Git, CI/CD
• Stockage S3, Apache Iceberg
• Stack historique (SAP Business Object, SAP BODS)

1. 3 à 6 ans d'expérience minimum en Data Engineering sur des projets en production
2. Maîtrise de la stack technique retenue : Python et DBT au minimum, Dagster si possible
3. Connaissance minimale de Snowflake appréciée pour son administration courante
4. Expérience en conception et implémentation des modèles DBT en couches (staging, intermédiaire, datamarts)
5. Application des conventions de nommage et d'organisation des couches
6. Rédaction des tests de qualité, techniques et fonctionnels avancés
7. Maintenance de la documentation DBT : descriptions, lineage, dictionnaire de données
8. Gestion des évolutions de schéma et compatibilité ascendante
9. Développement et maintenance des pipelines d'ingestion avec DLT
10. Connexion aux sources : APIs, bases de données on-prem (Oracle, PostgreSQL), fichiers
11. Mise en place des mécanismes de chargement incrémental et gestion des doublons
12. Gestion des schémas déclaratifs et des évolutions de schéma
13. Maîtrise obligatoire de Python
14. Conception des assets et jobs Dagster pour orchestrer les pipelines
15. Mise en place du monitoring des exécutions : alertes, logs, stratégies de retry
16. Définition des dépendances entre assets et stratégies de scheduling
17. Connaissance d'une solution similaire à Dagster (ex : Airflow) appréciée
18. Gestion des warehouses Snowflake : sizing, suspension automatique, allocation par type d'usage
19. Sécurité et gestion des accès : modèle RBAC, gestion des rôles et droits
20. Supervision des coûts et de la consommation (crédits Snowflake)
21. Profil rigoureux, autonome et pédagogue
22. Capacité à travailler en lien direct avec l'équipe interne et à documenter son travail de manière structurée