Data Engineer

Contexte

Le présent cahier des charges fait état des attentes concernant une prestation de Data Engineering dans le cadre de la construction de sa plateforme data.

Une transformation data en profondeur a été engagée, avec pour objectif de disposer d'une plateforme data moderne, fiable et évolutive, capable de couvrir des besoins allant du reporting standard à l'exploration analytique avancée.

L'architecture retenue est hybride, combinant une infrastructure on-premise et une plateforme cloud (Snowflake). La mise en place est en cours, avec un appui sur de l’expertise.

La chaîne technique est basée sur des outils modernes et open source :

• DLT pour l'ingestion

• DBT Core pour les transformations

• Dagster pour l'orchestration

• PostgreSQL comme destination on-premise

• Snowflake pour le cloud

La restitution s'appuie sur Power BI.

La plateforme est en cours de construction. Le prestataire vient renforcer la capacité de delivery technique.

Afin de répondre aux enjeux dans des délais raisonnables, la DSI souhaite renforcer l'équipe data avec un Data Engineer confirmé, maîtrisant la stack technique retenue (Python et DBT au minimum, DBT et Dagster si possible).

En complément, une connaissance minimale de Snowflake serait appréciée, pour contribuer à son administration courante.

Missions

• Intervention sur toute la chaîne technique : de la connexion aux sources jusqu'à la mise à disposition des données transformées pour les équipes BI

• Passage par la modélisation, les tests et la documentation

• Devenir le référent de l’équipe sur l’usage quotidien de la plateforme

Transformation & modélisation (DBT) — obligatoire

• Conception et implémentation des modèles DBT en couches : staging, intermédiaire, datamarts

• Application des conventions de nommage et d'organisation des couches

• Rédaction des tests de qualité, technique, et avancés fonctionnellement

• Maintenance de la documentation DBT : descriptions, lineage, dictionnaire de données

• Gestion des évolutions de schéma et compatibilité ascendante

Ingestion & pipelines (DLT) — utile

• Développement et maintenance des pipelines d'ingestion avec DLT

• Connexion aux sources : APIs, bases de données on-prem (Oracle, PostgreSQL), fichiers

• Sources principales : applications SaaS (Servicenow, Salesforce, Workday…) et SI internes (SI des ventes, Référentiel technique…)

• Mise en place des mécanismes de chargement incrémental et de gestion des doublons

• Gestion des schémas déclaratifs et des évolutions de schéma

• Maîtrise du Python obligatoire

Orchestration (Dagster) — utile

• Conception des assets et jobs Dagster pour orchestrer les pipelines de bout en bout

• Mise en place du monitoring des exécutions : alertes, logs, stratégies de retry

• Définition des dépendances entre assets et des stratégies de scheduling

• Maîtrise du Python obligatoire

• À défaut, une connaissance de solution similaire (Airflow) est appréciée

Administration Snowflake — secondaire

• Gestion des warehouses : sizing, suspension automatique, allocation par type d'usage

• Sécurité et gestion des accès : modèle RBAC, gestion des rôles et des droits

• Supervision des coûts et de la consommation (crédits Snowflake)

Environnement technique

• DLT, DBT Core, Dagster

• Snowflake, dbt project, Streamlit

• Starburst (Trino), PostgreSQL

• Power BI, Git, CI/CD

• Stockage S3, Apache Iceberg

• Stack historique (SAP Business Object, SAP BODS)

1. 3 à 6 ans d'expérience minimum en Data Engineering sur des projets en production
2. Personne rigoureuse, autonome et pédagogue
3. Capable de travailler en lien direct avec l'équipe interne
4. Capable de documenter son travail de manière structurée
5. Maîtrise de la transformation et modélisation avec DBT (conception, implémentation, tests, documentation, gestion des évolutions de schéma)
6. Maîtrise obligatoire du Python
7. Expérience en ingestion et pipelines avec DLT (connexion aux sources, gestion des chargements incrémentaux, gestion des schémas)
8. Connaissance utile de l'orchestration avec Dagster ou d'une solution similaire comme Airflow
9. Connaissance minimale appréciée de Snowflake pour son administration courante (gestion des warehouses, sécurité, supervision des coûts)