Data Ingénieur

Contexte de la mission

Le présent cahier des charges fait état des attentes concernant une prestation de Data Engineering dans le cadre de la construction de sa plateforme data. On a engagé une transformation data en profondeur, avec pour objectif de disposer d'une plateforme data moderne, fiable et évolutive, capable de couvrir des besoins allant du reporting standard à l'exploration analytique avancée. L'architecture retenue est hybride, combinant une infrastructure on-premise et une plateforme cloud (Snowflake). Nous sommes en train de la mettre en place, en s’appuyant sur de l’expertise. La chaine technique est basée sur des outils modernes et open source : DLT pour I'ingestion, DBT Core pour les transformations, Dagster pour I'orchestration, PostgreSQL comme destination on-premise et Snowflake pour le cloud. La restitution s'appuie sur Power BI. La plateforme est en cours de construction. Le prestataire vient renforcer la capacité de delivery technique.

Afin de répondre aux enjeux dans des délais raisonnables, la DSI souhaite renforcer I'équipe data avec un Data Engineer confirmé, maitrisant la stack technique retenue (Python et DBT au minimum, DBT et Dagster si possible). En complément, une connaissance minimale de de Snowflake serait appréciée, pour contribuer à son administration courante.

Objectifs et livrables

3. Périmètre du besoin & compétences

a) Synthèse : souhaite se faire accompagner d'un profil confirmé (3 à 6 ans d'expérience minimum), ayant une expérience significative en Data Engineering sur des projets en production. Nous recherchons une personne rigoureuse, autonome et pédagogue, capable de travailler en lien direct avec l'équipe interne et de documenter son travail de manière structurée. Le travail couvre l'ensemble de la chaîne technique : de la connexion aux sources jusqu'à la mise à disposition des données transformées pour les équipes BI, en passant par la modélisation, les tests et la documentation. Le profil a vocation à devenir le référent de l’équipe actuellement en place sur l'usage quotidien de la plateforme. A suivre, les différents domaines par ordre de priorité.

b) Transformation & modélisation (DBT) — obligatoire - Conception et implémentation des modèles DBT en couches : staging, intermédiaire, datamarts - Application des conventions de nommage et d'organisation des couches - Rédaction des tests de qualité, technique, et avancés fonctionnellement - Maintenance de la documentation DBT : descriptions, lineage, dictionnaire de données - Gestion des évolutions de schéma et compatibilité ascendante

c) Ingestion & pipelines (DLT) — utile - Développement et maintenance des pipelines d'ingestion avec DLT - Connexion aux sources : APIs, bases de données onprem (Oracle, PostgreSQL), fichiers - Sources principales : applications SaaS (Servicenow, Salesforce, Workday…) et SI internes (SI des ventes, Référentiel technique…) - Mise en place des mécanismes de chargement incrémental et de gestion des doublons - Gestion des schémas déclaratifs et des évolutions de schéma - Maitrise du Python obligatoire

d) Orchestration (Dagster) — utile - Conception des assets et jobs Dagster pour orchestrer les pipelines de bout en bout - Mise en place du monitoring des exécutions : alertes, logs, stratégies de retry - Définition des dépendances entre assets et des stratégies de scheduling - Maitrise du Python obligatoire - A défaut, une connaissance de solution similaire (Airflow) est appréciée

e) Administration Snowflake — secondaire - Gestion des warehouses : sizing, suspension automatique, allocation par type d'usage - Sécurité et gestion des accès : modèle RBAC, gestion des rôles et des droits - Supervision des coûts et de la consommation (crédits Snowflake)

4. Environnement technique

- DLT, DBT Core, Dagster

- Snowflake, dbt project, Streamlit

- Starburst (trino) - PostgreSQL

- Power BI - Git, CI/CD

- Stockage S3, Apache Iceberg,

- Stack historique (SAP Business Object, SAP BODS)

Compétences

powerBI

DLT

Python

Git / CI-CD

Dagster

DBT Core

snowflake