Lead Data Ops

Contexte: FREELANCE ET CDI

Un entrepôt de données centralisé dans le cloud (Snowflake), modélisé selon la méthodologie Data Vault 2.0. Il couvre l'ensemble des domaines fonctionnels du groupe (finance, clients, booking, carburant/navires…) et consolide les données de toutes les filiales à l'échelle mondiale.

L'équipe projet réunit plus de 10 consultants organisés en squads thématiques (Finance, Clients, Booking, Fuel & Vessels, Outillage) travaillant en télétravail complet. Chaque squad est pilotée par un squad lead. Le projet fonctionne en Agile/Scrum avec des sprints de 3 semaines.

Le Data Engineer est membre de la Dark Squad dédiée au bon fonctionnement technique du projet : orchestration, outils de développement, déploiement.

Missions

Outillage et automatisation

• Prise en charge de l’ensemble du backend de la solution

• Maintenance des outils CLI développés en interne : Framework (génération automatique de modèles dbt, fichiers YAML de tests, DAGs Airflow) et EDW20-Deployer (automatisation des étapes de déploiement)

• Maintenance des scripts d’exécution des flux de données et de la base de code du projet en général

• Conception et déploiement des outils IA (Github Copilot) au sein de la solution (Framework, déploiement)

Déploiement et orchestration (support)

• Support du Release Operator sur cycle de déploiement tri-hebdomadaire sur 3 environnements

• Gestion des DAGs Airflow : création, configuration, activation

• Participation au pipeline CI/CD GitLab / Jenkins / Docker / Kubernetes

Stack technique

• Snowflake

• dbt + AutomateDV

• Apache Airflow

• Python (CLI, scripts)

• SQL

• GitLab + Jenkins

• Docker · Kubernetes

• DBSchema

• Jira / Scrum

• Confluence

• Data Vault 2.0

• LLM (Copilot)

1. Maîtrise de SQL avancé : CTEs, fonctions de fenêtrage, optimisation de requêtes
2. Pratique de Python dans un contexte data (scripts, automatisation, manipulation de données)
3. Expérience avec dbt (transformation de données, tests, documentation, macros)
4. Connaissance de Snowflake ou d'un moteur MPP équivalent (BigQuery, Redshift, Synapse)
5. Expérience avec un orchestrateur de pipelines (Airflow ou équivalent)
6. Maîtrise de Git
7. Connaissance de la méthodologie Data Vault 2.0 (ou forte appétence pour l'apprendre)
8. Connaissance de la méthodologie Kimball (Star schema)
9. Pratique de GitLab CI/CD, Jenkins, Docker ou Kubernetes
10. Intérêt pour l'intégration de LLMs dans des workflows data/déploiement
11. Capacité à travailler en autonomie dans un environnement 100% télétravail
12. À l'aise dans un contexte international et multiculturel (équipe en Europe, Inde, Liban)
13. Anglais professionnel obligatoire (réunions et documentation en anglais)
14. Esprit d'initiative : capacité à identifier des problèmes terrain et à proposer des solutions