Data Engineer – expertise Airflow - AWS- Snowflake (habilitation)

Description du besoin :

Data Engineer – Plateforme Data AWS / Snowflake

Client : Grand Groupe Industriel International

Localisation : Magny-les-Hameaux (78) + déplacements ponctuels Malakoff (92)

Télétravail partiel : 2 jours / semaine

Démarrage idéal : ASAP

Contexte industriel - Nationalité française exigée

Contexte

Dans le cadre de l’évolution de sa plateforme Data, un grand groupe industriel souhaite renforcer son dispositif avec un profil senior spécialisé en orchestration de pipelines de données, avec une expertise forte sur Apache Airflow.

Le client dispose d’un écosystème data déjà en place (AWS / Data Lake / Snowflake) et cherche à améliorer la fiabilité, la scalabilité et l’industrialisation des traitements.

L’objectif est d’intégrer un profil capable de concevoir et structurer les workflows data, et non simplement d’utiliser Airflow pour exécuter des jobs existants.

Objectif de la mission

Le client recherche un Data Engineer senior avec une expertise avancée sur Airflow, capable de :

-concevoir et développer des DAGs complexes

-structurer l’enchaînement des traitements de données

-gérer les dépendances entre pipelines

-implémenter des stratégies de gestion des erreurs, retry et reprise

-optimiser l’orchestration et la planification des workflows

Le consultant interviendra sur la fiabilisation et l’industrialisation des pipelines data, avec une forte autonomie dans la conception des solutions.

Prestations attendues

Orchestration & Airflow (cœur de mission)

Conception et développement de DAGs Airflow complexes

Structuration des workflows data et gestion des dépendances

Mise en place de stratégies de retry, reprise et gestion des erreurs

Optimisation du scheduling et des performances des pipelines

Industrialisation des workflows

Data Engineering & intégration

Intégration et orchestration de pipelines batch et temps réel

Collaboration avec les équipes Data (Data Engineers / Data Scientists)

Contribution à l’architecture globale des pipelines

Cloud & environnement technique

Intégration dans un environnement AWS Data Lake

Interaction avec les services data (stockage, compute, etc.)

Automatisation et bonnes pratiques de développement

Environnement technique

Airflow (expertise avancée requise)

Python

AWS (S3, Glue, etc.)

Data Lake / Snowflake

CI/CD / Terraform (apprécié)

Expérience

5+ ans en Data Engineering

Expérience significative sur Airflow en production

Expérience sur des environnements data complexes

Compétences indispensables

Airflow avancé (design de DAGs, orchestration complexe)

Python

Conception de pipelines data

Gestion des dépendances et workflows

Compétences appréciées

AWS / Data Lake

Terraform / CI/CD

Snowflake

Points clés (critères éliminatoires)

Profil ayant utilisé Airflow uniquement comme outil de déclenchement

Absence d’expérience en conception de DAGs

Pas de maîtrise de la logique d’orchestration

Profil idéal

Un profil capable de penser et concevoir une orchestration complète de pipelines data, avec une vraie maîtrise des mécaniques internes d’Airflow, et une capacité à intervenir en autonomie sur des environnements existants

Communication claire et structurée