Expert Airflow (H/F)

En quelques mots

Cherry Pick est à la recherche d'un Expert Airflow (H/F) pour l'un de ses clients qui opère dans le secteur de l'automobile.

Description

🎯 Contexte de mission

Dans le cadre de la stabilisation d’une plateforme Amazon Managed Workflows for Apache Airflow (MWAA) rencontrant des dysfonctionnements récurrents, la mission consiste à intervenir en Task Force afin d’identifier les causes racines, rétablir rapidement la stabilité de la plateforme et sécuriser durablement son fonctionnement.

L’intervention nécessite un véritable expert Airflow / MWAA, capable d’aller au-delà du développement de DAGs pour intervenir sur l’architecture, le paramétrage, les performances et les mécanismes internes d’Airflow.

📋 Missions principales et rôle

• Réaliser un diagnostic flash des incidents, dysfonctionnements et goulots d’étranglement.

• Identifier les causes racines des problèmes rencontrés.

• Mettre en œuvre des correctifs immédiats afin de restaurer la stabilité de la plateforme.

• Reprendre et analyser les conclusions des expertises précédentes.

• Auditer l’architecture, la configuration et le paramétrage de l’environnement MWAA.

• Analyser les problématiques liées aux Schedulers, Executors, Celery et à la base de métadonnées Airflow.

• Investiguer les problématiques de parallélisme, mémoire, ressources et dimensionnement.

• Analyser les logs et métriques afin d’identifier les problèmes de performance.

• Investiguer notamment les fuites mémoire, locks BDD, problèmes de capacité et d’auto-scaling MWAA.

• Construire une feuille de route corrective priorisée.

• Piloter la mise en œuvre des actions de remédiation.

• Mesurer l’efficacité des corrections via des KPIs de performance et de stabilité.

• Accompagner les équipes internes dans l’application des bonnes pratiques Airflow / MWAA.

• Contribuer à la pérennisation de la plateforme et à l’amélioration de son architecture.

🎯 Objectifs

• Court terme : rétablir rapidement la stabilité et la disponibilité de la plateforme MWAA.

• Moyen terme : identifier précisément les causes structurelles des dysfonctionnements.

• Long terme : mettre en place une architecture et une configuration robustes, performantes et maintenables.

• Réduire durablement le taux d’incidents et les problèmes de performance.

• Transférer l’expertise aux équipes en place.

🛠️ Compétences requises

• Apache Airflow : expertise indispensable sur les mécanismes internes et le paramétrage.

• Maîtrise approfondie des :

  • Schedulers

  • Executors

  • Celery / CeleryExecutor

  • Metadata Database

  • Gestion du parallélisme

  • Gestion mémoire et ressources

  • Tuning et optimisation des performances

• AWS MWAA : expertise indispensable.

• Maîtrise de l’écosystème AWS associé :

  • IAM

  • CloudWatch

  • S3

  • VPC

  • Security Groups

• Expertise en troubleshooting et performance.

• Capacité à analyser des logs complexes et des métriques d’exploitation.

• Expérience des problématiques de :

  • Memory leaks

  • Database locks

  • Saturation de ressources

  • Auto-scaling

  • Dimensionnement MWAA

• Expérience en audit technique et architecture Data Platform.

• Expérience de missions de remédiation, crise ou Task Force.

👤 Profil

• Senior Data Engineer, Architecte Data ou Expert Cloud/Data Infrastructure.

• 5 à 8 ans minimum d’expérience en ingénierie Data / infrastructure.

• Forte spécialisation sur Apache Airflow, idéalement dans des environnements de production complexes.

• Expérience concrète d’AWS MWAA.

• Habitué aux contextes de diagnostic d’urgence, audit, stabilisation et refonte d’architecture.

• Profil très analytique, pragmatique et orienté résolution de problèmes.

• Forte capacité à intervenir rapidement dans un environnement existant et à prendre des décisions techniques.

• Ce n’est pas un profil de développeur DAGs uniquement : l’expertise attendue porte principalement sur l’administration, le tuning, l’architecture et le troubleshooting d’Airflow/MWAA.