Lead Data Engineer / Lead Développeur Python & Spark (Hadoop) - Lyon

Dans le cadre de son activité Big Data, notre client recherche un Lead Développeur Data (7+ ans d'expérience) pour accompagner l'évolution et la maintenance de son Datalake sur plateforme Cloudera Hadoop.

Missions principales :

• Pilotage technique (Lead Tech) : spécifications, revues de code, mentorat (alternants).

• Développement et maintenance des flux d'alimentation (Python, Shell, Spark).

• Optimisation des performances de la plateforme (Hive, Yarn, Spark tuning).

• Support de niveau 2 et accompagnement des utilisateurs.

• Reverse engineering sur architecture existante complexe.

Stack : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, Spark 2/3, Kafka (plus).

Expert Data avec plus de 7 ans d'expérience, vous maîtrisez l'écosystème Hadoop et le développement Spark (pipelines complexes, broadcast, repartition).

Compétences indispensables :

• Expertise SQL (CTE) et scripting Shell avancé.

• Maîtrise de Hive (tables externes/managées, optimisation Parquet).

• Capacité à analyser des logs et comprendre le fonctionnement de Yarn.

• Soft skills : diplomatie, pédagogie et excellente communication.

Critère géographique : Poste basé à Lyon (2 jours de télétravail). Résidence à Lyon ou périphérie indispensable (ou projet de déménagement immédiat).