🧩 Lead Data Engineer – Hadoop / Spark / Python (Contexte Big Data)

🧩 Lead Data Engineer – Hadoop / Spark / Python (Contexte Big Data)

🗂️ Informations pratiques
📍 Département : Lyon (69)
🗓️ Démarrage : 20/04/2026
⏳ Durée : 36 mois, reconductible
🧾 Contrat : CDI ou freelance
💶 Budget : 500 € HT/j max / 50-60 Keuros annuel (selon profil)
🧑‍💻 Télétravail : 2 jours/semaine
🧠 Séniorité : senior (+7 ans)
👤 Poste ouvert : 1
🌍 Secteur : Protection sociale / Data

🧩 Contexte

Dans un environnement Big Data critique, vous intervenez sur une plateforme Hadoop Cloudera dédiée à la gestion et à l’exploitation de volumes importants de données.

La mission s’inscrit dans un contexte de renforcement des capacités data avec des enjeux forts autour de la performance, de la maintenabilité et de l’industrialisation des traitements.

Vous rejoignez une équipe data avec un rôle clé à la fois technique et transverse, incluant du lead technique et de l’accompagnement.

🎯 Missions principales

• Prendre en charge les évolutions et la maintenance des pipelines d’alimentation du Data Lake

• Développer et optimiser les traitements Big Data (Spark / Hive / SQL)

• Mettre en place des extractions de données complexes

• Assurer un rôle de lead technique (revue de code, cadrage technique, accompagnement)

• Participer au support niveau 2 et à la résolution d’incidents

• Optimiser les performances des traitements et de la plateforme

• Structurer l’activité (JIRA, documentation, bonnes pratiques)

• Réaliser du reverse engineering sur un SI data existant

• Accompagner les utilisateurs et diffuser les bonnes pratiques

🛠️ Environnement technique

Big Data

• Hadoop (Cloudera)

• Hive / Impala

• Spark / PySpark

• YARN

Langages & scripting

• Python (data processing / scripting)

• Shell avancé (bash)

• SQL (niveau intermédiaire à avancé)

Data Engineering

• Pipeline data (jointures, optimisation, partitionnement…)

• Optimisation Hive / Spark

• Gestion de fichiers HDFS

Outils

• Linux

• JIRA

• VBA / Jupyter (ponctuel)

Bonus

• Kafka

• Zeppelin

👤 Profil recherché

Expérience

• +7 ans d’expérience en Data Engineering / Big Data

• Expérience significative sur environnement Hadoop / Cloudera

Compétences clés

• Très bonne maîtrise de Spark / PySpark

• Solide expérience en Hive (optimisation impérative)

• Maîtrise du Shell scripting avancé

• Bonne compréhension de YARN et des logs Hadoop

• Capacité à développer et optimiser des pipelines data complexes

• Bonne maîtrise de SQL (CTE, compréhension fonctionnelle des requêtes)

Compétences attendues

• Gestion de fichiers et traitements sur HDFS

• Lancement et tuning de spark-submit

• Capacité à lire, comprendre et maintenir du code existant

• Forte capacité d’analyse et de reverse engineering

Soft skills

• Leadership technique et accompagnement

• Communication claire et pédagogie

• Rigueur et sens de l’organisation

• Capacité à évoluer dans un environnement exigeant et en production