Développeur Big Data Python

Contexte

Mission longue basée à Lyon dans le secteur de la protection sociale.
Dans le cadre de son activité Big Data, un client dans ce secteur recherche un profil en développement Data avec plus de 5 ans d'expérience en Python, SQL, Shell, Spark pour accompagner leurs actions sur leur plateforme Cloudera Hadoop.

L'objectif de la prestation est de réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, à la mise en place d'extractions et à l'accompagnement des utilisateurs.

Missions

Rattaché au responsable Big Data, le profil aura pour principales missions :

• Prendre en charge les évolutions des données à intégrer, reprendre les développements effectués pour l'alimentation du Datalake, et les faire évoluer en fonction des besoins (Stack technique : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA, Jupyter)
• Apporter une expertise technique permettant de spécifier techniquement les tâches, fournir les requêtes de référence, effectuer une revue de code, accompagner les potentiels alternants ou stagiaires (une alternante à date)
• Mettre en place des extractions à partir de ces données
• Assurer le support niveau 2
• Faire appliquer les consignes aux utilisateurs
• Garantir la tenue des délais de livraison dans un contexte de production à fortes attentes
• Contribuer à garantir la maintenabilité de la plateforme ainsi que ses performances et son exploitabilité

Le profil veillera au respect de l’utilisation des modèles référencés ou à leur évolution en collaboration avec la Direction Technique Informatique et la Gouvernance de la Donnée.
Il devra posséder des aptitudes et qualités avérées sur sa capacité à communiquer avec diplomatie, à écouter, à s'intégrer et à partager son savoir-faire, à documenter ses actions et à accompagner.

Outils & Environnement

• Développement des traitements d'alimentation, forte capacité à structurer l'activité (JIRA), mise en place et description de processus (guides, accompagnement utilisateurs, …), pilotage opérationnel de certains sujets
• Développement d'extractions avec SQL (expert) et scripting Shell avancé pour l'automatisation
• Capacité à investiguer et faire du reverse engineering dans une architecture héritée complexe
• Optimisation des traitements de la plateforme et ceux des utilisateurs
• Capacité à expliquer simplement le sujet, à communiquer vers des interlocuteurs type développeur, bureau d'étude, qualifieur et "clients" (Groupes de protection sociale)
• Connaissance de Power BI et de SAS sont des plus

Compétences techniques

• Obligatoires : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA
• Un plus : Jupyter
• Connaissance Cloudera Hadoop, Hive, Impala
• Développement Python
• Requêtage SQL
• Développement Shell
• Développement Spark (Scala)
• Utilisation de GIT
• Agilité (méthodes Kanban et/ou Scrum)

Conditions de travail

• 2 jours de télétravail par semaine
• Démarrage le 20/04/26 pour une durée d'au moins 2 ans

1. Plus de 5 ans d'expérience en développement Data avec Python, SQL, Shell et Spark
2. Maîtrise obligatoire de Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA
3. Connaissance appréciée de Jupyter
4. Expertise en développement des traitements d'alimentation et structuration de l'activité (ex : JIRA)
5. Compétences avancées en développement d'extractions avec SQL (expert) et scripting Shell pour automatisation
6. Capacité à investiguer et faire du reverse engineering dans une architecture héritée complexe
7. Compétences en optimisation des traitements de la plateforme et des utilisateurs
8. Capacité à communiquer clairement avec différents interlocuteurs (développeurs, bureau d'étude, qualifieur, clients)
9. Aptitudes avérées à la communication diplomate, à l'écoute, à l'intégration, au partage de savoir-faire, à la documentation et à l'accompagnement
10. Connaissance de Power BI et SAS est un plus
11. Utilisation de GIT et pratique de l'agilité (méthodes Kanban et/ou Scrum)