Développeur Big Data

Poste : Développeur Big Data
Séniorité : + 5 ans d’expérience
Localisation : Lyon

Contexte

Dans le cadre de son activité Big Data, un organisme de protection sociale recherche un profil en développement Data, Python, SQL, Shell, Spark (+ de 5 ans d'expérience) pour accompagner les actions sur la plateforme Cloudera Hadoop. L'objectif de la prestation est de réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, à la mise en place d'extractions et à l'accompagnement des utilisateurs.

Missions

Rattaché au responsable Big Data, le profil aura pour principales missions :

• Prendre en charge les évolutions des données à intégrer, reprendre les développements effectués pour l'alimentation du Datalake, et les faire évoluer en fonction des besoins (Stack technique : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA, Jupyter)

• Apporter une expertise technique permettant de spécifier techniquement les tâches, fournir les requêtes de référence, effectuer une revue de code, accompagner les potentiels alternants ou stagiaires (une alternante à date)

• Mettre en place des extractions à partir de ces données

• Assurer le support niveau 2

• Faire appliquer les consignes aux utilisateurs

• Garantir la tenue des délais de livraison dans un contexte de production à fortes attentes

• Contribuer à garantir la maintenabilité de la plateforme ainsi que ses performances et son exploitabilité

• Veiller au respect de l’utilisation des modèles référencés ou à leur évolution en collaboration avec la Direction Technique Informatique et la Gouvernance de la Donnée

• Communiquer avec diplomatie, écouter, s'intégrer et partager son savoir-faire, documenter ses actions et accompagner

Livrables attendus et environnement technique

Les principales missions confiées seront les suivantes :

• Développement des traitements d'alimentation, forte capacité à structurer l'activité (JIRA), mise en place et description de processus (guides, accompagnement utilisateurs, …), pilotage opérationnel de certains sujets

• Développement d'extractions avec SQL (expert) et scripting Shell avancé pour l'automatisation

• Capacité à investiguer et faire du reverse engineering dans une architecture héritée complexe

• Optimisation des traitements de la plateforme et ceux des utilisateurs

• Capacité à expliquer simplement le sujet, à communiquer vers des interlocuteurs type développeur, bureau d'étude, qualifieur et "clients" (Groupes de protection sociale)

La connaissance de Power BI et SAS est un plus.

Exemples de livrables attendus :

• Code source documenté

• Plan de tests / fiches de test

• Bilan

• Bordereau de livraison

• Manuel d’installation

• Dossier d’exploitation

• JIRA documentée

Environnement technique :

• Hadoop Cloudera

• Hive

• Impala

• Python

• Shell

• Spark

• Linux

• SQL

• VBA

• Git

• Jupyter

Des connaissances de l’écosystème de la protection sociale sont les bienvenues (retraite complémentaire idéalement).

1. Plus de 5 ans d'expérience en développement Data avec maîtrise de Python, SQL, Shell et Spark
2. Expertise technique en Hadoop Cloudera, Hive, Impala, Linux, VBA et Jupyter
3. Capacité à spécifier techniquement les tâches, fournir des requêtes de référence et effectuer des revues de code
4. Compétences en développement d'extractions SQL (niveau expert) et scripting Shell avancé pour l'automatisation
5. Capacité à investiguer et faire du reverse engineering dans une architecture héritée complexe
6. Compétences en optimisation des traitements de la plateforme et des utilisateurs
7. Aptitudes avérées à communiquer avec diplomatie, écouter, s'intégrer, partager son savoir-faire, documenter ses actions et accompagner
8. Capacité à expliquer simplement les sujets à des interlocuteurs variés (développeurs, bureau d'étude, qualifieur, clients)
9. La connaissance de Power BI et SAS est un plus
10. Des connaissances de l’écosystème de la protection sociale, idéalement retraite complémentaire, sont appréciées