Expert Hadoop - Big Data

Contexte

L’équipe ‘Socles Data’ de la Direction Technique Informatique d’un organisme de protection sociale s’occupe de gérer les socles techniques DATA du système d’information. Ceux-ci répondent aux besoins de pilotage, de mise à disposition de tableaux de bord décisionnels, d’exploration de données, de Data science, etc. Les missions de l’équipe se traduisent par la fourniture d’outils logiciels Data industrialisés et exploitables, la rédaction de dossiers d’architecture, de normes et bonnes pratiques, la réalisation d’études, la recherche et la qualification de nouveaux outils, mais également l’administration et le maintien en conditions opérationnelles des socles DATA.

Le présent marché spécifique a pour objet la recherche d'une prestation d'expertise technique Big Data / Hadoop de technologie Cloudera, pour renforcer l'équipe 'Socle DATA'.

Localisation : Gradignan

Missions

• Assurer le maintien en conditions opérationnelles des socles Hadoop Cloudera Hors-Prod et Prod
• Participer aux projets d’évolution technique de ces socles
• Administration et exploitation des socles Hadoop : supervision, optimisation, gestion des incidents et des performances
• Capacity planning : suivi et mise en place d’outils et procédures
• Maintenance proactive : application des correctifs, mises à jour, suivi des évolutions technologiques
• Rédaction de procédures d'administration et d’exploitation
• Intégration avec l'outillage de l'écosystème DSI pour l'exploitation du SI
• Support expertise aux équipes Études et exploitation
• Projets d’évolution des architectures techniques (évolutions logicielles et matérielles, sécurité, amélioration de l’existant, évolution des fonctionnalités techniques ou fonctionnelles) : participation au pilotage, définition d’architecture, rédaction des dossiers, mise en œuvre
• Organisation de sessions de transfert de connaissances et rédaction de supports
• Reporting hebdomadaire et tableau de bord mensuel de suivi d'activités
• Gestion des demandes : tickets incidents / demandes / changements dûment complétés
• Contribution à la continuité de services au sein de l'équipe
• Astreintes ou interventions ponctuelles en heures non ouvrées (HNO) possibles

Environnement technique

Socle Hadoop :

• Distribution Hadoop Cloudera CDP (versions 7.1.9, 7.3.x) : HDFS, YARN, Cloudera Manager, Hive, Hue, Impala, Spark, Zeppelin, Ranger, Knox, Zookeeper, Iceberg
• Langages de scripting et de développement : Shell, Python, Spark
• Moteurs de requêtage : Hive, Impala, SQL
• Système d'exploitation : Linux RedHat

Environnement décisionnel :

• Teradata, ETL Datastage, PowerBI, SAS

Autres environnements techniques :

• Base de données : PostgreSQL
• Data Streaming : Kafka, IBM Infosphere CdC
• Socle technique infrastructure : Kubernetes, Ansible, Linux RedHat, VMware
• Exploitation : ordonnanceur IWS, sauvegarde HDPS, supervision Prometheus / Grafana

1. Expertise technique Big Data / Hadoop avec une maîtrise de la technologie Cloudera
2. Expérience en administration et exploitation des socles Hadoop : supervision, optimisation, gestion des incidents et des performances
3. Compétences en capacity planning et mise en place d’outils et procédures
4. Capacité à réaliser la maintenance proactive : application des correctifs, mises à jour, suivi des évolutions technologiques
5. Compétences en rédaction de procédures d'administration et d’exploitation
6. Connaissance des langages de scripting et développement : Shell, Python, Spark
7. Maîtrise des moteurs de requêtage : Hive, Impala, SQL
8. Expérience avec les systèmes d’exploitation Linux Redhat
9. Capacité à travailler en autonomie tout en ayant une bonne communication et un esprit d’équipe
10. Compétences appréciées sur d’autres solutions Data
11. Disponibilité pour des astreintes ou interventions ponctuelles en heures non ouvrées