Expertise technique Big Data / Hadoop de technologie Cloudera

MISSION BASEE A BORDEAUX

Contexte de la mission

Description du besoin :

La mission consiste à assurer le maintien en conditions opérationnelles des socles Hadoop Cloudera Hors-Prod et Prod et la participation aux projets d’évolution technique de ces socles.

Activités principales :

• Administration et exploitation des socles Hadoop : supervision, optimisation, gestion des incidents et des performances ;

• Capacity planning : suivi et mise en place d’outils et procédures ;

• Maintenance proactive : application des correctifs, mises à jour, suivi des évolutions technologiques ;

• Rédaction de procédures d'administration et d’exploitation ;

• Intégration avec l'outillage de l'écosysteme DSI Agirc-Arrco pour l'exploitation du SI

• Support expertise aux équipes Etudes et exploitation

• Projets d’évolution des architectures techniques (évolutions logicielles et matérielles, sécurité, amélioration de l’existant, évolution des fonctionnalités techniques ou fonctionnelles) : la participation attendue peut se situer sur le pilotage, la définition d’architecture et la rédaction des dossiers, la mise en œuvre.

Hadoop est le périmètre technique principal d’exécution de la mission ; cependant des compétences supplémentaires sur d’autres solutions Data seront très appréciées.

La mission nécessite à la fois une totale autonomie et une capacité de travail en équipe et de communication.

Des astreintes ou interventions ponctuelles en HNO pourront être ponctuellement demandées."

Objectifs et livrables

Environnement Socle Hadoop :

• Distribution Hadoop Cloudera CDP (version 7.1.9, 7.3.x ) : HDFS, YARN, Cloudera Manager, Hive, Hue, Impala, Spark, Zeppelin, Ranger, Knox, Zookeeper, Iceberg ...

• Langages de scripting et de developpement : Shell, Python, Spark

• Moteurs de requêtage : Hive, Impala, SQL, ...

• Systeme d'exploitation : Linux Redhat

Environnement Décisionnel:

• Teradata, ETL Datastage , PowerBI, SAS

Autres environnements techniques:

• Base de données : PostgreSQL

• Data Streaming : Kafka, IBM Infosphere CdC

• Socle technique infrastructure : Kubernetes, Ansible, Linux RedHat, Vmware

• Exploitation: : ordonnanceur IWS, sauvegarde HDPS, supervision Prometheus / Grafana,"

Compétences demandées

Compétences

Niveau de compétence

LINUX : Expert

ANSIBLE : Expert

HADOOP : Expert

Python : Confirmé

Spark : Confirmé

KUBERNETES : Expert