Architecte technique Socles DATA: Hadoop, plateforme Data, décisionnel

MISSION BASEE A BORDEAUX

Contexte de la mission

Description du besoin :

La mission consiste à concevoir et faire évoluer les solutions existantes ou prévisionnelles.

Faire évolution des solutions Bigdata et le maintien en conditions opérationnelles des socles Hadoop Cloudera Hors-Prod et Prod et la participation aux projets d’évolution technique de ces socles.

Activités principales :

- Participer aux projets d’évolution pour le Socle Hadoop existant :

- évolutions logicielles et matérielles, sécurité, amélioration de l’existant, évolution des fonctionnalités techniques ou fonctionnelles;

- la participation attendue peut se situer sur le pilotage, la définition d’architecture et la rédaction des dossiers et la mise en œuvre;

- Participer au MCO du socle Hadoop:

- Administration et exploitation: supervision, optimisation, gestion des incidents et des performances ;

- support expertise aux équipes Etudes et exploitation

- Participer au projet de nouvelle solution de type Plate-forme DATA:

- Etude d'impact, préconiser les choix techniques, définir les standards et normes, rédiger le dossier d'architecture technique;

- Mise en oeuvre;

- Mise en production: transfert de connaissances aux équipes exploitation, rédaction des procédures d'administration et dossiers d'exploitation

Les compétences recherchées sont autour de la solution Hadoop et des plateforme DATA, mais les compétences supplémentaires sur d’autres solutions Data comme le décisionnel seront très appréciées.

La mission nécessite une totale autonomie mais aussi la capacité à s'intégrer et travailler en équipe.

Des astreintes ou interventions ponctuelles en HNO pourront être ponctuellement demandées.

Objectifs et livrables

Nécessaire :

• Distribution Hadoop Cloudera CDP (version 7.1.9, 7.3.x ) : HDFS, YARN, Cloudera Manager, Hive, Hue, Impala, Spark, Zeppelin, Ranger, Knox, Zookeeper, Iceberg ...

• Langages de programmation : Shell, Python, Spark

• Moteurs de requêtage : Hive, Impala, SQL, ...

• Systeme d'exploitation : Linux Redhat

Complementaire :

• Outils décisionnels : ETL Datastage, PowerBI, SAS,

• Base de données : Teradata, PostgreSQL

• Captation et integration de données : Kafka

• Socle technique infrastructure : Kubernetes, Ansible

Compétences demandées

Compétences

Niveau de compétence

Spark : Expert

SQL : Expert

Python : Expert

Linux Red Hat : Confirmé

Hadoop : Expert

Cloud (Azure, GCP) : Sénior