Architecte technique Socles DATA: Hadoop, plateforme Data

Contexte

La mission consiste à concevoir et faire évoluer les solutions existantes ou prévisionnelles. Il s'agit de faire évoluer les solutions Big Data et d'assurer le maintien en conditions opérationnelles (MCO) des socles Hadoop Cloudera en environnements Hors-Prod et Prod, ainsi que de participer aux projets d’évolution technique de ces socles.

Missions

• Participer aux projets d’évolution pour le socle Hadoop existant :
  • Évolutions logicielles et matérielles, sécurité, amélioration de l’existant, évolution des fonctionnalités techniques ou fonctionnelles
  • Participation au pilotage, définition d’architecture, rédaction des dossiers et mise en œuvre
• Participer au maintien en conditions opérationnelles (MCO) du socle Hadoop :
  • Administration et exploitation : supervision, optimisation, gestion des incidents et des performances
  • Support expertise aux équipes Études et exploitation
• Participer au projet de nouvelle solution de type Plate-forme DATA :
  • Étude d'impact, préconisation des choix techniques, définition des standards et normes, rédaction du dossier d'architecture technique
  • Mise en œuvre
  • Mise en production : transfert de connaissances aux équipes exploitation, rédaction des procédures d'administration et dossiers d'exploitation
• Assurer une totale autonomie tout en étant capable de s'intégrer et travailler en équipe
• Réaliser des astreintes ou interventions ponctuelles en heures non ouvrées (HNO) si nécessaire

Outils & Environnement

• Distribution Hadoop Cloudera CDP (versions 7.1.9, 7.3.x) : HDFS, YARN, Cloudera Manager, Hive, Hue, Impala, Spark, Zeppelin, Ranger, Knox, Zookeeper, Iceberg
• Langages de programmation : Shell, Python, Spark
• Moteurs de requêtage : Hive, Impala, SQL
• Système d'exploitation : Linux Redhat
• Outils décisionnels complémentaires : ETL Datastage, PowerBI, SAS
• Bases de données : Teradata, PostgreSQL
• Captation et intégration de données : Kafka
• Socle technique infrastructure : Kubernetes, Ansible

Compétences demandées

• Spark : Expert
• SQL : Expert
• Python : Expert
• Linux Red Hat : Confirmé
• Hadoop : Expert
• Cloud (Azure, GCP) : Expert

1. Expert en Spark
2. Expert en SQL
3. Expert en Python
4. Confirmé en Linux Red Hat
5. Expert en Hadoop
6. Expert en Cloud (Azure, GCP)
7. Maîtrise de la distribution Hadoop Cloudera CDP (version 7.1.9, 7.3.x) : HDFS, YARN, Cloudera Manager, Hive, Hue, Impala, Spark, Zeppelin, Ranger, Knox, Zookeeper, Iceberg
8. Compétences en langages de programmation : Shell, Python, Spark
9. Connaissance des moteurs de requêtage : Hive, Impala, SQL
10. Capacité à travailler en autonomie et en équipe
11. Compétences complémentaires appréciées : outils décisionnels (ETL Datastage, PowerBI, SAS), bases de données (Teradata, PostgreSQL), captation et intégration de données (Kafka), socle technique infrastructure (Kubernetes, Ansible)