DataOps & Administrateur Hadoop

Missions et responsabilités principales1. Déploiement et industrialisation des clusters Big Data

• Déploiement automatisé de clusters via des pipelines CI/CD

• Utilisation d’outils d’automatisation pour l’installation et la configuration des composants

• Adaptation des architectures selon les besoins projets (dimensionnement, sécurité, performance)

• Contribution à l’industrialisation des processus (CI/CD, Infrastructure as Code)

• Déploiement et configuration d’outils de gestion de plateforme

• Installation et configuration d’interfaces utilisateurs pour les environnements analytiques

2. Stack Big Data administrée

Administration et intégration des composants suivants :

• Service d’annuaire : gestion des identités

• Service d’authentification : sécurisation des accès

• Système de fichiers distribué : gestion du stockage

• Framework de traitement distribué : gestion des ressources et exécution

• Outil de gestion des accès : politiques de sécurité

• Moteur de calcul distribué

• Moteur SQL pour l’accès aux données

• Base de données relationnelle associée aux services

• Service de coordination distribué

Responsabilités associées :

• Installation, configuration et paramétrage avancé

• Gestion des dépendances inter-services

• Maintien de la cohérence des versions

• Optimisation des performances et de la stabilité

3. Provisionnement et préparation des environnements

• Provisionnement des machines virtuelles

• Préparation des prérequis systèmes (OS, stockage, réseau)

• Automatisation des installations via scripts et outils d’orchestration

• Gestion des environnements (développement, test, production)

4. Observabilité et supervision

Mise en place et maintien de la supervision :

• Collecte des métriques

• Gestion et routage des alertes

• Centralisation et exploitation des logs

• Visualisation via tableaux de bord

• Définition et amélioration des indicateurs de supervision

• Analyse proactive des alertes

• Diagnostic et résolution d’incidents

5. Maintien en Condition Opérationnelle (MCO)

• Administration quotidienne des plateformes Big Data

• Support technique aux équipes projets et utilisateurs

• Gestion des incidents et demandes d’évolution

• Montées de version et correctifs

• Suivi de la capacité (CPU, RAM, stockage)

• Documentation technique et mise à jour des procédures

Rituels et interactions

• Participation aux rituels d’équipe

• Coordination avec :

  • Équipes infrastructure et exploitation

  • Équipes projets data / métiers

  • Référents sécurité

• Accompagnement des équipes dans l’usage de la plateforme

Environnement technique global

• CI/CD & DevOps : outils d’intégration et de déploiement continus, gestion de code, qualité

• Automatisation : outils d’orchestration et scripting

• Infrastructure : virtualisation, conteneurisation

• Big Data : écosystème de traitement distribué

• Observabilité : outils de monitoring, logs et visualisation

Points de vigilance

• Forte interdépendance des composants de la plateforme

• Sensibilité aux problématiques de capacité et de performance

• Importance de l’anticipation via la supervision

• Respect strict des standards de sécurité et des procédures internes

• Coordination transverse nécessaire pour les déploiements et évolutions majeures

Charge estimative

• Déploiement d’un cluster complet : variable selon dimensionnement et spécificités projet

• MCO : charge récurrente hebdomadaire

• Incidents critiques : charge ponctuelle selon criticité

1. Déploiement et industrialisation des clusters Big Data

• Déploiement automatisé de clusters via des pipelines CI/CD

• Utilisation d’outils d’automatisation pour l’installation et la configuration des composants

• Adaptation des architectures selon les besoins projets (dimensionnement, sécurité, performance)

• Contribution à l’industrialisation des processus (CI/CD, Infrastructure as Code)

• Déploiement et configuration d’outils de gestion de plateforme

• Installation et configuration d’interfaces utilisateurs pour les environnements analytiques