Ingénieur Infrastructure Data & Big Data

Contexte

Notre client évolue dans un environnement digital à très forte volumétrie, reposant majoritairement sur des technologies open source. L’équipe en charge des plateformes de gestion de la donnée intervient sur l’ensemble des briques permettant de stocker, transporter et transformer les données techniques et fonctionnelles.

L’organisation repose sur un modèle full stack infrastructure : aucune séparation entre build et run, aucune logique de cloisonnement. Les ingénieurs prennent en charge l’intégralité du cycle de vie des plateformes, depuis la conception jusqu’à l’exploitation.

L’enjeu principal du poste porte sur l’ingénierie des plateformes de données et leur industrialisation, davantage que sur l’administration classique des bases de données.

Quelques ordres de grandeur :

• Environ 180 instances MySQL réparties sur différentes topologies.

• Plateformes Big Data de plusieurs pétaoctets.

• Stockage objet à très grande échelle.

Missions

• Assurer le support de niveau 3 sur les plateformes de gestion de la donnée.

• Déployer et industrialiser les moteurs de données via des outils d’Infrastructure as Code.

• Concevoir et exploiter les mécanismes de haute disponibilité, de réplication, de scalabilité et de répartition de charge.

• Définir et mettre en œuvre les stratégies de sauvegarde et de restauration.

• Participer aux montées de version et au traitement de l’obsolescence des plateformes.

• Qualifier et industrialiser de nouvelles briques techniques.

• Administrer les couches systèmes et les services d’exposition associés.

• Suivre les indicateurs de production et mettre en place les actions correctives.

• Contribuer aux sujets liés à la sécurité des plateformes de données.

• Collaborer étroitement avec les équipes de développement et d’infrastructure.

Environnement technique

Système & Infrastructure

• Linux (Debian, distributions RHEL)

• Terraform

• Ansible

• Puppet

• Git

• CI/CD

• Docker

• Kubernetes

• GitOps

• ArgoCD

Observabilité & Supervision

• Zabbix

• Prometheus

• Grafana

• Loki

• ELK

Big Data & Data Platforms

• Hadoop

• Hive

• Hue

• Yarn

• Zeppelin

• Spark Streaming

• Cassandra

• Kafka

• Airflow

• MySQL

Informations complémentaires

• Mission longue durée.

• Présentiel majoritaire avec télétravail partiel.

• Environnement technique exigeant à forte volumétrie.

• Équipe experte intervenant sur l’ensemble du cycle de vie des plateformes de données.

• Démarrage dès que possible.

1. Expérience significative en environnement de production
2. Forte culture open source
3. Maîtrise des concepts de haute disponibilité, de scalabilité, de réplication et de distribution des données
4. Compréhension approfondie du fonctionnement des plateformes et capacité à intervenir en conditions dégradées
5. Approche transverse couvrant la conception, le déploiement, l’administration et la supervision
6. Sensibilité à l’automatisation et à l’industrialisation des infrastructures
7. Curiosité technique et veille technologique active