Expert.e Platforme de streaming de données (Kafka Confluent)

Contexte de la mission

Afin de soutenir la modernisation de ses infrastructures d'échange de données en temps réel, une entité spécialisée recherche un.e expert.e senior.

La mission est centrée sur la conception, l'optimisation, la sécurisation et la gouvernance globale d'une architecture orientée événements reposant sur la solution Kafka Confluent, dans un objectif de haute disponibilité et de forte scalabilité.

Ce projet se déroule au Mans, avec 3 jours de remote / semaine.

Objectifs et missions principales

Les activités principales associées à ce poste s'articulent autour des axes suivants :

• Conception de l'architecture technique et déploiement des clusters Kafka Confluent.

• Gestion, administration avancée et maintien en conditions opérationnelles (MCO) de l'ensemble de la plateforme (topics, partitions, brokers).

• Implémentation et configuration des composants de l'écosystème (Schema Registry, Confluent Connect, ksqlDB).

• Définition et mise en œuvre des politiques de sécurité de la plateforme (RBAC, chiffrement TLS, authentification SASL/Kerberos, gestion des ACLs).

• Optimisation des performances (tuning des producteurs/consommateurs, gestion de la rétention, stratégies de re-balancing) et résolution des incidents complexes.

• Accompagnement technique des équipes de développement pour l'intégration des flux de streaming de données.

Livrables attendus

Les livrables à fournir au cours de la mission comprennent :

• les dossiers d'architecture technique (DAT) et les guides de préconisations pour les infrastructures de streaming.

• les scripts d'automatisation des configurations et des déploiements (Infrastructure as Code).

• les matrices de sécurité, politiques de gouvernance des schémas et configurations d'accès.

• les plans de secours, procédures opérationnelles d'exploitation et de gestion des sauvegardes/restaurations.

• les tableaux de bord de supervision et rapports de métriques de performance.

Compétences techniques

• Expertise approfondie de l'architecture interne de Apache Kafka et des fonctionnalités spécifiques de la suite Confluent.

• Maîtrise rigoureuse de la sécurisation des flux et des architectures distribuées (protocoles de sécurité, gestion des certificats).

• Solides compétences dans l'exploitation des connecteurs standards et spécifiques (Kafka Connect) ainsi que dans la gestion des formats de données (Avro, Protobuf, JSON).

• Pratique des outils d'automatisation (Ansible, Terraform) et des solutions de monitoring (Prometheus, Grafana, Confluent Control Center).

Prérequis / Parcours

• Formation supérieure (Bac+5 ou équivalent) en informatique ou cursus d'ingénieur.

• Expérience professionnelle minimale de 7 ans dans l'ingénierie des systèmes d'information, avec une spécialisation technique avérée sur l'écosystème Kafka Confluent.