Architecte Applicatif Kafka - Expert

Contexte

Historiquement décentralisé et hétérogène, l'équipe évolue vers un modèle de plateformes mutualisées pour améliorer la gouvernance et harmoniser les usages. L'objectif est de passer d'une gestion d'infrastructure à une approche « Produit », où Kafka devient un service fluide, gouverné et optimisé pour l'ensemble du groupe.

Dans une équipe composée de 2 ingénieurs DevOps Kafka (5 ingénieurs à partir de septembre), en tant qu’architecte applicatif Kafka, la mission principale est d'accompagner cette transformation.

Missions

Architecture et stratégie

• Définir et porter l’architecture cible de Kafka

• Concevoir le modèle de Mutualized Cluster et l'offre Topic as a Service

• Établir la roadmap technique en cohérence

Expérience utilisateur

• Définir avec les utilisateurs et la communauté d'ingénieurs les usages sur Kafka

• Définir les parcours utilisateurs en adéquation avec les cas d’usages

Delivery et expertise technique

• Implémenter les nouvelles fonctionnalités dans la stack technique digitale (3S)

• Assurer la migration transparente des environnements vers les dernières versions (3.9 et +)

• Développer et maintenir les composants de l'écosystème (Java, Python, Terraform)

Gouvernance et leadership

• Contribuer activement à la gouvernance globale (TechRadar, Matrice de maturité…)

• Évangéliser les bonnes pratiques au sein de la communauté d'ingénieurs

• Suivre l'analyse des coûts (FinOps) pour driver l'optimisation des ressources

Outils & Environnement

• Kafka et les outils périphériques (Kafka Connect, Kafka MirrorMaker, Kafka UI...)

• Cloud : GCP, AWS, Aiven

• Développement : Java, Python

• Tooling : Github, Github Actions, Kubernetes, Terraform, Flux

• Outils collaboratifs : Confluence, Jira

• Monitoring : Datadog

Objectifs et livrables

• Définition de l'architecture technique cible

• Définition des bonnes pratiques sur Kafka

• Contribution à la définition des règles de gouvernance

• Participation active à la communauté « SIG Streaming »

• Définition des objectifs de l’équipe, définition et suivi de la roadmap

• Conseil et accompagnement des équipes utilisatrices de Kafka

• Développement des composants dans l'écosystème Kafka et maintien des composants existants (Java, Terraform, Python...)

• Suivi des coûts d'usage de Kafka et proposition d’optimisations #finops

• Accompagnement et montée en compétence de l'équipe sur Kafka, faire le lien avec l'API Management

• Partage des nouveautés et bonnes pratiques autour du data streaming #veille

Conditions de travail

• Localisation : Lille

1. Expertise Kafka dont Kafka Connect, MirrorMaker, et idéalement l'opérateur Strimzi
2. Développement en Java pour la maintenance de certains composants
3. Culture Cloud & Automation : Maîtrise des environnements cloud (GCP, AWS, Aiven) et du GitOps (Terraform, Flux)
4. Leadership : capacité à "tracter" des sujets complexes, à convaincre des parties prenantes variées et à vulgariser
5. Esprit “Produit” : une sensibilité forte à l'expérience développeur (DevEx)