Data engineer GCP KAFKA

Mission principale

Le Data Ingénieur Senior pilote la conception, la mise en place et l’évolution d’une data plateforme moderne sur Google Cloud Platform. Il garantit la fiabilité, la performance et la scalabilité des pipelines de données, tout en accompagnant les équipes dans l’adoption des meilleures pratiques data.

Responsabilités clés

• Concevoir et déployer une data plateforme complète sur GCP (architecture, sécurité, gouvernance, automatisation).

• Développer et maintenir des pipelines de données robustes (batch & streaming) en utilisant Kafka, Dataflow, Pub/Sub, BigQuery, etc.

• Industrialiser les traitements : CI/CD, monitoring, observabilité, optimisation des performances.

• Assurer la qualité, la disponibilité et la conformité des données (Data Quality, Data Lineage, Data Catalog).

• Encadrer techniquement les équipes data : mentoring, revue de code, bonnes pratiques, standards d’architecture.

• Collaborer avec les équipes produit, BI, IA et sécurité pour garantir une exploitation optimale de la plateforme.

• Participer aux choix technologiques et à la roadmap d’évolution de l’écosystème data.

• Documenter les architectures, flux et modèles de données pour assurer la pérennité des solutions.

Compétences techniques requises

• Cloud GCP : BigQuery, Dataflow, Pub/Sub, Cloud Storage, Composer, IAM.

• Streaming & Messaging : Kafka (avancé), gestion des topics, partitions, performances, monitoring.

• Développement : Python, Java ou Scala ; frameworks de data processing.

• Orchestration & CI/CD : Airflow, Cloud Composer, GitLab CI, Terraform.

• Data Engineering avancé : modélisation, optimisation SQL, ingestion massive, data quality.

• Architecture : data mesh, data lakehouse, microservices data, sécurité & gouvernance.

Compétences comportementales

• Leadership technique et capacité à fédérer.

• Forte autonomie et sens de la responsabilité.

• Capacité à vulgariser des sujets complexes.

• Rigueur, sens du détail, orientation performance.

• Esprit collaboratif et culture produit.

Langues

• Anglais obligatoire (échanges internationaux, documentation, réunions).

Profil recherché

• 7 à 10 ans d’expérience en data engineering.

• Expérience démontrée dans la construction d’une data plateforme from scratch.

• Maîtrise des environnements cloud, idéalement GCP.

• Expertise Kafka indispensable.