Data Engineer Big Data Senior

Bonjour,

Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Big Data

Dans le cadre du renforcement d’une équipe Data, nous recherchons un(e) Data Engineer Senior pour intervenir sur la conception, l’industrialisation et l’évolution de solutions Data à grande échelle.

La mission s’inscrit dans un environnement Big Data / Cloud / Lakehouse, avec des enjeux forts autour de la performance, de la qualité des données, de l’industrialisation et de l’observabilité des traitements.

Missions

• Concevoir, développer et optimiser des pipelines de données à grande échelle.

• Mettre en œuvre des flux Batch, Streaming et des ingestions via API.

• Structurer les transformations selon une architecture Médaillon Bronze / Silver / Gold.

• Développer et industrialiser les traitements avec Spark et dbt.

• Exploiter des formats de tables modernes, notamment Apache Iceberg.

• Participer à la conception et à l’évolution de l’architecture Lakehouse.

• Déployer et maintenir les pipelines dans un environnement AWS.

• Utiliser les services AWS dédiés à la Data, notamment S3, Glue et EMR.

• Orchestrer les workflows ETL / ELT avec Airflow.

• Mettre en œuvre l’Infrastructure as Code avec Terraform.

• Déployer et exécuter les traitements dans des environnements conteneurisés Docker / Kubernetes.

• Assurer la disponibilité, la supervision et l’observabilité des pipelines.

• Participer à la gestion des incidents et à l’amélioration continue de la plateforme.

• Définir et automatiser les règles de Data Quality : tests, contrôles et validations.

• Documenter les architectures, pipelines, transformations et règles métier.

• Veiller à la conformité et à la sécurisation des flux de données, notamment au regard des exigences RGPD.

Environnement technique

• Python

• Spark

• dbt

• Apache Iceberg

• AWS

• AWS S3 / Glue / EMR

• Airflow

• Terraform

• Docker

• Kubernetes

• Trino / Starburst

• Datadog

• Big Data

• Lakehouse

• Data Modeling

• Data Quality

• Data Catalog

• 8 ans minimum d’expérience en Data Engineering.

• Très bonne maîtrise des architectures Big Data et Lakehouse.

• Expertise confirmée en Spark, Python, dbt, AWS et Terraform.

• Expérience concrète des services AWS Data : Glue, EMR, S3...

• Bonne maîtrise de la modélisation Data et des architectures Bronze / Silver / Gold.

• Expérience de l’industrialisation de pipelines et des problématiques de collecte de données.

• Bonne connaissance des environnements de production Data : orchestration, supervision, incidents, CI/CD et observabilité.

• Une connaissance de Starburst / Trino est fortement appréciée.

• La connaissance d’outils de Data Catalog constitue un plus.

• Capacité à comprendre les enjeux métier et à les traduire en solutions techniques robustes.

• Autonomie, rigueur, capacité d’analyse et culture de l’amélioration continue.