AWS Serverless Data Architect / Lead Data Engineer

Contexte du poste

Dans le cadre de la modernisation d’une plateforme data à forte volumétrie, nous recherchons un(e) AWS Serverless Data Architect / Lead Data Engineer.

L’objectif est de faire évoluer une architecture data traditionnelle (batch / ETL) vers une architecture cloud-native, event-driven et temps réel, capable de traiter des flux massifs utilisateurs avec scalabilité, résilience et optimisation des coûts.

Le rôle est transverse et stratégique, avec un fort impact sur les choix d’architecture et les standards data de l’organisation.

Architecture Data (Event-Driven & Serverless)

Concevoir des architectures data serverless et event-driven sur AWS

Définir des pipelines d’ingestion et de transformation distribués et scalables

Mettre en place des systèmes découplés basés sur la messagerie et les événements

Garantir la résilience, la performance, la scalabilité et l’optimisation des coûts

Participer à l’évolution vers des architectures type Data Mesh

Data Engineering & Streaming

Concevoir et industrialiser des pipelines temps réel et quasi temps réel

Transformer des flux batch ETL vers des architectures streaming

Implémenter les patterns distribués :

retry

idempotence

dead-letter queues (DLQ)

gestion du backpressure

Gérer des flux de données à grande échelle (millions d’utilisateurs)

Cloud & AWS (Core Expertise)

Concevoir et exploiter des architectures sur AWS :

Lambda

Kinesis / Firehose

SQS / SNS

EventBridge

Step Functions

S3

DynamoDB

Structurer des Data Lakes sur S3 (formats Parquet / JSON / Avro)

Optimiser les coûts et la performance des systèmes cloud

Migration & Industrialisation

Migrer des pipelines ETL batch vers des architectures cloud-native event-driven

Mettre en place l’Infrastructure as Code (Terraform / CloudFormation)

Industrialiser les déploiements via CI/CD (GitHub Actions / GitLab CI)

Garantir la maintenabilité et la standardisation des architectures

Observabilité & Qualité

Mettre en place monitoring, logging et tracing des flux data

Suivre la latence, la qualité et la fiabilité des pipelines

Assurer la data quality et la cohérence des données en production