Data Engineer Senior - Iceberg

Contexte

Dans le cadre du renforcement de son pôle Data Services, un grand acteur du secteur ferroviaire recherche un Data Engineer Senior pour accompagner la conception, l’industrialisation et l’évolution de ses solutions Data.

Le consultant interviendra sur des sujets à forts enjeux autour de la Data Engineering, des architectures Lakehouse, de la modélisation et de l’optimisation des pipelines, avec une forte dimension industrialisation et Cloud.

Missions

• Concevoir, développer et optimiser des pipelines Data à grande échelle.

• Mettre en place des flux batch, streaming et ingestion via API.

• Structurer les données selon le modèle Médaillon : Bronze / Silver / Gold.

• Développer et industrialiser les pipelines avec DBT, Spark et Iceberg.

• Participer à la conception et à l’évolution de l’architecture Lakehouse.

• Déployer et maintenir les pipelines dans un environnement AWS.

• Orchestrer les workflows ETL/ELT avec Airflow.

• Mettre en œuvre l'Infrastructure as Code avec Terraform.

• Exécuter et maintenir les traitements dans des environnements Docker / Kubernetes.

• Garantir la disponibilité, la supervision et l'observabilité des traitements.

• Participer à la gestion des incidents et à l'amélioration continue.

• Définir et automatiser les règles de Data Quality : tests, contrôles et validations.

• Documenter les architectures, pipelines et règles métier.

• Veiller à la conformité des flux, notamment sur les aspects RGPD.

1. Data Engineer Senior avec 8 ans minimum d'expérience dans les environnements Big Data / Cloud / Lakehouse
2. Expérience concrète de la conception et de l'industrialisation de pipelines Data complexes
3. Capacité à intervenir sur les sujets techniques et les choix d'architecture
4. Maîtrise indispensable de DBT, Apache Iceberg, AWS, Python, Apache Spark et Modélisation Data / Médaillon (Bronze, Silver, Gold)
5. Compétences importantes en Terraform / Infrastructure as Code, Airflow, Docker, Kubernetes, Datadog / Observabilité, Trino / Starburst, Streaming / ingestion API, Data Quality / tests automatisés, Architecture Lakehouse et Big Data
6. Forte capacité d'analyse et de résolution de problèmes
7. Bonne compréhension des enjeux métiers
8. Autonomie et capacité à intervenir sur des sujets complexes
9. Rigueur dans la conception et l'industrialisation
10. Culture DevOps / DataOps
11. Sensibilité forte à la qualité, la fiabilité et l'observabilité des données
12. Capacité à documenter et à communiquer avec les équipes techniques et métiers
13. Profil très orienté AWS + Spark + DBT + Iceberg avec une vraie expérience Lakehouse
14. Expérience concrète et discriminante sur Iceberg + DBT + Spark dans un environnement AWS