Senior Data Engineer

Notre client recherche un Senior Data Engineer (H/F) dans le cadre d'une longue mission.

Intervenir au sein de la Data & IA Factory pour concevoir, développer et industrialiser des solutions Data & IA dans un environnement hybride (on-premise et cloud), avec un fort enjeu de performance et de passage à l’échelle.

- Concevoir et développer des pipelines de traitement de données (batch & streaming)

- Industrialiser les solutions Data & IA (mise en production, performance, robustesse)

- Participer aux phases BUILD (développement, tests, documentation)

- Contribuer aux phases RUN (support avancé, amélioration continue)

- Optimiser les performances des traitements Spark

- Mettre en place et maintenir des pipelines orchestrés (Airflow ou équivalent)

- Participer à la définition des standards techniques Data

- Collaborer avec équipes métiers, Data Scientists, DevOps et IT

- Assurer le suivi, la communication et la documentation des travaux

Livrables :

- Pipelines Data industrialisés et documentés

- Solutions Data performantes et exploitables en production

- Documentation technique et bonnes pratiques

Senior Data Engineer (6 à 9 ans d’expérience minimum)

Forte capacité de leadership technique

Expérience en environnement complexe et industrialisé

Capacité à évoluer en environnement transverse et Agile

Compétences métier :

- Industrialisation de solutions Data & IA

- Gestion du cycle de vie de la donnée

- Architecture Data (Data Lake / Lakehouse)

- Exploitation et performance des plateformes Data

Compétences techniques :

- Big Data / Data Engineering : Spark (batch & streaming)

- Langages : Scala, Python, SQL

- Environnements : Cloudera (on-premise), Azure, Databricks

- Streaming : Kafka

- Orchestration : Airflow ou équivalent

- CI/CD & DevOps : industrialisation, automatisation

- Architecture : API, ESB, web services, sFTP

- Outils : JIRA, Confluence, Microsoft Teams

- Méthodologies : Agile / Scrum / SAFe