Senior Data Engineer – Optimisation & Scalabilité Pipeline PySpark (Forecast ML)

Contexte
Grand acteur international du retail développant une pipeline de prévision de la demande déployée à l’échelle mondiale (Europe, Asie, Inde) avec extension internationale en cours.

Nous recherchons un Senior Data Engineer pour optimiser, stabiliser et scaler une pipeline PySpark en production, dans un environnement data à forte volumétrie.

Enjeux principaux
• Audit et refonte des modules data engineering
• Optimisation performance (compute, partitioning, joins, cache, skew)
• Industrialisation et adaptation multi-régions
• Réduction de la dette technique
• Renforcement des tests (unitaires, intégration)
• Amélioration monitoring & CI/CD
• Migration Unity Catalog
• Collaboration étroite avec Data Scientists & ML Engineers

Stack
Python, PySpark, Databricks
AWS (S3, ECR)
Airflow
Docker
GitHub / GitHub Actions
UV / Poetry

Profil recherché
• Expérience solide en optimisation de pipelines distribuées
• Maîtrise Spark / volumétrie importante
• Expérience cloud AWS
• Forte capacité à structurer et prioriser les activités Run & Stabilisation
• Sensibilité Agile (Scrum) appréciée

Modalités
Mission long terme
Régie
On-site Paris (remote occasionnel)