DataOps Engineer

Contexte

Mise en place d'une plateforme de données principalement sur Databricks, avec extension sur les clouds publics Azure et AWS. La plateforme gère environ 200 use cases répartis sur 70 workspaces Databricks dans un environnement technique exigeant chez une grande entreprise industrielle.

Missions

• Déploiement et maintenance d'infrastructures cloud pour plateformes de données

• Extension de Databricks avec des ressources cloud publiques (Azure et AWS)

• Automatisation des déploiements via Terraform/Terragrunt

• Gestion des accès aux données cross-plateformes

• Mise en place d'une solution d'observabilité pour la plateforme

• Optimisation des performances et des coûts

Compétences techniques

• Expertise en Terraform et Terragrunt

• Maîtrise d'AWS et de ses services serverless

• Expérience significative avec Databricks

• Compétences avancées en GitHub et CI/CD pipelines

• Expérience en data engineering

• Expérience en observabilité de plateformes

Informations pratiques

• Localisation : Rueil-Malmaison (déménagement à Nanterre en novembre)

• Disponibilité : Démarrage sous un mois ok

• Durée : Mission longue

• Équipe : Intégration dans une équipe de 3-4 personnes (tech lead, devs, PO, architectes)

1. maîtrise solide de Terraform et Terragrunt

2. vraie expérience Databricks côté plateforme

3. forte compétence cloud, surtout AWS, avec bonne compréhension Azure

4. background data engineering

5. expérience enterprise avec sécurité, accès et observabilité