Data Engineer Databricks confirmé

Rejoignez un pure-player du conseil et de l'ingénierie Data en pleine croissance à Lyon.
Structure à taille humaine et expertisé avec la présence de plusieurs expert de la Modern Data Stack.

Vous intervenez au cœur de la conception, de l'industrialisation et de la montée en puissance de plateformes Data Lakehouse stratégiques. Vous appliquez la rigueur et les standards du génie logiciel (Clean Code, TDD, CI/CD, DataOps) aux architectures Modern Data Stack.

Vos missions clés :

• Concevoir et optimiser des pipelines de données scalables et performants sur Databricks.

• Mettre en œuvre et standardiser l'architecture Médaillon (Bronze, Silver, Gold) sur Delta Lake.

• Définir les bonnes pratiques de développement, les stratégies de tests automatisés et garantir la qualité logicielle du code.

• Mettre en place et maintenir les chaînes de déploiement CI/CD appliquées aux pipelines Data (Databricks Asset Bundles, Terraform).

• Collaborer en mode Agile avec des profils transverses (Architectes, PO, DevOps, ML Engineers) et apporter un véritable poids décisionnel chez nos clients.

Nous recherchons un profil disposant de minimum 3 ans sur Databricks en Data Engineering.
Doté d'une forte sensibilité aux bonnes pratiques de Software Engineering et d'une expertise reconnue sur l'écosystème Databricks de minimum 3 ans hors stage et alternance.

Compétences techniques clés :

• Maîtrise avancée de la plateforme Databricks et d'Apache Spark (PySpark, Spark SQL).

• Expertise sur Delta Lake et ses mécanismes avancés (Delta log, ACID, time travel).

• Solide bagage en Software Engineering : maîtrise avancée de Python et SQL, tests unitaires (pytest), contrôle de version (Git) et CI/CD.

• Connaissance des environnements Cloud (AWS, Azure ou GCP) et des enjeux de performance/coûts.

• La possession d'une certification Databricks (Associate ou Professional) est un vrai plus.

Soft Skills & Posture :

• Esprit d'équipe, rigueur, autonomie et vraie capacité pédagogique/vulgarisation.

• Leadership technique (pour la tranche Senior/Tech Lead) et goût pour le partage de connaissances.