Ingénieur DevOps Cloud Azure - Expert Databricks

Contexte

• Dans le cadre de l’accélération de ses projets Data & IA sur Microsoft Azure, un client recherche un consultant confirmé pour concevoir, industrialiser et maintenir des plateformes de traitement de données à grande échelle.
• La mission associe une expertise Azure Databricks et Azure Batch, de solides compétences en Python et une forte culture DevOps.
• Les principaux enjeux sont la performance, la fiabilité, la sécurité et la maîtrise des coûts Cloud.

Missions – Azure Databricks & Data Engineering

• Concevoir et développer des pipelines de données et des traitements distribués en Python/PySpark.
• Développer et maintenir les notebooks et workflows Databricks.
• Concevoir des architectures Lakehouse reposant sur Delta Lake.
• Optimiser les performances des jobs, la gestion des clusters et les coûts.
• Mettre en place le monitoring, l’observabilité et les contrôles de qualité des données.

Missions – Azure Batch

• Concevoir et orchestrer des traitements massifs et distribués.
• Configurer les pools de calcul et les stratégies d’exécution.
• Industrialiser les traitements à forte volumétrie ou nécessitant des ressources CPU/GPU importantes.
• Optimiser la parallélisation et la répartition des charges.
• Assurer la supervision et la gestion des incidents.

Missions – Développement Python

• Développer des composants techniques et des bibliothèques réutilisables et maintenables.
• Réaliser les tests unitaires, d’intégration et de performance.
• Participer aux revues de code et à l’amélioration continue.

Missions – DevOps & exploitation

• Mettre en œuvre les pipelines CI/CD avec Azure DevOps.
• Automatiser les déploiements des infrastructures et des applications avec Terraform/Bicep.
• Gérer les environnements de développement, de recette et de production.
• Garantir la scalabilité, la résilience et la sécurité des plateformes.
• Accompagner les équipes dans l’adoption des standards Cloud et DevOps.

Compétences techniques requises

• Microsoft Azure : niveau expert.
• Azure Databricks : niveau expert.
• Azure Batch : niveau expert.
• Azure Data Lake Storage Gen2.
• Azure Key Vault.
• Azure Monitor / Log Analytics.
• Python avancé, PySpark et SQL avancé.
• API REST et programmation orientée objet.
• Azure DevOps, Git et pipelines YAML.
• Terraform et Bicep.
• Docker.
• Architecture Lakehouse et Delta Lake.
• Optimisation des traitements distribués et gestion de données volumineuses.
• Data Quality et Data Governance.

Compétences appréciées

• Azure Event Hubs.
• Azure Data Factory.
• Kubernetes / AKS.

Modalités

• Localisation : à préciser.
• Démarrage : à préciser.
• Durée : à préciser.
• Télétravail : à préciser.

1. Minimum 5 ans d’expérience sur des projets Data Engineering ou Cloud Azure
2. Minimum 3 ans d’expérience significative sur Azure Databricks
3. Expérience démontrée sur Azure Batch dans des contextes de calcul distribué
4. Forte maîtrise du développement Python et des pratiques DevOps / CI/CD
5. Capacité à intervenir sur l’architecture, le développement, l’industrialisation et l’exploitation des plateformes
6. Bonne compréhension des enjeux de performance, de sécurité et de maîtrise des coûts Cloud
7. Une expérience dans des environnements critiques et fortement automatisés constitue un atout