Expert Azure Databricks & Azure Batch - Data Engineering / DevOps

Contexte

Dans le cadre de l'accélération des projets Data & IA sur Microsoft Azure, nous recherchons un expert confirmé capable de concevoir, industrialiser et maintenir des plateformes de traitement de données à grande échelle. Le consultant interviendra sur des environnements Cloud Azure exigeants, avec un fort niveau d'automatisation, de performance et de fiabilité.

L'expertise Azure Databricks et Azure Batch est au cœur de la mission, associée à de solides compétences en développement Python et en pratiques DevOps.

Missions

• Concevoir et développer des pipelines de traitement de données robustes et performants.
• Industrialiser les traitements batch et distribués sur Azure.
• Automatiser les déploiements et l'exploitation des plateformes Data.
• Garantir la scalabilité, la résilience et la sécurité des solutions mises en œuvre.
• Contribuer aux bonnes pratiques d'architecture Cloud et Data Engineering.
• Accompagner les équipes projet dans l'adoption des standards DevOps.

Responsabilités principales

Azure Databricks

• Concevoir et développer des traitements de données distribués sous Azure Databricks.
• Développer des notebooks et workflows Python/PySpark.
• Optimiser les performances des jobs Databricks.
• Mettre en place les mécanismes de monitoring et d'observabilité.
• Concevoir des architectures Lakehouse basées sur Delta Lake.
• Gérer les clusters et les stratégies d'optimisation des coûts.

Azure Batch

• Concevoir et orchestrer des traitements massifs sur Azure Batch.
• Mettre en place les pools de calcul et stratégies d'exécution.
• Industrialiser les traitements à forte volumétrie ou forte consommation CPU/GPU.
• Optimiser les mécanismes de parallélisation et de distribution de charge.
• Assurer la supervision et la gestion des incidents.

Développement Python

• Développer des composants applicatifs et techniques en Python.
• Créer des librairies réutilisables et maintenables.
• Réaliser les tests unitaires, d'intégration et de performance.
• Participer aux revues de code et à l'amélioration continue.

DevOps & Automatisation

• Mettre en œuvre des pipelines CI/CD.
• Automatiser les déploiements d'infrastructures et d'applications.
• Développer les Infrastructure as Code (Terraform/Bicep).
• Gérer les environnements de développement, recette et production.
• Assurer la qualité, la sécurité et la conformité des déploiements.

Compétences techniques requises

Cloud & Data

• Microsoft Azure (expert)
• Azure Databricks (expert)
• Azure Batch (expert)
• Azure Data Lake Storage Gen2
• Azure Key Vault
• Azure Monitor / Log Analytics
• Azure Event Hub (apprécié)
• Azure Data Factory (apprécié)

Développement

• Python avancé
• PySpark
• SQL avancé
• API REST
• Développement orienté objet

DevOps

• Azure DevOps
• Git
• Terraform
• Bicep
• YAML Pipelines
• Docker
• Kubernetes / AKS (apprécié)

Data Engineering

• Architecture Lakehouse
• Delta Lake
• Optimisation des traitements distribués
• Gestion de données volumineuses
• Data Quality et Data Governance

Expérience attendue

• Minimum 5 ans d'expérience sur des projets Data Engineering ou Cloud Azure.
• Minimum 3 ans d'expérience significative sur Azure Databricks.
• Expérience démontrée sur Azure Batch dans des contextes de calcul distribué.
• Forte expérience en développement Python.
• Expérience des environnements DevOps et CI/CD.
• Connaissance des enjeux de performance, de sécurité et de maîtrise des coûts Cloud.

Expert Azure Databricks / Azure Batch disposant d'une forte culture Cloud et DevOps, capable d'intervenir aussi bien sur les problématiques d'architecture, de développement Python, d'industrialisation que d'exploitation des plateformes Data à grande échelle. Une expérience dans des environnements critiques et fortement automatisés constitue un atout majeur.

1. Anglais courant
2. Minimum 5 ans d'expérience sur des projets Data Engineering ou Cloud Azure
3. Minimum 3 ans d'expérience significative sur Azure Databricks
4. Expérience démontrée sur Azure Batch dans des contextes de calcul distribué
5. Forte expérience en développement Python
6. Expérience des environnements DevOps et CI/CD
7. Connaissance des enjeux de performance, de sécurité et de maîtrise des coûts Cloud
8. Compétences techniques en Microsoft Azure, Azure Databricks, Azure Batch, Azure Data Lake Storage Gen2, Azure Key Vault, Azure Monitor / Log Analytics
9. Compétences en développement : Python avancé, PySpark, SQL avancé, API REST, développement orienté objet
10. Compétences DevOps : Azure DevOps, Git, Terraform, Bicep, YAML Pipelines, Docker, Kubernetes / AKS (apprécié)
11. Connaissance en architecture Lakehouse, Delta Lake, optimisation des traitements distribués, gestion de données volumineuses, Data Quality et Data Governance
12. Profil expert disposant d'une forte culture Cloud et DevOps, capable d'intervenir sur l'architecture, le développement Python, l'industrialisation et l'exploitation des plateformes Data à grande échelle
13. Une expérience dans des environnements critiques et fortement automatisés constitue un atout majeur