Architecte / Tech Lead Data - Azure Databricks

Contexte FREELANCE OU CDI

Remplacement à faire au sein d’une équipe de 5 à 6 personnes sur un projet long terme.
La mission concerne une Data Platform existante avec maintien et amélioration, intégration de l’IA et prise en compte de la sécurité client.
Démarrage ASAP, en présentiel 2 à 3 jours par semaine à Lyon, avec un temps plein souhaité (possibilité de démarrer à 3/5ème).

Missions

• Optimisation et mise en place de l’architecture Data Platform (Azure Databricks) en appliquant les bonnes pratiques de gouvernance, performance et scalabilité

• Organisation et structuration des ressources pour l’industrialisation de nouveaux use cases et la livraison en production

• Montée en compétence de l’équipe Data (mentorat, standards d’architecture, bonnes pratiques CI/CD)

• Implémentation d’une architecture Data Mesh orientée domaines

• Mise en place des droits d’accès et de la gouvernance des Data Domains et des use cases via Databricks Unity Catalog

• Gestion centralisée du catalogue de données, data lineage et sécurité

• Refonte et optimisation de l’architecture Data Platform pour améliorer performance, coûts et maintenabilité

• Optimisation des performances de traitement (Spark tuning, optimisation Delta, partitioning, caching)

• Création et orchestration de workflows sur Azure Databricks

• Développement de notebooks d’intégration et de transformation des données (PySpark / SQL)

• Développement de pipelines Azure Data Factory

• Mise en place de pipelines DevOps CI/CD et industrialisation des déploiements multi-environnements (DEV / UAT / PROD)

• Mirroring des catalogues et use cases Databricks vers Fabric pour unifier la gouvernance et faciliter l’adoption métier

• Utilisation des Shortcuts vers OneLake afin d’éviter la duplication de données, réduire les coûts de stockage et améliorer la performance des rapports Microsoft Power BI

• Implémentation d’AI Data Agents pour démocratiser l’accès aux données

• Utilisation de Copilot via Data Agent pour permettre aux utilisateurs métier d’interagir en langage naturel avec les données

• Intégration des Data Agents dans Microsoft Teams afin d’améliorer la collaboration et la génération assistée d’insights

Outils & Environnement

• Azure Databricks, Databricks Unity Catalog

• Azure Data Factory, Azure DevOps, Azure Key Vault

• Azure Data Lake Storage (ADLS Gen2), Azure Cosmos DB

• Microsoft Power BI, OneLake

• PySpark, Spark SQL, Delta Lake

• CI/CD, Data Mesh, Lakehouse Architecture

Conditions de travail

• Temps plein souhaité (possibilité de démarrer à 3/5ème)

• Présentiel 2 à 3 jours par semaine à Lyon

• Démarrage ASAP

• Rôle partagé : 2/5 architecture, 2/5 lead tech Databricks, 1/5 travail sur les use cases métier

• Anglais requis

• FR Nucléaire

1. 2 à 3 jours par semaine disponibles, idéalement à Lyon
2. Expérience en architecture (2/5)
3. Expérience en lead technique Databricks (2/5)
4. Compétences métier (1/5 sur les use cases)
5. Maîtrise de l’anglais
6. Compétences en Azure Databricks, Databricks Unity Catalog, Azure Data Factory, Azure DevOps, Azure Key Vault, Azure Data Lake Storage (ADLS Gen2), Azure Cosmos DB, Microsoft Power BI, OneLake
7. Maîtrise de PySpark, Spark SQL, Delta Lake
8. Expérience avec les pratiques de CI/CD et Data Mesh
9. Connaissance de l’architecture Lakehouse