Architecte - Lyon

Contexte

Cette équipe en cours de construction est aujourd'hui constituée d'un chef de projet. Elle est accompagnée par diverses ressources du pôle, du département ou des équipes applicatives (managers, coordinateurs, référents techniques, pilote de systèmes applicatifs...).

La mission du projet : accompagner la migration et l’industrialisation d’une plateforme data cible autour de Databricks / Spark / Power BI.

Missions

• Concevoir, développer et maintenir des pipelines data sous Databricks / Spark
• Développer les traitements en Python, PySpark et SQL
• Contribuer à la définition et à la mise en œuvre du modèle de données cible
• Industrialiser les pipelines : standards de développement, tests, CI/CD, déploiement
• Mettre en place des traitements robustes, maintenables et scalables
• Orchestrer les traitements via Databricks Workflows / Lakeflow Jobs
• Contribuer à la qualité, à l’observabilité et à la fiabilité des traitements
• Participer au run : suivi de production, analyse d’incidents, amélioration continue
• Prendre en compte les enjeux de performance et de maîtrise des coûts

Activités secondaires :

• Participer au cadrage des besoins avec le Product Owner et les équipes utilisatrices
• Contribuer aux choix techniques liés à la nouvelle plateforme data
• Participer à la mise en place des pratiques de développement Databricks
• Contribuer à l’interfaçage avec Power BI ou à des processus intégrés Databricks / Power BI
• Participer à l’intégration de sources d’alimentation du datalake, Kafka apprécié
• Contribuer à la documentation technique et aux standards d’équipe
• Participer aux rituels agiles et à l’amélioration continue de la feature team

Outils & Environnement

• Obligatoires : Databricks, Spark, PySpark, Python, SQL
• Obligatoires : Modélisation data, Delta Lake, Unity Catalog
• Obligatoires : CI/CD, tests, industrialisation des pipelines
• Demandées : Certification Databricks, cloud public, Terraform
• Demandées : Databricks Workflows, observabilité
• Appréciées : Kafka, Lakeflow / DLT, Power BI
• Appréciées : Certification cloud

Conditions de travail

• Expertise Databricks confirmée : minimum 4 ans, avec certification Databricks
• Expérience concrète en modélisation de données
• Participation à un projet de migration ou transformation data
• Autonomie forte après montée en compétence sur le contexte
• Leadership technique sans posture managériale obligatoire
• Capacité à structurer, standardiser et documenter
• Force de proposition et esprit d’amélioration continue
• Capacité à travailler avec des profils Data, BI, PO et métier
• Orientation solutions robustes, maintenables et industrialisables

Compétences techniques attendues

• Expertise confirmée sur Databricks
• Très bonne maîtrise de Spark / PySpark
• Très bonne maîtrise de Python et SQL
• Solide compétence en modélisation de données
• Bonne connaissance de Delta Lake et Unity Catalog
• Expérience en industrialisation de pipelines data : CI/CD, tests, déploiement
• Expérience sur des environnements cloud publics, sans cloud cible imposé
• Connaissance de Terraform pour les sujets Databricks / cloud
• Bonne pratique de Databricks Workflows
• Sensibilité à l’observabilité, à la qualité de service et à la maintenabilité
• Appétence pour les sujets de performance et de maîtrise des coûts
• Kafka apprécié pour l’ingestion de données vers le datalake
• Power BI apprécié pour les usages d’exposition et de consommation BI
• Certification Databricks attendue
• Certification cloud appréciée

Niveau de compétence

• PYSPARK : Expert
• Modélisation data, Delta Lake, Unity Catalog : Expert
• Python : Expert
• SQL : Expert
• Microsoft Azure Databricks : Expert
• Spark : Expert
• CI/CD, tests, industrialisation des pipelines : Expert

1. Minimum 4 ans d'expérience confirmée en Databricks avec certification Databricks
2. Expérience concrète en modélisation de données
3. Participation à un projet de migration ou transformation data
4. Très bonne maîtrise de Spark / PySpark
5. Très bonne maîtrise de Python et SQL
6. Bonne connaissance de Delta Lake et Unity Catalog
7. Expérience en industrialisation de pipelines data : CI/CD, tests, déploiement
8. Expérience sur des environnements cloud publics, sans cloud cible imposé
9. Connaissance de Terraform pour les sujets Databricks / cloud
10. Bonne pratique de Databricks Workflows
11. Sensibilité à l’observabilité, à la qualité de service et à la maintenabilité
12. Appétence pour les sujets de performance et de maîtrise des coûts
13. Kafka apprécié pour l’ingestion de données vers le datalake
14. Power BI apprécié pour les usages d’exposition et de consommation BI
15. Certification cloud appréciée
16. Autonomie forte après montée en compétence sur le contexte
17. Leadership technique sans posture managériale obligatoire
18. Capacité à structurer, standardiser et documenter
19. Force de proposition et esprit d’amélioration continue
20. Capacité à travailler avec des profils Data, BI, PO et métier
21. Orientation solutions robustes, maintenables et industrializables