Architecture technique et solution - PO Databricks

Consultant pour “Technical Office” - PO pour la construction du service Databricks

Contexte et Enjeux :

Le « BUREAU TECHNIQUE » est au cœur des stratégies de transformation des données du groupe. Sa mission principale est de collaborer avec toutes les entités informatiques de la banque en termes d'architecture et de solutions techniques.

Le travail du « TECHNICAL OFFICE » fait partie de la gouvernance informatique du Groupe. Ils sont réalisés selon une logique transversale avec les différentes populations d'architectes techniques des entités IT Business et Production, afin de guider la transformation du domaine des données et de l'IA. Ils visent à assurer la cohérence, l'interopérabilité et la durabilité des choix techniques au sein du Groupe et à développer les possibilités de mutualisation entre les entités.

Le poste à pourvoir se situe au sein de l'activité responsable de :

1. Étude des solutions pour établir des feuilles de route annuelles

2. Maintenir la cohérence de l'intégration technique au sein de la gestion entre les départements données et IA

Les principaux objectifs du poste sont de contribuer à l'enrichissement et au maintien du corpus des livrables de référence, géré par le « BUREAU TECHNIQUE ».

Et dans le cadre du lancement d'une preuve de concept (POC) sur Azure Databricks, nous recherchons un consultant senior pour définir l'architecture cible et mettre en œuvre un environnement de sandbox (bac à sable) opérationnel. L'objectif est de valider la viabilité technique de la plateforme et d'établir les bases d'une future industrialisation.

Missions principales :

1. Design le service Databricks

• Participation à la construction l'offre de service de la plateforme Databricks au sein de l'écosystème Azure (VNET Injection, Private Links, etc.).

2. Mise en place de la Sandbox

• Déploiement de l'espace de travail (Workspace) Databricks et configurer les clusters (dimensionnement, politiques d'auto-scaling).

• Mise en œuvre de l'intégration avec Dataiku (on prem chez BNPP ou chez Azure)

• Mise en œuvre de la gouvernance des données et des accès via Unity Catalog

• Configuration de l'authentification (Entra ID / Azure AD) et les contrôles de sécurité.

3. Accompagnement au POC

• Aide au développement des cas d’usage en PySpark, SQL

• Mise en place des premiers pipelines d'ingestion de données pour les tests.

• Documentation des bonnes pratiques de développement et de déploiement (CI/CD).

Profil recherché

1. Compétences Techniques (Hard Skills)

• Maîtrise experte d'Azure Databricks : Configuration, optimisation de clusters, Unity Catalog.

• Architecture Cloud Azure : Très bonne connaissance de l'infrastructure (réseau, sécurité, IAM).

• Data Engineering : Expertise en Spark (PySpark/Scala un plus), SQL, et maîtrise du format Iceberg.

2. Expériences

• Ayant de l'expérience en Data Architecture ou Data Engineering.

• Au moins des expériences significatives de mise en place d'environnements Databricks.

Livrables attendus

• Document de Design de service détaillant l'intégration Azure/Databricks.

• Participation à la rédaction de la documentation pour les comités de CVSIT et de CMAT.

• Environnement Sandbox fonctionnel et sécurisé.

• Guide de "Best Practices" pour les utilisateurs de la Sandbox.