Data Engineer Databricks / Unity Catalog – Admin Big Data Azure & Migration PaaS

Paris (75)

Hybride – 2 jours de télétravail/semaine

36 mois

Contexte et enjeux

Dans le cadre de la modernisation de son écosystème Big Data, la DSI d'un acteur majeur du transport ferroviaire recherche un Consultant Expert Databricks / Unity Catalog pour accompagner l'exploitation, l'administration et l'évolution de sa plateforme de données.

Le pôle Big Data développe, au sein d'un projet stratégique, plusieurs cas d'usage exploitant des données et produisant quotidiennement des résultats à destination des métiers.

Ces cas d'usage nécessitent notamment :

• La conception et l'exploitation de flux d'ingestion et d'exposition de données, via des Data Gateways ou d'autres mécanismes d'intégration.

• La connexion de solutions de Data Visualization.

• L'automatisation des traitements et des flux ETL.

• L'administration d'une nouvelle plateforme Big Data en environnement PaaS.

• La gestion de la gouvernance des données, des habilitations, des clés de sécurité, des Key Vaults et des API Managers.

• La contribution à la migration de l'ancienne plateforme vers la nouvelle architecture.

• L'optimisation des performances en lecture et en écriture, aussi bien au niveau du stockage physique que de l'utilisation mémoire.

• L'industrialisation des déploiements via GitLab Enterprise (CI/CD).

La plateforme étant administrée directement par les équipes internes, la mission exige une expertise approfondie en administration, sécurité, gouvernance et exploitation de Databricks en production.

Missions détaillées

1. Administration et maintien en conditions opérationnelles

• Assurer le MCO de la plateforme Big Data.

• Administrer les workspaces Databricks et leurs configurations.

• Gérer les clusters, les espaces de stockage, les storages et les blobs.

• Superviser le fonctionnement des traitements Big Data, des jobs et des pipelines Databricks.

• Créer, configurer et maintenir les traitements nécessaires aux besoins métiers.

• Mettre en place et exploiter des tables de monitoring et des dashboards de supervision.

• Garantir la stabilité, la disponibilité et le bon fonctionnement de la plateforme en production.

• Assurer le suivi opérationnel et le traitement des demandes via JIRA.

2. Gouvernance des données et administration Unity Catalog

• Assurer la gouvernance de la plateforme via Unity Catalog.

• Administrer le metastore France en environnement de PRODUCTION, avec un rôle de coadministrateur.

• Créer, modifier et administrer les objets et configurations de gouvernance.

• Gérer les droits d'accès, les habilitations et les permissions sur les données.

• Créer et administrer les groupes Azure Active Directory (AAD) métiers et SI.

• Configurer et maintenir les mécanismes de synchronisation SCIM avec Databricks.

• Créer, administrer et renouveler les clés de sécurité, les Service Principals (SP) et les identités managées.

• Assurer la gestion des Key Vaults et des mécanismes de sécurisation des accès.

• Participer à la définition et à l'application des règles de gouvernance des données.

3. Ingénierie des flux Big Data et intégration

• Concevoir, spécifier et mettre en œuvre les flux Big Data entrants et sortants.

• Créer et maintenir les flux d'ingestion et d'exposition de données.

• Préparer les volumes et espaces de stockage nécessaires à l'alimentation des différentes sources de données.

• Préparer les volumes nécessaires à l'exposition et à la consommation des données.

• Gérer les mécanismes de Data Bridge entre les différents storages.

• Développer et maintenir les jobs et pipelines Databricks.

• Participer à l'automatisation des flux ETL.

• Intégrer les flux avec les Data Gateways, les API Managers et les solutions de Data Visualization.

• Exploiter SQL, XML et JSON dans les échanges et les traitements de données.

• Utiliser Power Automate pour l'automatisation des processus et des flux.

4. Migration, modernisation et optimisation

• Contribuer à la migration de l'ancienne plateforme Big Data vers le nouvel environnement PaaS.

• Accompagner la refonte et l'adaptation des programmes existants pour un fonctionnement en architecture Serverless.

• Optimiser les performances des traitements et des accès aux données.

• Améliorer les performances en lecture et en écriture.

• Optimiser l'utilisation des ressources physiques, du stockage et de la mémoire.

• Participer à l'industrialisation et à la fiabilisation des déploiements via GitLab Enterprise.

• Accompagner l'évolution technique de la plateforme en garantissant la continuité des traitements existants.

5. Documentation, pilotage et reporting

• Rédiger et maintenir la documentation technique de la plateforme et de ses différents fonctionnements.

• Produire les spécifications techniques des flux Big Data.

• Documenter les configurations, les traitements, les règles de gouvernance et les procédures d'administration.

• Assurer le suivi des travaux et des tickets dans JIRA.

• Participer aux points hebdomadaires d'avancement.

• Produire des rapports d'activité semestriels.

• Suivre les objectifs définis et contribuer à leur atteinte.

Stack technique et environnement

Domaine

Technologies / Outils

Plateforme Big Data

Databricks, Jobs, Pipelines, Workspaces, Clusters

Gouvernance

Unity Catalog, Metastore, gestion des droits

Cloud et infrastructure

PaaS, Storages, Blobs, Serverless

Identité et sécurité

Azure AD (AAD), SCIM, Service Principals, Managed Identities, Key Vaults

Intégration de données

ETL, Data Gateway, Data Bridge, API Management

Langages et formats

SQL, XML, JSON

CI/CD

GitLab Enterprise

Automatisation

Power Automate

Data Visualization

Power BI, Dashboards

Supervision

Tables de monitoring, dashboards de suivi

Gestion de projet

JIRA

Bureautique

Microsoft Office 365, Excel

Modalités de la mission

Localisation

Paris (75)

Télétravail

2 jours par semaine

Démarrage souhaité

1er décembre 2026

Durée

36 mois

Particularité contractuelle

10 jours de gratuité au démarrage de la prestation

Expérience : 5 à 20 ans

Nous recherchons un consultant Big Data senior disposant d'une très forte expertise technique sur Databricks et Unity Catalog, avec une expérience opérationnelle significative de l'administration de plateformes critiques en production.

Compétences indispensables

• Expertise avancée en Unity Catalog : maîtrise complète de l'administration, de la gouvernance, des droits d'accès et de la gestion d'un metastore en production. Capacité à intervenir comme coadministrateur du metastore France.

• Très haut niveau sur Databricks : expérience confirmée en coadministration de workspaces de production, administration des clusters, gestion des jobs et pipelines.

• Administration et exploitation Big Data : expérience du MCO, de la supervision et du suivi de plateformes de données.

• Gestion des identités et des accès : connaissance des groupes AAD, du provisioning SCIM, des Service Principals et des identités managées.

• Power Automate : bonne maîtrise de l'outil et de ses possibilités d'automatisation.

• JIRA : maîtrise du suivi et de la gestion des tickets de travaux.

• SQL, XML, JSON : connaissance des langages et formats utilisés pour le traitement et l'échange de données.

• Microsoft 365 : connaissance de la suite Office 365, particulièrement Excel et Power BI.

Compétences complémentaires appréciées

• Expérience de migration de plateformes Big Data vers des architectures PaaS.

• Connaissance des architectures Serverless et des problématiques de refactoring.

• Maîtrise des mécanismes de Data Gateway et de Data Bridge entre espaces de stockage.

• Expérience des chaînes CI/CD sous GitLab Enterprise.

• Compétences en optimisation des performances de traitement, de stockage et de mémoire.

• Expérience en documentation technique, spécification de flux et suivi d'exploitation.

Qualités attendues

• Forte autonomie technique et capacité à administrer des environnements de production.

• Rigueur dans la gestion des accès, de la sécurité et de la gouvernance.

• Capacité d'analyse et de résolution d'incidents techniques.

• Aptitude à travailler avec des équipes techniques et métiers.

• Capacité à formaliser les réalisations et à assurer un reporting régulier.

Langue : français courant.