Senior Data & Analytics Engineer - Databricks / Python / R

Dans un environnement orienté data et analytics, le Senior Data & Analytics Engineer intervient en tant qu’expert technique afin d’accompagner les équipes de développement dans la conception, l’amélioration et l’industrialisation de solutions de traitement et d’analyse de données sur Azure Databricks.

Ses principales missions sont les suivantes :

• Support technique : accompagner les développeurs Python et R dans la résolution de problématiques techniques et l’utilisation des technologies data.

• Revue et optimisation du code : analyser, relire, déboguer et améliorer le code existant afin d’en garantir la qualité, la performance et la maintenabilité.

• Industrialisation des traitements : fiabiliser et industrialiser les workloads Databricks, les pipelines de données et les processus ETL/ELT.

• Définition des bonnes pratiques : mettre en place des standards de développement, des modèles de code réutilisables et des stratégies de tests adaptées aux environnements de production.

• Automatisation des déploiements : contribuer à la mise en œuvre des processus d’intégration et de déploiement continus (CI/CD), conformément aux standards techniques établis.

• Qualité et gouvernance des données : garantir la qualité, la traçabilité et la cohérence des données, notamment à travers Delta Lake et Unity Catalog.

• Optimisation des performances : analyser et optimiser les traitements Spark et PySpark afin d’améliorer leur efficacité et leur robustesse.

• Accompagnement des migrations : évaluer la pertinence des migrations de traitements R vers Python ou SQL sur la base de critères objectifs, techniques et opérationnels.

• Accompagnement au changement : favoriser l’adoption des outils et des standards de développement, assurer le transfert de connaissances et diffuser les bonnes pratiques.

• Respect des exigences réglementaires : contribuer à la mise en œuvre de solutions analytiques fiables répondant aux exigences des environnements réglementés.

Expérience professionnelle

• Expérience généralement supérieure ou égale à 7 ans en ingénierie logicielle ou en ingénierie des données.

• Expérience confirmée sur Databricks et Apache Spark.

• Expérience significative dans le développement, l’optimisation et l’industrialisation de traitements de données en production.

• Expérience dans l’accompagnement technique de développeurs Python et R.

• Une expérience dans des environnements analytiques réglementés constitue un atout.

• Une expérience d’Azure Databricks et des environnements de gouvernance des données est appréciée.

Compétences techniques requises

Databricks et ingénierie des données

• Maîtrise d’Azure Databricks, Delta Lake et Unity Catalog.

• Bonne maîtrise de SQL et des Jobs/Workflows Databricks.

• Solides connaissances des processus ETL/ELT et des architectures de traitement de données.

• Maîtrise de l’optimisation des performances Apache Spark.

Python et PySpark

• Expertise en Python et PySpark.

• Maîtrise des pratiques de tests, de débogage et de revue de code.

• Capacité à développer des solutions robustes, maintenables et adaptées à la production.

R et analyse de données

• Bonne maîtrise de R et de son écosystème, notamment tidyverse, data.table et sparklyr.

• Capacité à analyser, maintenir et optimiser des traitements existants en R.

Industrialisation et DevOps

• Maîtrise de Git et d’Azure DevOps.

• Bonne connaissance des pratiques CI/CD.

• Capacité à automatiser les tests et les déploiements et à appliquer des standards de développement.

Qualité et gouvernance des données

• Connaissance des principes de qualité, de traçabilité (data lineage) et de gouvernance des données.

• Capacité à fiabiliser les pipelines et à garantir la cohérence des traitements analytiques.

Compétences complémentaires appréciées

• MLflow pour le suivi du cycle de vie des modèles de machine learning.

• Power BI pour la visualisation et la restitution des données.

• Azure Storage pour le stockage des données.

• Microsoft Entra ID et Azure Key Vault pour la gestion des identités, des accès et des secrets.

Qualités et compétences transverses

• Capacité à accompagner techniquement les équipes et à transmettre les connaissances.

• Esprit d’analyse et aptitude à résoudre des problématiques techniques complexes.

• Capacité à justifier les choix d’architecture et les décisions de migration sur la base d’éléments factuels.

• Rigueur et sensibilité aux enjeux de qualité, de sécurité, de performance et de maintenabilité.

• Autonomie, esprit d’équipe et orientation vers des solutions fiables et industrialisables.