Expert Data Engineer – Plateforme Data Cloud (H/F)

Localisation

Île-de-France

Mode

Mission longue – environnement data moderne – contexte groupe

Contexte de la mission

Dans le cadre du développement de son système d'information décisionnel, un grand groupe français renforce sa plateforme data dédiée au pilotage des activités immobilières.

La mission s'inscrit dans l'évolution d'un hub de données centralisé, permettant de consolider, partager et valoriser les données métiers pour des usages analytiques avancés : pilotage opérationnel, reporting, data visualisation et ouverture vers des cas d'usage d'intelligence artificielle.

Cette plateforme data, déployée depuis 2022, repose sur une architecture Lakehouse moderne dans le cloud AWS, et s'appuie sur des technologies telles que Databricks, NiFi, Redshift et Power BI.

L'équipe data actuelle développe et maintient plusieurs applications analytiques visant à améliorer l'exploitation et la qualité des données au service des métiers.

Descriptif de la mission

En tant qu'Expert Data Engineer, vous interviendrez sur la conception, l'évolution et l'exploitation du hub de données.

Vos principales responsabilités seront :

Engineering & Data Platform

• Assurer la maintenance et l'optimisation des chaînes de traitement existantes (Python, SQL, Databricks, Power BI)
• Développer de nouveaux pipelines de données pour intégrer de nouvelles sources dans le Data Lake (Batch, API)
• Participer aux travaux de modélisation et d'urbanisation du hub de données
• Identifier, collecter, transformer et stocker les données nécessaires à l'alimentation des modèles analytiques
• Implémenter des algorithmes et traitements avancés exploitant les données du Data Lake

Analyse & accompagnement métier

• Participer aux ateliers avec les métiers afin de formaliser les besoins
• Rédiger les expressions de besoins et spécifications fonctionnelles
• Définir les règles de calcul et d'agrégation des indicateurs
• Proposer des solutions adaptées aux enjeux d'analyse et de pilotage

Data visualisation & reporting

• Concevoir et développer des tableaux de bord et rapports Power BI
• Automatiser les processus de reporting
• Produire des indicateurs et restitutions analytiques pour les utilisateurs métiers

Documentation & gouvernance

• Rédiger les spécifications techniques et fonctionnelles
• Documenter les règles d'alimentation du datawarehouse et les modèles de données
• Contribuer à la documentation des règles de sécurité et de gouvernance des données
• Participer aux plans de tests, recettes et supports utilisateurs

Livrables attendus

• Comptes rendus des ateliers métiers
• Développement et déploiement des cas d'usage data
• Documentation des règles de calcul et d'alimentation des données
• Modélisation du datawarehouse et des datamarts
• Tableaux de bord et restitutions analytiques
• Plans de tests et cahiers de recette
• Documentation technique et fonctionnelle
• Supports utilisateurs et supports de communication

Profil recherché

Compétences techniques

• Excellente maîtrise de Databricks
• Très bonne maîtrise de Python et SQL
• Bonne connaissance des architectures Data Lake / Lakehouse
• Expérience sur AWS
• Connaissance de NiFi
• Expérience avec Power BI et la data visualisation
• Bonne maîtrise des API REST et flux de données
• Connaissance des bases de données analytiques (ex : Redshift)
• Bonne compréhension des problématiques data engineering et data analytics

Compétences fonctionnelles

• Solides connaissances en modélisation de données et solutions décisionnelles
• Compréhension des enjeux BI / reporting / pilotage métier
• Connaissances en statistiques, probabilités et modélisation
• Capacité à exploiter des données structurées et non structurées

Soft skills

• Excellent relationnel avec les équipes métiers
• Très bonnes capacités rédactionnelles
• Esprit d'analyse et de synthèse
• Rigueur et sens de la méthode
• Capacité à proposer des solutions pragmatiques
• Pédagogie pour accompagner les utilisateurs

Environnement technique

• Cloud : AWS
• Data Platform : Databricks
• Data Processing : Python, SQL
• Data Integration : NiFi, APIs
• Data Warehouse : Redshift
• Dataviz : Power BI
• Architecture : Lakehouse

Excellente maîtrise de Databricks, très bonne maîtrise de Python et SQL, bonne connaissance des architectures Data Lake / Lakehouse, expérience sur AWS, connaissance de NiFi, expérience avec Power BI et la data visualisation, bonne maîtrise des API REST et flux de données, connaissance des bases de données analytiques (ex : Redshift), bonne compréhension des problématiques data engineering et data analytics. Solides connaissances en modélisation de données et solutions décisionnelles, compréhension des enjeux BI / reporting / pilotage métier, connaissances en statistiques, probabilités et modélisation, capacité à exploiter des données structurées et non structurées. Excellent relationnel avec les équipes métiers, très bonnes capacités rédactionnelles, esprit d'analyse et de synthèse, rigueur et sens de la méthode, capacité à proposer des solutions pragmatiques, pédagogie pour accompagner les utilisateurs.