Data Engineer Apache NiFi / Flux Data Ref_AP977

Secteur d’activité

• Assurance / banque

Contexte

• Dans le cadre du déploiement d’une plateforme Data visant à centraliser, fiabiliser et gouverner les données métiers, vous rejoignez une squad en charge des flux Data.

• L’équipe intervient sur l’ingestion, la transformation, l’industrialisation et la sécurisation de données issues de multiples sources.

Missions

• Concevoir et développer des pipelines de données robustes et évolutifs

• Mettre en œuvre des flux d’ingestion, transformation et diffusion selon un modèle Bronze / Silver / Gold

• Développer et paramétrer des workflows Apache NiFi

• Intégrer des données provenant de fichiers XML / CSV, API REST et autres sources

• Participer à la modélisation des données et aux transformations associées

• Mettre en place les contrôles qualité : complétude, cohérence, unicité, traçabilité, versioning

• Optimiser les performances des traitements et proposer des améliorations continues

• Veiller à la sécurité des données : accès, authentification, chiffrement

• Documenter les flux, schémas et bonnes pratiques

Soft skills

• Autonomie, rigueur, esprit d’équipe et capacité à évoluer dans un environnement exigeant multi-interlocuteurs.

Profil recherché

• Expérience confirmée de 5 à 10 ans minimum en Data Engineering

• Expérience sur environnement BI, Datalake ou flux de données complexes

• Une expérience assurance, banque ou finance est fortement appréciée

• Connaissance de flux réglementaires / métier type Penelop appréciée

Stack technique attendue

• Expertise Apache NiFi (ingestion, orchestration, monitoring) impérative

• Solides compétences SQL et modélisation relationnelle

• PostgreSQL

• Stockage objet : S3 / Blob

• Formats et protocoles : JSON, XML, CSV, REST API

• Scripting : Python, Bash apprécié

• GitLab / GitLab CI

• Sensibilité DevOps / CI-CD