Data Engineer / Data Architect Senior H/F (IT) / Freelance

Dans le cadre de la modernisation d?une plateforme décisionnelle au sein d?un acteur de l?épargne salariale et de la retraite, nous recherchons un Data Engineer / Data Architect Senior.

La mission s?inscrit dans un programme de transformation visant à faire évoluer une plateforme BI existante vers une architecture moderne de type Lakehouse, tout en garantissant la continuité des services actuellement proposés.

Vous rejoindrez l?équipe C?ur-Data, composée de cinq personnes, et travaillerez en étroite collaboration avec les équipes métier, la MOA et les équipes techniques transverses.

Objectifs de la missionL?objectif principal sera de concevoir et mettre à disposition des données structurées, fiables et exploitables par l?équipe Marketing.

Vous interviendrez notamment sur :
La définition de l?architecture et de l?organisation du Lakehouse ;

La conception de solutions de collecte, de stockage et de transformation des données ;

La migration et la modernisation progressive des traitements existants ;

L?industrialisation et le suivi des pipelines de données ;

La mise à disposition de données brutes et transformées pour les usages analytiques et la datavisualisation.

Principales responsabilitésEn tant que Data Engineer / Data Architect Senior, vous serez amené à :

Concevoir l?organisation des données et des flux au sein d?un environnement Lakehouse basé sur S3 ;

Développer des pipelines de traitement avec Python, Spark et PySpark ;

Mettre en place et maintenir les traitements d?ingestion et de transformation ;

Participer à l?ordonnancement des traitements avec Dagster ;

Contribuer à l?exposition des données via Trino et les outils de datavisualisation ;

Développer les solutions de collecte et de stockage répondant aux besoins métiers ;

Mettre en place les tests unitaires et les contrôles nécessaires à la qualité des développements ;

Assurer le suivi des traitements et identifier les éventuels incidents ou blocages ;

Rédiger et maintenir la documentation technique ;

Participer à la recette avec la MOA et les utilisateurs ;

Estimer les charges et contribuer au suivi de l?avancement du projet ;

Réaliser des études en collaboration avec les équipes transverses ;

Participer à l?amélioration continue des processus de développement et d?exploitation.

Environnement techniquePlateforme ciblePython ;

Apache Spark / PySpark ;

SQL ;

Amazon S3 ;

Dagster ;

Trino ;

Git ;

Jenkins.

Environnement existantInformatica ;

DAC ;

Oracle 19 ;

Outils BI et de reporting.

Outils projetJira ;

Confluence ;

Windows 10 avec WSL.

Profil candidat:
Profil recherchéVous disposez d?une expérience significative en Data Engineering, en conception de plateformes de données et en architecture Data.

Vous maîtrisez notamment :
Python et SQL ;

Spark et PySpark appliqués aux problématiques Data ;

La conception et l?industrialisation de pipelines de données ;

Les architectures Data Lake ou Lakehouse ;

Les solutions de stockage objet, idéalement Amazon S3 ;

Les environnements Oracle et les outils Informatica ;

Les pratiques de développement logiciel : Git, intégration continue, tests unitaires et documentation ;

Le suivi de production et la supervision des traitements.

Une expérience sur les sujets suivants serait particulièrement appréciée :

Dagster ;

Trino ;

Datavisualisation et mise à disposition de données analytiques ;

Machine learning appliqué à la donnée, notamment avec scikit-learn et le feature engineering ;

Outils LLM ou GenAI pour l?accès, l?exploration ou la valorisation de la donnée.

Qualités attenduesSolide capacité d?analyse et de conception ;

Autonomie et sens des responsabilités ;

Bon relationnel et aisance dans les échanges avec les équipes métier ;

Capacité à vulgariser des sujets techniques ;

Rigueur dans la documentation et la qualité des développements ;

Esprit collaboratif et force de proposition.