Data Engineer Senior

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Senior afin de participer à la conception et au développement d’une nouvelle architecture orientée Lakehouse.

Vous interviendrez sur la collecte, la transformation, le stockage et la mise à disposition de données structurées à destination notamment d’équipes métier et analytiques.

Vos missions

• Participer à la conception de l’architecture Data cible et à l’organisation d’un Lakehouse.

• Concevoir et développer des pipelines de collecte et de transformation de données.

• Développer les traitements en Python, Spark / PySpark et SQL.

• Mettre en place les mécanismes de stockage et d’exposition des données.

• Participer à l’intégration de données provenant de différentes sources.

• Concevoir des jeux de données structurés à destination des équipes métier et marketing.

• Participer à la mise à disposition de données pour les outils de reporting et de DataViz.

• Mettre en place l’ordonnancement et le suivi des traitements.

• Développer des tests unitaires afin de sécuriser les traitements.

• Mettre en place les contrôles nécessaires au suivi de la qualité et de la bonne exécution des pipelines.

• Participer à la maintenance corrective et évolutive des solutions développées.

• Documenter les développements, flux et architectures mis en place.

• Accompagner les équipes MOA et utilisateurs lors des phases de recette.

• Estimer les charges et assurer le suivi de l’avancement des développements.

• Collaborer avec les équipes transverses sur les problématiques d’architecture et d’intégration.

• Contribuer à l’amélioration continue des pratiques de développement et d’industrialisation.

Data Science & Intelligence Artificielle

Vous serez également amené(e) à intervenir ponctuellement sur des sujets de valorisation avancée de la donnée :

• Utilisation de Machine Learning appliqué aux données.

• Feature engineering et préparation des données.

• Utilisation de bibliothèques telles que scikit-learn.

• Contribution à l’intégration de solutions LLM / GenAI facilitant l’accès, l’exploration ou l’interrogation des données.

Environnement technique

Data Engineering

• Python

• Spark / PySpark

• SQL

• ETL / ELT

• Data Lake / Lakehouse

Plateforme cible

• AWS S3

• Dagster

• Trino

Industrialisation

• Git

• Jenkins

• CI/CD

• Jira

• Confluence

Machine Learning / IA

• scikit-learn

• Feature Engineering

• LLM / GenAI

Environnement existant

• Informatica

• Oracle

• OBIEE

• BIRT

Profil recherché

Vous disposez d’une expérience significative en Data Engineering, avec une forte maîtrise de :

• Python

• Spark / PySpark

• SQL

• Conception et développement de pipelines de données

• ETL / ELT

• Modélisation et structuration de données

• Data Lake / Lakehouse

• Tests unitaires et qualité des traitements

Une expérience sur AWS S3, Dagster ou Trino sera particulièrement appréciée.

La connaissance d’Informatica constitue également un atout important dans le cadre de la modernisation d’environnements Data existants.

Vous disposez par ailleurs d’une première expérience ou d’une forte appétence pour les sujets Machine Learning et GenAI / LLM appliqués à la donnée.