Data Engineer

Bonjour,

Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer pour intervenir sur la conception, l’industrialisation et l’évolution de solutions Data à grande échelle.

La mission comporte une forte dimension architecture et engineering, avec notamment des enjeux autour de la stratégie Lakehouse, de la modélisation des données, de l’optimisation des pipelines et de la fiabilisation des traitements.

Missions principales

• Concevoir, développer et optimiser des pipelines de données à grande échelle.

• Mettre en œuvre des flux batch, streaming et ingestion via API.

• Structurer les transformations selon une architecture Médaillon : Bronze / Silver / Gold.

• Concevoir et industrialiser les traitements avec Spark, dbt et Apache Iceberg.

• Participer à la conception et à l’évolution de l’architecture Lakehouse.

• Déployer et maintenir les pipelines dans un environnement Cloud AWS.

• Utiliser les principaux services AWS Data : S3, Glue, EMR…

• Orchestrer les workflows ETL / ELT avec Airflow.

• Industrialiser les infrastructures via Terraform / Infrastructure as Code.

• Exécuter les traitements dans des environnements conteneurisés avec Docker et Kubernetes.

• Garantir la disponibilité, la supervision et l’observabilité des traitements.

• Participer à la gestion des incidents, à l’analyse des causes racines et à l’amélioration continue.

• Définir et mettre en œuvre les règles de Data Quality : tests, contrôles automatisés et validation des données.

• Documenter les architectures, pipelines, modèles et règles métier.

• Veiller à la conformité et à la sécurisation des flux de données, notamment dans le cadre du RGPD.

• Accompagner les profils plus juniors et contribuer au partage des bonnes pratiques Data Engineering.

Profil recherché

• 8 ans d’expérience minimum en Data Engineering.

• Solide expérience des environnements Big Data et Lakehouse.

• Expertise sur :

  • Spark

  • dbt

  • Apache Iceberg

  • AWS

  • Terraform

• Bonne maîtrise des services AWS Data, notamment Glue, EMR et S3.

• Expérience des architectures de données batch et streaming.

• Maîtrise de l’orchestration avec Airflow.

• Bonne connaissance de Docker et Kubernetes.

• Connaissance de Trino / Starburst appréciée.

• Connaissance de Datadog ou d’un outil équivalent d’observabilité.

• Bonne compréhension des enjeux de Data Quality, gouvernance et conformité.

• Capacité à comprendre et challenger les besoins métier.

• Expérience dans l’accompagnement ou l’encadrement de profils juniors.