Data Engineer AWS

Bonjour,

Dans la cadre de ses projets clients, Visian est à la recherche d'un Data Engineer AWS

Le profil interviendra sur l’ensemble du cycle de vie des solutions IA :

Industrialisation et CI/CD : mise en place et maintenance de pipelines CI/CD (GitLab, Docker, Terraform, Kubernetes).

Infrastructure et automatisation : gestion et optimisation des environnements AWS (S3, EMR, SageMaker, IAM, etc.).

Data Engineering & Spark : développement et optimisation de jobs Spark pour la préparation et le traitement de données à grande échelle.

MLOps / Production : déploiement, suivi et supervision des modèles IA (MLflow, Ray.io, monitoring Datadog).

Collaboration transverse : interaction quotidienne avec les Data Scientists pour fiabiliser le delivery et le suivi des modèles.

Veille et amélioration continue : participation active à l’optimisation des pipelines, à la montée en maturité technique de l’équipe et à la veille technologique autour des outils Data / MLOps.

Description

Le profil interviendra sur l’ensemble du cycle de vie des solutions IA :

Industrialisation et CI/CD : mise en place et maintenance de pipelines CI/CD (GitLab, Docker, Terraform, Kubernetes).

Infrastructure et automatisation : gestion et optimisation des environnements AWS (S3, EMR, SageMaker, IAM, etc.).

Data Engineering & Spark : développement et optimisation de jobs Spark pour la préparation et le traitement de données à grande échelle.

MLOps / Production : déploiement, suivi et supervision des modèles IA (MLflow, Ray.io, monitoring Datadog).

Collaboration transverse : interaction quotidienne avec les Data Scientists pour fiabiliser le delivery et le suivi des modèles.

Veille et amélioration continue : participation active à l’optimisation des pipelines, à la montée en maturité technique de l’équipe et à la veille technologique autour des outils Data / MLOps.

Livrables

Maintenir et faire évoluer les pipelines d’industrialisation (CI/CD, Terraform, Docker, Kubernetes).

Participer à la mise en production et au suivi des modèles IA (Airflow, Datadog, Ray, MlFlow).

Garantir la fiabilité des traitements Spark et la conformité des environnements AWS.

Contribuer au suivi de la production et aux MEP dans le cadre du MCO.

Contribuer/participer à l’amélioration et d’optimisation continue des outils et pratiques Data/IA.

Documenter les bonnes pratiques techniques, partager les retours d’expérience au sein de l’équipe AI Experts et participer activement au delivery, notamment sur la qualité et les revues de code

Compétences attendues

Must have :

CI/CD

Docker

Terraform

Kubernetes

Spark

Python

AWS

Nice to have :

MLflow

Ray.io

Airflow

API / FastAPI

Datadog

Suivi de production / MEP

Une expérience significative de collaboration avec des

Data Scientists

veille, l’amélioration continue et l’optimisation

Soft skills recherchés

Esprit d’équipe et forte culture du delivery.

Rigueur technique, curiosité et autonomie.

Intérêt marqué pour la veille et la recherche d’amélioration continue.

Capacité à collaborer efficacement dans un environnement pluridisciplinaire (DE, DS, OPS, PO, DEV, des staff).

Sens du partage et de la documentation