Data Engineer AI Senior

Contexte

En 2025, cette Marketplace a été déployée auprès d'une centaine d'utilisateurs. De nombreux retours utilisateurs vont permettre d'améliorer l'expérience utilisateur et permettre le déploiement de nouvelles fonctionnalités. L'enjeu est donc de concevoir de nouveaux pans de l'expérience utilisateur et d'en approfondir d'autres, en parallèle du déploiement progressif sur 2026-2028 à l'ensemble des salariés.

Nous recherchons un Développeur Data pour renforcer notre équipe Produit et porter l'excellence technique de cette Marketplace.

Missions

• Développer des flux de données avec des composants AWS.

• Produire des processus de data quality.

• Garantir la qualité technique des flux et la performance de l'application face à des volumes de données complexes.

• Travailler étroitement avec le Product Owner et les autres membres de l'équipe data pour implémenter des solutions répondant aux demandes business.

• Développer et maintenir des fonctionnalités complexes en Python et Scala.

• Garantir la fidélité de l'implémentation vis-à-vis des demandes et des micro-interactions.

• Concevoir et faire évoluer une architecture back-end modulaire et scalable (composants réutilisables).

• Assurer la gestion et l'optimisation des flux de données.

• Optimiser les performances des ingestions (temps de chargement, qualité, retry).

• Collaborer activement aux rituels agiles et aux revues de code pour garantir la qualité et la maintenabilité.

• Documenter les choix techniques et l'architecture.

Compétences techniques

• Mise en place de workflow data incluant plusieurs couches et des contrôles de données.

• Excellente maîtrise des services AWS (Lambda, Glue, Redshift, Step Functions, DynamoDB) ainsi que certains services Azure (Azure Function, CosmosDB...).

• Expérience solide en développement Python et Scala.

• Connaissance des frameworks Langchain ou Langgraph serait un plus.

• Maîtrise de certains outils de streaming : Kafka, Kinesis, EventHub, EventGrid.

• Capacité à consommer et challenger des API REST complexes.

• Connaissance des outils de tests.

• Maîtrise de Git et des workflows CI/CD.

• Capacité à évoluer dans un environnement international.

Description du poste

Assurer la conception, l’industrialisation et l’exploitation des plateformes data et applicatives en combinant les compétences d’un Data Engineer (construction de pipelines, gestion des données, optimisation des traitements) et celles d’un Ingénieur DevOps (automatisation, CI/CD, infrastructure scalable, observabilité).

Ce rôle garantit la fiabilité, la performance et la scalabilité de l’ensemble de la chaîne de valeur data, depuis l’ingestion jusqu’au déploiement en production.

Responsabilités clés

1. Architecture & Ingestion de données

   • Concevoir et maintenir des pipelines d’ingestion scalables et sécurisés.

   • Intégrer des données provenant de multiples sources (API, bases SQL/NoSQL, streaming, fichiers).

   • Structurer les données dans des environnements cloud ou on-premise (Data Lake, Data Warehouse, Lakehouse).

2. Traitement & Transformation

   • Développer des workflows ETL/ELT performants.

   • Optimiser les traitements batch et streaming (Spark, Flink, Kafka, etc.).

   • Garantir la qualité, la gouvernance et la traçabilité des données.

3. Infrastructure & Automatisation DevOps

   • Construire et maintenir des environnements d’exécution via Infrastructure as Code (Terraform, Ansible, CloudFormation).

   • Mettre en place et gérer des pipelines CI/CD pour les projets data et applicatifs.

   • Automatiser les déploiements, tests, monitoring et rollback.

4. Observabilité & Performance

   • Surveiller la santé des pipelines et des environnements (logs, métriques, alerting).

   • Optimiser les coûts et les performances des infrastructures cloud.

   • Assurer une haute disponibilité et une résilience des systèmes.

5. Sécurité & Conformité

   • Implémenter les bonnes pratiques de sécurité (IAM, chiffrement, gestion des secrets).

   • Garantir la conformité RGPD et les politiques internes de gouvernance data.

6. Collaboration & Support

   • Travailler étroitement avec les Data Scientists, développeurs, équipes produit et sécurité.

   • Accompagner les équipes dans l’utilisation des outils data et DevOps.

   • Documenter les architectures, pipelines et processus.

Outils & Environnement

• Data Engineering : Python, SQL, Scala

• Spark, Kafka, Airflow, DBT

• Bases de données SQL/NoSQL (PostgreSQL, BigQuery, Snowflake, MongoDB…)

• DevOps : Docker, Kubernetes

• CI/CD (GitLab CI, GitHub Actions, Jenkins…)

• IaC : Terraform, Ansible

• Observabilité : Prometheus, Grafana, ELK, Datadog

• Cloud : AWS, Azure ou GCP (services data + compute + réseau)

• Gestion des environnements hybrides ou multi-cloud

1. Minimum 8 ans d'expérience en développement data, avec une spécialisation forte AI et Python
2. Capacité à comprendre des enjeux métiers data-centric et à les traduire en solutions techniques élégantes
3. Rigueur, sens du détail et exigence sur la qualité du code (Clean Code)
4. Esprit d'équipe, force de proposition et autonomie
5. Anglais opérationnel (oral)
6. Disponibilité : Temps plein (Full time)