Data Engineer / DevOps - AWS/Scala/Python

Contexte

L'équipe produit recherche un Développeur Data pour renforcer ses effectifs et porter l'excellence technique de la Marketplace.

Missions

• Développer des flux de données avec des composants AWS.

• Produire des processus de data quality.

• Garantir la qualité technique des flux et la performance de l'application face à des volumes de données complexes.

• Travailler étroitement avec le Product Owner et les autres membres de l'équipe data pour implémenter des solutions répondant aux demandes business.

• Développer et maintenir des fonctionnalités complexes en Python et Scala.

• Garantir la fidélité de l'implémentation vis-à-vis des demandes et des micro-interactions.

• Concevoir et faire évoluer une architecture back-end modulaire et scalable avec des composants réutilisables.

• Assurer la gestion et l'optimisation des flux de données.

• Optimiser les performances des ingestions (temps de chargement, qualité, retry).

• Collaborer activement aux rituels agiles et aux revues de code pour garantir la qualité et la maintenabilité.

• Documenter les choix techniques et l'architecture.

Compétences techniques

• Mise en place de workflows data incluant plusieurs couches et contrôles de données.

• Excellente maîtrise des services AWS (Lambda, Glue, Redshift, Step Functions, DynamoDB) ainsi que certains services Azure (Azure Functions, Cosmos DB...).

• Expérience solide en développement Python et Scala.

• Connaissance des frameworks Langchain ou Langgraph (un plus).

• Maîtrise d’outils de streaming tels que Kafka, Kinesis, EventHub, EventGrid.

• Capacité à consommer et challenger des API REST complexes.

• Connaissance des outils de tests.

• Maîtrise de Git et des workflows CI/CD.

• Capacité à évoluer dans un environnement international.

Profil technique global (extraits)

• Data Engineering : Python, SQL, Scala

• Technologies : Spark, Kafka, Airflow, DBT

• Bases de données SQL/NoSQL : PostgreSQL, BigQuery, Snowflake, MongoDB…

• DevOps : Docker, Kubernetes

• CI/CD : GitLab CI, GitHub Actions, Jenkins…

• Infrastructure as Code : Terraform, Ansible

• Observabilité : Prometheus, Grafana, ELK, Datadog

• Cloud : AWS, Azure ou GCP (services data, compute, réseau)

• Gestion des environnements hybrides ou multi-cloud

Soft skills

• Forte capacité d’analyse

• Culture de l’automatisation et de la qualité

• Communication claire et pédagogique

• Esprit d’équipe et sens du service

Conditions de travail

• Contrat : non précisé

• Localisation : non précisée

• Date de début : non précisée

• Rémunération : non précisée

Description générale du poste

Assurer la conception, l’industrialisation et l’exploitation des plateformes data et applicatives en combinant les compétences d’un Data Engineer (construction de pipelines, gestion des données, optimisation des traitements) et celles d’un Ingénieur DevOps (automatisation, CI/CD, infrastructure scalable, observabilité).

Ce rôle garantit la fiabilité, la performance et la scalabilité de l’ensemble de la chaîne de valeur data, depuis l’ingestion jusqu’au déploiement en production.

Responsabilités clés

1. Architecture & ingestion de données

   • Concevoir et maintenir des pipelines d’ingestion scalables et sécurisés.

   • Intégrer des données provenant de multiples sources (API, bases SQL/NoSQL, streaming, fichiers).

   • Structurer les données dans des environnements cloud ou on-premise (Data Lake, Data Warehouse, Lakehouse).

2. Traitement & transformation

   • Développer des workflows ETL/ELT performants.

   • Optimiser les traitements batch et streaming (Spark, Flink, Kafka, etc.).

   • Garantir la qualité, la gouvernance et la traçabilité des données.

3. Infrastructure & automatisation DevOps

   • Construire et maintenir des environnements d’exécution via Infrastructure as Code (Terraform, Ansible, CloudFormation).

   • Mettre en place et gérer des pipelines CI/CD pour les projets data et applicatifs.

   • Automatiser les déploiements, tests, monitoring et rollback.

4. Observabilité & performance

   • Surveiller la santé des pipelines et des environnements (logs, métriques, alerting).

   • Optimiser les coûts et les performances des infrastructures cloud.

   • Assurer une haute disponibilité et une résilience des systèmes.

5. Sécurité & conformité

   • Implémenter les bonnes pratiques de sécurité (IAM, chiffrement, gestion des secrets).

   • Garantir la conformité RGPD et les politiques internes de gouvernance data.

6. Collaboration & support

   • Travailler étroitement avec les Data Scientists, développeurs, équipes produit et sécurité.

   • Accompagner les équipes dans l’utilisation des outils data et DevOps.

   • Documenter les architectures, pipelines et processus.

1. Minimum 8 ans d'expérience en développement data, avec une spécialisation forte SPARK scala et Python
2. Capacité à comprendre des enjeux métiers data-centric et à les traduire en solutions techniques élégantes
3. Rigueur, sens du détail et exigence sur la qualité du code (Clean Code)
4. Esprit d'équipe, force de proposition et autonomie