Data Engineer

Contexte

Une entreprise accélère sa transformation digitale avec pour ambition de devenir la plateforme numérique dqui permettra aux utilisateurs d'accéder à tout l'univers en un clic (équipement, activités, coaching).

La connaissance des utilisateurs afin de personnaliser leurs expériences constitue un facteur clé de réussite dans la réalisation de cette ambition. C’est pourquoi, le rôle majeur de l’équipe est de contribuer à l’accroissement de la connaissance utilisateur et d’animer l’écosystème digital et physique autour des performances clients.

L’équipe est actuellement constituée de :

• 2 Product Managers

• 1 Data Steward

• 1 Data Architect

• 6 Data Engineers

Missions

En tant que Data Engineer au sein de l’équipe, vous serez amené à travailler sur 2 produits gérés par l’équipe :

• User DNA : Fournir aux équipes une vision à 360° des clients dans le datalake

• User Data Enrichment : Mettre en place des flux de données avec des partenaires afin de maximiser le potentiel de la connaissance client via la plateforme de big data

Vos responsabilités :

• Implémenter des solutions, à partir des règles fonctionnelles établies par le Product Manager / Data Owner

• Documenter les règles de qualité décrites dans Collibra au préalable pour valider les datasets

• Partir des templates génériques pour construire des pipelines scalables de données structurées

• Transformer la stack legacy vers la nouvelle stack recommandée par les équipes de la Data Platform

• Répondre aux questions des utilisateurs ainsi qu’à l’équipe de datavisualisation sur les données mises à disposition

• Être capable d’intervenir sur l’ensemble des flux de l’équipe

• Documenter les flux implémentés

• Contribuer à l’amélioration des bonnes pratiques de développement au sein de l’équipe (Mob programming, Test Driven Development, etc.)

• Contribuer à la communauté de data engineers

Compétences techniques souhaitées

• Expérience sur l'environnement Big Data d’Amazon Web Services, avec maîtrise de ses composants (Lambda, Redshift, S3) ainsi que l’optimisation de leurs performances

• Expérience avec Apache Spark (PySpark/Scala)

• Mise en place d’ordonnancement via Airflow

Compétences demandées

Compétence Niveau PySpark Avancé AWS S3 Avancé AWS Redshift Avancé Scala Élémentaire Spark Avancé Python

1. Expérience sur l'environnement Big Data Amazon Web Services (Lambda, Redshift, S3) avec optimisation des performances
2. Maîtrise d'Apache Spark (PySpark/Scala)
3. Expérience dans la mise en place d’ordonnancement via Airflow
4. Compétences avancées en PySpark, AWS S3, AWS Redshift et Spark
5. Compétences élémentaires en Scala
6. Compétences en Python