Data Engineer

Paris La Défense | Hybride – 2 jours sur site par semaine | Mission longue durée : 3 ans

Contexte de la mission

Nous accompagnons un acteur international majeur des solutions de paiement dans la transformation de son offre vers une plateforme cloud complète, combinant logiciels et services à destination de commerçants et de grands retailers.

Au sein de la Data Platform, vous interviendrez sur la construction et l’optimisation des infrastructures data permettant de traiter, stocker et exploiter des volumes importants de données, au service des usages analytiques, opérationnels et machine learning de la plateforme.

Responsabilités

• Concevoir, développer et maintenir des pipelines de données robustes et scalables.

• Construire et optimiser les workflows ETL/ELT permettant d’ingérer, transformer et charger les données depuis différentes sources.

• Participer à la définition des architectures de données et des modèles de stockage adaptés aux besoins de la plateforme.

• Développer et maintenir les traitements distribués sur Databricks et Apache Spark.

• Exploiter et optimiser les solutions de stockage cloud : data lake, data warehouse, bases relationnelles ou NoSQL.

• Travailler avec les équipes Data Science, Produit et Engineering afin de rendre les données fiables, accessibles et exploitables.

• Garantir la qualité, la sécurité et la cohérence des données manipulées.

• Participer au maintien en conditions opérationnelles des traitements data : monitoring, alerting, analyse et correction des incidents.

• Contribuer à l’amélioration continue des pratiques et de l’industrialisation de la plateforme data.

Profil recherché

• Minimum 4 ans d’expérience sur un poste de Data Engineer.

• Très bonne maîtrise de Python.

• Expérience significative sur Databricks et Apache Spark.

• Solide expérience dans la conception et l’industrialisation de pipelines ETL/ELT.

• Bonne compréhension des architectures data : data lakes, data warehouses, object storage, bases relationnelles et NoSQL.

• Expérience professionnelle sur un environnement cloud AWS.

• Capacité à intervenir sur des sujets de fiabilité en production et d’observabilité des traitements.

• Une expérience en Java / Spring Boot est appréciée.

• Une connaissance de Scala est un plus.

• Anglais professionnel requis, dans un contexte international.

• Expérience en environnement Agile ; connaissance de SAFe appréciée.

Stack technique

Python, Databricks, Apache Spark, AWS, Amazon S3, Amazon Redshift, ETL/ELT, Data Lake, Data Warehouse, NoSQL, Java, Spring Boot, Scala, Monitoring, Alerting, Agile / SAFe

Informations pratiques

• Localisation : Paris La Défense

• Télétravail : hybride, avec 2 jours de présence par semaine sur site

• Durée de mission : jusqu’à 3 ans