Software Engineer Data Platform

Contexte

Notre équipe recherche un·e Software Engineer basé·e à Lille.

Dans une grande entreprise spécialisée dans le retail, la data est au cœur de la stratégie, guidant chaque décision, de la conception du produit à l'expérience client.

Organisée autour des outils de stockage et de catalogage, l'équipe est chargée de mettre à disposition le stockage (S3) pour l'ensemble de la data platform et de garantir robustesse et scalabilité. Elle assure la gouvernance technique du patrimoine de données et la gestion des métadonnées via les data contracts. L'équipe héberge et maintient le repository central de ces derniers, permettant ainsi de construire une observabilité de la plateforme à travers l’usage, le lineage, etc.

Il est nécessaire de sensibiliser les utilisateurs aux bonnes pratiques mises en place sur une modern data stack afin d’accompagner au mieux le développement des use cases métiers sur la plateforme.

Une appétence pour la data et une expérience avec des outils tels que Databricks sont un réel plus.

Missions

• Garantir la robustesse du data contract registry (Aurora + Python fastAPI)

• Monitorer et prendre des actions proactives de management

• Assurer le support et l'accompagnement tournant sur les outils de l'équipe (S3, Glue, Unity Catalog, data contract registry)

• Restituer dans le datalake les métadonnées des produits

• Accompagner et former

• Définir et promouvoir les bonnes pratiques proposées au sein de l'équipe

• Participer et conseiller lors de la conception des pipelines de données des équipes

• Développer le futur :

  • Gouvernance automatisée (Data contract registry, access management, metadata management)

  • Collaboration étroite avec les staff engineers de la plateforme pour le développement de nouvelles features (ADR)

Compétences

• Github CI/CD : confirmé

• Databricks : avancé

• AWS S3 : avancé

• Python : confirmé

• PostgreSQL : avancé

• FastAPI : confirmé

• AWS : confirmé

• Unity Catalog : avancé

• Aurora : avancé

• AWS Glue : avancé

• Hashicorp Vault : avancé

Conditions de travail

• TJM : 550€

• Mission long terme : 3 ans

• Localisation : Lille

1. Compétences confirmées en Github CI/CD, python, fastapi et AWS
2. Compétences avancées en DATABRICKS, AWS S3, POSTGRESQL, Unity catalog, AURORA, AWS Glue et Hashicorp Vault
3. Une appétence data et une expérience avec des outils tels que databricks sont un réel plus