Data Engineer Core Data

Contexte

Le rôle de l'équipe est capital : garantir l'accessibilité, la fiabilité et la qualité des données qui alimentent les indicateurs de bonne santé de notre business (taux de dispo, vitesse de rotation de nos stocks...) mais aussi la prise de décision autour des sujets de supply (respect de nos promesses client, maîtrise de nos coûts supply, traçabilité...).

Notre équipe est composée de 3 Product Managers et de plusieurs Data Engineers. Elle est en lien avec ses consommateurs de données et s'impose de bien comprendre les besoins analytiques. Au sein de cette équipe, nous cultivons l'excellence technique, l'impact business et une collaboration sans aucune frontière. En tant que Data Engineer, vous êtes une personne engagée, dynamique et proactive avec une forte appétence business. Vous ne vous contentez pas de maintenir des pipelines ; vous les concevez pour générer de la valeur et accélérer l'innovation sur notre écosystème. Vous jouerez un rôle pivot dans le succès des nouveaux projets d'intégration d'outils et l'évolution de nos systèmes. Il est donc impératif d'avoir une personne qui jouera un rôle fort dans le collectif, l'entraide, la co-construction et la curiosité sont des valeurs indispensables à la réussite de la mission au sein de l'équipe.

Missions

• Concevoir, construire et maintenir des infrastructures et des pipelines robustes et performantes

• Garantir une architecture et une modélisation des flux optimisées et évolutives

• Apporter une expertise et aider l'équipe à prendre les meilleurs choix techniques

• Transformer la stack legacy vers les nouveaux standards

• Assurer la qualité, la fiabilité et la gouvernance des données

• Maîtriser la qualité du code et promouvoir les meilleures pratiques

• Collaborer en environnement Agile au sein d'une équipe internationale (anglais)

• Garantir un RUN de qualité (SLA) selon le principe "You build it, you run it"

• Respecter les engagements de sprint et s'inscrire dans une démarche d'amélioration continue

Outils & Environnement

1. Plateforme Data Core (Cloud & Gouvernance)

   • Expertise sur DataBricks pour la gestion des clusters, l'optimisation des performances des workloads Big Data et la mise en place d'une gouvernance solide

2. Langages & Modélisation

   • Maîtrise avancée et pratique SQL pour la modélisation et l'interrogation des données

   • Expérience avec DBT (Data Build Tool) pour l'industrialisation, la documentation et le testing de nos modèles de données

   • Connaissance et pratique de PySpark pour la transformation et le traitement de données

   • Une connaissance en Scala sera aussi appréciée

3. Orchestration & MLOps

   • Expérience avec Airflow pour la création, le monitoring et l'optimisation des DAGs complexes garantissant la fiabilité de notre chaîne de production Data

4. Méthodologie & Qualité

   • Travail en environnement agile (Scrum/Kanban)

   • Pratique quotidienne de la revue de code et des principes de CI/CD (intégration et déploiement continus) via des outils comme GitHub

5. Communication Internationale

   • Maîtrise de l'anglais indispensable pour interagir au quotidien avec notre équipe internationale et nos partenaires globaux

Conditions de travail

• TJM : 550€

• Localisation : Lille

1. Expertise sur DataBricks pour la gestion des clusters, l'optimisation des performances des workloads Big Data et la mise en place d'une gouvernance solide
2. Maîtrise avancée et pratique de SQL pour la modélisation et l'interrogation des données
3. Expérience avec DBT (Data Build Tool) pour l'industrialisation, la documentation et le testing des modèles de données
4. Connaissance et pratique de PySpark pour la transformation et le traitement de données
5. Une connaissance en Scala sera aussi appréciée
6. Expérience avec Airflow pour la création, le monitoring et l'optimisation des DAGs complexes
7. Travail en environnement agile (Scrum/Kanban)
8. Pratique quotidienne de la revue de code et des principes de CI/CD via des outils comme GitHub
9. Maîtrise de l'Anglais indispensable pour interagir au quotidien avec une équipe internationale