Data Engineer Databricks

Contexte  

Mission longue, localisation : Lille (hybride). L'équipe CDP Stock assure l'accessibilité, la fiabilité et la qualité des données alimentant les indicateurs business (taux de disponibilité, vitesse de rotation des stocks, décision supply, traçabilité). L'équipe comprend Product Managers et Data Engineers et collabore avec des consommateurs de donnée internes et des partenaires internationaux. Recherche d'un Data Engineer engagé, proactif, à forte appétence business, orienté conception de pipelines générant de la valeur et participant à l'évolution de la plateforme data.

Missions principales  

- Concevoir, construire et maintenir des infrastructures et pipelines robustes et performants.  

- Garantir une architecture et une modélisation des flux optimisées et évolutives.  

- Apporter une expertise pour aider l'équipe à prendre les meilleurs choix techniques.  

- Transformer la stack legacy vers les nouveaux standards de la Data Platform.  

- Assurer la qualité, la fiabilité et la gouvernance des données.  

- Maîtriser la qualité du code et promouvoir les meilleures pratiques (revue de code, CI/CD via GitHub).  

- Collaborer en environnement Agile (Scrum/Kanban) au sein d'une équipe internationale (Anglais).  

- Garantir un RUN de qualité (SLA) selon le principe "You build it, you run it".  

- Respecter les engagements de sprint et s'inscrire dans une démarche d'amélioration continue.

Profil recherché  

Compétences techniques exigées (niveaux fournis) :  

- SQL — Avancé  

- DBT — Avancé  

- AWS — Avancé  

- Databricks — Confirmé  

- PYSPARK — Avancé  

- Astronomeer — Confirmé  

- Python — Confirmé  

- Apache Airflow — Avancé

Autres compétences et attentes

- Expertise sur DataBricks pour gestion de clusters, optimisation de performances et gouvernance.  

- Maîtrise avancée et pratique SQL ; expérience DBT pour industrialisation, documentation et testing.  

- Connaissance/pratique de PySpark ; connaissance en Scala appréciée.  

- Expérience Airflow pour création, monitoring et optimisation de DAGs.  

- Travail en environnement agile, pratique quotidienne de la revue de code et principes CI/CD.  

Langues : Français — Bilingue ; Anglais — Courant

Abonnez-vous à la page NaxoTech sur LinkedIn pour découvrir nos offres régulières :  

👉 https://www.linkedin.com/company/naxotech