Data Engineer

Contexte

Rôle : Data Engineer. Mission longue, basé à Lille (hybride). Contexte : projet data centralisé visant à garantir l'accessibilité, la fiabilité et la qualité des données pour la prise de décision et l'innovation industrielle. Travail en équipe produit et ingénierie, focalisé sur l'excellence technique, l'impact business, la coopération et la co-construction. Profil engagé, dynamique et proactif attendu.

Missions principales

• Concevoir, construire et maintenir des infrastructures et des pipelines robustes et performants.

• Garantir une architecture et une modélisation des flux optimisés et évolutives.

• Apporter une expertise et aider l'équipe à prendre les meilleurs choix techniques.

• Transformer la stack legacy vers les nouveaux standards de la Data Platform.

• Assurer la qualité, la fiabilité et la gouvernance des données Finance.

• Maîtriser la qualité du code et promouvoir les meilleures pratiques.

• Collaborer en environnement Agile au sein d'une équipe internationale (Anglais).

• Garantir un RUN de qualité (SLA) selon le principe "You build it, you run it".

• Respecter les engagements de sprint et s'inscrire dans une démarche d'amélioration continue.

Profil recherché

Plateforme Data Core (Cloud & Gouvernance)

• Expertise sur DataBricks pour gestion des clusters, optimisation des performances Big Data et mise en place d'une gouvernance solide.

Langages & Modélisation

• Maîtrise avancée et pratique SQL.

• Expérience avec DBT (Data Build Tool) pour industrialisation, documentation et testing.

• Connaissance et pratique de PySpark pour transformation et traitement de données.

Orchestration & MLOps

• Expérience avec Airflow pour création, monitoring et optimisation des DAGs.

Méthodologie & Qualité

• Travail en environnement agile (Scrum/Kanban).

• Pratique quotidienne de la revue de code et des principes de CI/CD via des outils comme GitHub.

Communication internationale

• Maîtrise de l'Anglais indispensable pour interactions quotidiennes.

Compétences requises

• Python : Confirmé

• Apache Airflow : Confirmé

• Databricks : Confirmé

• PySpark : Avancé

• AWS : Avancé

• DBT : Avancé

• SQL : Confirmé

Langues

• Anglais : Courant

• Français : Bilingue