Ingénieur Data - Databricks / GCP (PySpark, Spark, Python)

Contexte : Dans le cadre du développement et de l'évolution de sa plateforme Data sur Google Cloud Platform (GCP) et Databricks, notre client recherche un Data Engineer expérimenté pour concevoir, développer et optimiser des pipelines de données à forte valeur ajoutée. Le consultant interviendra sur des projets de traitement de données en mode batch et streaming, en collaboration avec des équipes pluridisciplinaires, tout en contribuant à l'industrialisation des développements, à l'optimisation des coûts cloud et au maintien en conditions opérationnelles des applications.

Missions principales

• Concevoir et développer des projets d'intégration de données sur la plateforme Databricks.

• Développer des pipelines de données en mode batch et streaming à l'aide de PySpark, Spark et Python.

• Concevoir et optimiser les traitements SQL pour répondre aux besoins métiers.

• Mettre en œuvre les chaînes CI/CD à l'aide de GitHub, Azure DevOps et Databricks Bundles.

• Participer à l'orchestration des traitements, au data management et à la sécurisation des flux de données.

• Optimiser les performances des traitements ainsi que la consommation des ressources Databricks et GCP.

• Concevoir et maintenir des tableaux de bord FinOps afin de suivre et maîtriser les coûts liés aux environnements GCP et Databricks.

• Participer aux astreintes et assurer le support en production des applications.

• Collaborer avec les chefs de projet, architectes, DevOps et autres Data Engineers.

• Produire et maintenir la documentation technique.

• Participer au partage des connaissances et à la montée en compétences de l'équipe.

Compétences requises

• Excellente maîtrise de Databricks (administration, Unity Catalog/Catalogues, Delta Lake, optimisation des performances).

• Très bonne maîtrise de PySpark, Apache Spark, Python et SQL.

• Maîtrise de Git.

• Expérience dans la mise en œuvre de pipelines CI/CD (GitHub, Azure DevOps, Databricks Bundles).

• Bonne connaissance de Google Cloud Platform (GCS, Pub/Sub, GKE, Alerting).

• Expérience dans l'optimisation des performances et des coûts des plateformes Cloud.

• Expérience des traitements de données en mode batch et streaming.

• Bon niveau de communication et capacité à travailler en équipe.

• Français courant (obligatoire).

• Anglais technique (niveau basique suffisant).

Compétences appréciées

• Expérience en FinOps et suivi des coûts Cloud.

• Connaissances en gouvernance et sécurité des données.

• Expérience du support de production et des astreintes.

• Sens du partage des connaissances et de la documentation technique.

• Capacité à évoluer dans un environnement Agile et collaboratif.

Durée : 6 mois min

• Minimum 3 à 5 ans d'expérience en tant que Data Engineer.

• Expérience significative sur Databricks et Google Cloud Platform (GCP).

• Expérience dans le développement de pipelines de données en mode batch et streaming.

• Expérience des environnements de production, du support applicatif et des processus d'industrialisation (CI/CD)