Data Engineer GCP

Projet stratégique « Risques Climatiques & Physiques » visant à ingérer, agréger et exposer des données de sources multiples pour produire des rapports métier sur le risque de crédit.

Mission Data Engineer au sein d’une équipe experte sur un sujet à forts enjeux et forte visibilité.

CONTEXTE

• Au sein du Groupe BPCE et de l’entité Technologie & Opérations, la DSI Corporate met en place le projet « Risques Climatiques & Physiques ».

• La mission se déroule dans le domaine « Pertes, Garanties et Entrepôt Risques ».

• Le projet vise à produire des rapports métier sur le scope de la surveillance du risque de crédit.

• Le projet est stratégique et à forte visibilité.

MISSIONS

• Participer à la réalisation du projet basé sur Google Cloud Platform.

• Développer et intégrer des solutions Python Spark avec les services data et compute de Google Cloud Platform.

• Développer et construire des infrastructures de données d’un point de vue système et sécurité.

• Assurer la collecte, le stockage et l’exploitation des flux de données.

• Garantir l’accès qualitatif aux sources de données pour alimenter les espaces de stockage et faciliter leur exploitation par les Data Scientist et Data Analyst.

• Définir la structure des métadonnées.

• Industrialiser les modèles de Machine Learning.

• Maintenir et participer au suivi du RUN des applications et modèles développés.

• Cartographier et documenter les sources de données.

• Assurer la maintenance des applications déployées en production et des infrastructures associées.

• Concevoir des solutions permettant le traitement de volumes importants de flux de données.

• Structurer les bases de données.

◦ Sémantique

◦ Format

• Contribuer à la gestion des référentiels de données.

• Capter et stocker les données structurées ou non structurées produites dans les applications ou venant de l’extérieur de l’entreprise.

• Assurer la supervision et l’intégration des données de diverses natures provenant de sources multiples.

• Vérifier la qualité des données et s’assurer de leur sécurité.

• Assister les Data Scientists dans l’optimisation des performances techniques des modèles de Machine Learning.

• Rester en alerte sur les technologies liées au traitement et à la manipulation de la donnée et identifier les solutions utilisables.

• Proposer des évolutions pour les infrastructures et solutions de données en place.

ORGANISATION & QUOTIDIEN

• Mission au sein d’une équipe engagée et experte sur le sujet.

CONDITIONS

• Date de démarrage : ASAP.

• Libellé de la prestation : IT généraliste - Data Engineer – IDF.

NIVEAU D'EXPÉRIENCE

• Séniorité entre 3 et 6 ans.

COMPÉTENCES TECHNIQUES

• Développement et intégration de solutions data et compute sur Google Cloud Platform.

• Maîtrise de la partie DevOps.

OUTILS

• Python

• Spark

• Google Cloud Platform

• BigQuery

• Dataproc

• Composer

• Cloud Functions

• Cloud Run Jobs

• GCS

• XLD

• Terraforme

• jenkins

SOFT SKILLS

• Bonne communication.

• Autonomie.

• Fluidité du travail en équipe.