Data Engineer GCP

Contexte

Nous recherchons un data engineer GCP à Lille pour un de nos clients dans la grande distribution.

Au sein de la DSI dans la direction Delivery Back, nous sommes à la recherche d'un profil Data Engineer pour contribuer aux opérations de développement DATA sur l'environnement Google.

Missions

• Développer socle de données GCP
• Concevoir et développer les nouveaux flux de données (batch et temps réel) en étroite collaboration avec l'équipe actuelle de Data Engineer, Data Scientist et les équipes métiers
• Analyser les besoins des métiers et les traduire en spécifications techniques (en contribuant également à l'élaboration des contrats d'interface et à la modélisation physique)
• Développer des pipelines de données au sein de son périmètre
• Veiller à la qualité et l'efficience des développements de l'équipe
• Travailler en étroite collaboration avec l'équipe actuelle de Data Engineers, Data Scientists et les équipes métiers
• Assurer la supervision et l'intégration des données de diverse nature provenant de sources multiples
• Vérifier la qualité des données qui entrent dans le Data Lake (recette de la donnée, suppression des doublons, etc.)
• Contribuer à la définition de la politique de la donnée et à la structuration de son cycle de vie dans le respect des réglementations en vigueur, en collaboration avec le Chief Data Officer

Livrables

• Pipeline Data sous GCP
• Modèle de données
• Analyses SQL

Outils & Environnement

• GCP : BigQuery, GCS, Google Cloud Function, Pub/Sub, Composer
• SQL (expert)
• Python / Shell
• Github
• Méthodes de travail agiles

Définition du profil

Le data engineer est garant de l'accès qualitatif aux sources de données.
Il s'assure de la maîtrise de la donnée et est garant de la qualité de son utilisation (référencement, normalisation, et qualification) afin d'en faciliter l'exploitation par les équipes (Data Analysts et Data Scientists).
Son périmètre d'intervention est axé sur les systèmes applicatifs autour de la gestion de la donnée et du traitement, ainsi que sur les plateformes Big Data et IoT.

Compétences techniques

• SQL : Expert (impératif)
• GCP BigQuery / GCS & Google Cloud Function : Confirmé (impératif)
• Python / Shell : Confirmé (impératif)
• Github : Confirmé (important)
• Anglais professionnel (impératif)

1. Expérience significative dans l'utilisation des systèmes cloud GCP et de ses services dans des projets Data (BigQuery, GCS, Pubsub, Cloud function, Composer, etc.)
2. Expérience avec les processus de transformation des données ETL / ELT
3. Maîtrise du Shell
4. Connaissance du langage Python et de l’ordonnanceur Composer
5. Excellentes connaissances du SQL et des grands principes de modèle de données
6. Sensible aux méthodes de travail agiles
7. Autonome, curieux et proactif
8. Compétences techniques : SQL (Expert), GCP Big Query (Confirmé), GCS & google cloud function (Confirmé), Python/Shell (Confirmé), Github (Confirmé)