Data engineer GCP Monétique

Contexte

Récupérer les données issues de sources externes
• Utiliser la puissance du Datalake
• Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels

Mise en œuvre de la chaîne :

• d’ingestion de données

• de validation de données

• de croisement de données

• de déversement dans le datalake des données enrichies

• Développer dans le respect des règles d’architecture définies
• Développer et documenter les user stories avec l’assistance du Product Owner et des chefs de projets
• Produire les scripts de déploiement
• Prioriser les corrections des anomalies
• Assister les équipes d’exploitation
• Participer à la mise en œuvre de la chaîne de delivery continue
• Automatiser les tests fonctionnels

Aspects humains :
• Grande capacité à travailler dans une équipe, en mode Scrum / Kanban
• Bonnes compétences relationnelles et grand sens de la communication (capacité à entrer dans le détail)
• Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées

Missions

• Récupérer et ingérer des données issues de sources externes

• Valider et croiser les données

• Déverser les données enrichies dans le datalake

• Développer et documenter les user stories

• Produire les scripts de déploiement

• Prioriser et corriger les anomalies

• Assister les équipes d’exploitation

• Participer à la mise en œuvre de la chaîne de delivery continue

• Automatiser les tests fonctionnels

1. Plus de 9 ans d'expérience
2. Maîtrise de la plateforme et environnement GCP (indispensable)
3. Connaissance de l'environnement GKE
4. Compétences en stockage : HDFS / GCS
5. Maîtrise de l’écosystème Spark / Kafka / Scala
6. Expérience en planification avec Airflow / Composer
7. Pratique des méthodologies Scrum, Kanban, Git
8. Connaissances en DWH : SQL, BigQuery, BigTable
9. Compétences en delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build
10. Grande capacité à travailler en équipe, en mode Scrum / Kanban
11. Bonnes compétences relationnelles et grand sens de la communication
12. Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées