Data Ingénieur Sénior

Contexte

Au sein de l’équipe Bronze, la prestation se déroulera en collaboration avec les autres équipes de la Data, au cœur de la plateforme Data. Cette équipe est composée d’un product owner, d’un data steward et de deux autres data ingénieurs.

Missions

• Collecter et centraliser les différentes sources de données non homogènes

• Assurer la conformité et la sécurité des données

• Participer aux initiatives de gouvernance des données

• Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe

• Construire et maintenir des pipelines data robustes et scalables

• Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données

• Organiser et structurer le stockage des données

• Mettre en place et maintenir des infrastructures scalables capables de répondre aux besoins et à l’accroissement rapide du volume de données

• Construire et maintenir les workflows de la CI/CD

• Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur

• Assurer l’évolutivité, la sécurité et la stabilité des environnements

• Participer aux différentes instances des data ingénieurs

• Contribuer et veiller à la mise à jour de la documentation

• Faire de la veille technologique active dans le domaine

Outils & Environnement

• Langages et frameworks : Python, Spark, SQL

• Orchestration : Airflow

• Stockage : Cloud Storage, Delta Lake

• Cloud : Google Cloud Platform (BigQuery, Dataproc, PubSub, Cloud Storage)

• Infrastructure : Terraform, Terragrunt

• Gestion de code et CI/CD : Gitlab, Gitlab CI/CD

• Méthodologies : Agile (Scrum ou Kanban)

Conditions de travail

• Expérience requise : au moins 3 ans en tant que Data Ingénieur dans un environnement data

• Niveau sénior : plus de 5 ans d’expérience significative dans le type d’expertise demandé

1. Au moins 3 ans d’expérience en tant que Data Ingénieur dans un environnement data
2. Compétences solides en data : structures de données, code, architecture
3. Expériences dans la conception et la réalisation de pipelines data
4. Expériences dans un environnement du cloud Google (GCP)
5. Expériences intégrant BigQuery et Dataplex Universal Catalog
6. Expériences intégrant les langages Python et SQL
7. Expériences intégrant Spark
8. Expériences intégrant delta lake
9. Expériences intégrant Terraform et Terragrunt
10. Expériences intégrant Gitlab et Gitlab CI/CD
11. Expériences intégrant les méthodologies Agile : Scrum ou Kanban
12. Capacité à vulgariser et à communiquer sur des aspects purement techniques