Senior Data Engineer

Data Engineer Senior – GCP / Spark / Terraform

Contexte de la mission

Au sein d’une direction Data d’un grand groupe média et digital, vous rejoindrez une équipe en charge de la plateforme de données centrale de l’organisation.

La mission s’inscrit dans un contexte de forte croissance des usages data avec des enjeux autour :

de la centralisation des données,
de la gouvernance,
de la qualité et sécurité des données,
de la scalabilité des traitements,
et de l’industrialisation des plateformes analytics.

Vous interviendrez dans une équipe Data Platform composée de Data Engineers, Product Owner et Data Steward, en collaboration étroite avec les équipes Data et techniques.

Missions

En tant que Data Engineer Senior, vous participerez à la conception, au développement et à l’industrialisation de la plateforme data.

Activités principales :

• Concevoir et maintenir des pipelines data robustes et scalables
• Centraliser et structurer des sources de données hétérogènes
• Organiser le stockage et l’exploitation des données
• Participer à la mise en place d’architectures data cloud évolutives
• Développer et maintenir les workflows CI/CD
• Garantir la stabilité, la sécurité et la performance des environnements data
• Accompagner les équipes dans l’exploitation et le requêtage des données
• Participer aux bonnes pratiques de développement et d’architecture
• Contribuer à la documentation technique
• Participer aux cérémonies Agile et aux échanges techniques transverses
• Réaliser une veille technologique active autour des technologies data et cloud

Environnement technique :

Data & Processing
Python
SQL
Apache Spark
Delta Lake
Cloud & Infrastructure
Google Cloud Platform (GCP)
BigQuery
Dataproc
Pub/Sub
Cloud Storage
Dataplex / Universal Catalog
DevOps & Industrialisation
Terraform
Terragrunt
GitLab
GitLab CI/CD
Airflow

Méthodologie :
Agile Scrum / Kanban


Expérience :
Minimum 5 ans d’expérience significative en Data Engineering
Expérience confirmée sur des environnements data cloud à forte volumétrie

Compétences attendues

• Excellente maîtrise des architectures et pipelines data
• Très bonnes compétences Python et SQL
• Solide expérience sur Spark et traitements distribués
• Bonne maîtrise de l’écosystème GCP
• Expérience en infrastructure as code (Terraform / Terragrunt)
• Expérience des environnements CI/CD et GitLab
• Sensibilité aux enjeux de gouvernance, qualité et sécurité des données
• Capacité à travailler en équipe dans un environnement Agile
• Bonne communication et capacité à vulgariser des sujets techniques