Data engineer

Contexte et détails de la mission

Direction prescriptrice : Direction Data & Plateforme Numérique

La Direction Technique accompagne les projets transverses de transformation numérique en collaboration avec plusieurs directions métiers et équipes data.
La Direction Data a pour objectif de valoriser les usages de la donnée à travers :

• l’optimisation de la collecte et de la centralisation des données,

• le développement de la connaissance utilisateur,

• la mise à disposition d’outils d’aide à la décision et de pilotage pour les équipes internes.

La prestation s’inscrit au sein d’une équipe Data Engineering intervenant au cœur de la plateforme Data, en collaboration avec plusieurs équipes techniques et fonctionnelles. L’équipe est composée d’un Product Owner, d’un Data Steward et de plusieurs Data Engineers.

L’environnement technique repose principalement sur :

• Python,

• Spark,

• SQL,

• Airflow,

• Google Cloud Platform (BigQuery, Dataproc, Pub/Sub, Cloud Storage),

• Delta Lake,

• Terraform / Terragrunt,

• GitLab & GitLab CI/CD.

Prestations attendues

La mission consiste à contribuer à la construction, l’industrialisation et l’évolution de la plateforme Data afin de :

• centraliser des sources de données hétérogènes,

• garantir la qualité, la sécurité et la gouvernance des données,

• accompagner la montée en puissance des usages Data.

En interaction avec les membres de l’équipe, la prestation consiste à :

• Participer aux phases de conception, planification et réalisation des sujets techniques

• Concevoir, développer et maintenir des pipelines Data robustes et scalables

• Accompagner les équipes dans l’exploitation et le requêtage des données

• Structurer et optimiser les espaces de stockage de données

• Mettre en place et maintenir des infrastructures Data scalables

• Construire et maintenir les workflows CI/CD

• Participer à l’amélioration continue et au partage des bonnes pratiques Data Engineering

• Garantir la stabilité, la sécurité et l’évolutivité des environnements

• Participer aux rituels et instances techniques de l’équipe

• Contribuer à la documentation technique et fonctionnelle

• Réaliser une veille technologique active autour des technologies Data & Cloud

Expertises demandées

• Expérience significative en Data Engineering dans un environnement Data moderne

• Solides compétences en architecture et traitement de données

• Expérience dans la conception et l’industrialisation de pipelines Data

• Maîtrise de l’environnement Google Cloud Platform (GCP)

• Expérience sur BigQuery et les outils de gouvernance/catalogue Data

• Très bonnes connaissances Python et SQL

• Expérience sur Spark et Delta Lake

• Expérience sur Terraform / Terragrunt

• Maîtrise des outils GitLab et GitLab CI/CD

• Expérience des méthodologies Agile (Scrum / Kanban)

• Bonne capacité de communication et vulgarisation technique

Niveau d’expertise attendu

• Profil Senior

• Minimum 5 ans d’expérience significative en Data Engineering et environnements Cloud/Data (GCP, BigQuery, Python, SQL, Spark, Terraform)

Modalités de la prestation

• Présence sur site hybride avec un minimum d’environ 50% sur site

• Pas d’astreinte prévue (week-ends et jours fériés)

Niveau d’expertise attendu

• Profil Senior

• Minimum 5 ans d’expérience significative en Data Engineering et environnements Cloud/Data (GCP, BigQuery, Python, SQL, Spark, Terraform)