Data Engineer

Qu'est-ce que tu vas faire?

En tant que Data Engineer, tu es responsable de la conception technique et du développement des actifs IT dédiés à la gestion des données et de leurs pipelines entrants et sortants. Tu travailles en collaboration avec les Data Analyst, qui sont responsables de l’agrégation des données et avec les data scientists qui sont en charge de l’utilisation des data à l’aide d’algorithmes. En outre tu interagis avec les équipes IT en charge de la sécurité, la continuité et l’architecture afin de faire valider les actifs IT que tu conçois et développes.

Tes challenges ?

Te baser sur la conception fonctionnelle définie par le Business Analyst, sur le cadre défini par le Data Architect, tout en te conformant au modèle de données d’entreprise et aux normes IT afin d’assurer aux utilisateurs de ces données (Data Analysts, AI business analysts, data scientists) un accès facilité aux données standardisées qui permettra plus d’efficacité dans la production de usescases la construction des tableaux de bord et de la prise de décision.

Au Quotidien, Tes Principales Tâches Seront

• Collecter les data et mettre en place des pipelines de données fiables
• Construire et optimiser le traitement des données, centraliser les pipelines de données en un seul endroit et produire une infrastructure robuste et performante pour générer des informations exploitables.
• Etre en charge du sourcing et de la connexion des données.
• Participer à l’industrialisation des cas d’usage des métiers
• Assurer la qualité, la fiabilité et l’accessibilité des données.
• Collaborer avec les équipes de data science et data analystes pour comprendre les besoins en données et mettre en place les solutions appropriées.
• Assurer la maintenance et l’optimisation des systèmes de données existants.

Ton Profil

• Diplôme d’ingénieur et/ou Master en Data ou équivalent
• Gestions des bases de données relationnelle et nosql
• Maîtrise ou Expertise en ingénierie de données, en particulier avec les technologies de big data (Hadoop, Spark, dbt, etc.) sur des ensembles de données à grande échelle,
• Maitrise du python et du développement logiciel,
• Expertise avancée GCP (Big Query), Azure ou AWS
• Expérience avec les bases de données SQL et NoSQL : EXPERT
• Connaissance des technologies de conteneurisation (Docker, Kube)
• Compétence des technologies de CI/CD et Infra as Code (Gitlab, Terraform)
• Expertise Cloud Composer, Dataproc, Pub/Sub, etc.
• Maitrise avec le NoSQL et le SQL complexe
• Capacité à travailler en équipe et à communiquer efficacement
• Être dans une communication de grande qualité et savoir discuter dans des situations tendues
• Avoir une expérience efficace et rigoureuse de la gestion de produits
• Avoir une capacité à travailler de manière autonome et à gérer efficacement plusieurs tâches simultanément
• Capacité à vulgariser et à communiquer sur des aspects purement techniques
• Expériences dans des environnements Agile
• Anglais indispensable