Data Engineer Starburst Infrastructure - Freelance (H/F)

Contexte de la mission

L’équipe travaille sur des données issues de scans d’infrastructure réalisés avec BMC Discovery. Ces données permettent de recenser et de cartographier les composants techniques du système d’information, notamment les serveurs, les machines virtuelles, les applications, les équipements réseau et le stockage.

L’objectif est de transformer ces données brutes en produits data fiables et exploitables par différentes équipes IT, notamment les équipes de production, d’infrastructure, de sécurité et de conformité.

Missions

Dans le cadre de cette mission, vous interviendrez sur :

• La conception et le développement de produits data à partir de données d’infrastructure.

• La création de vues SQL, de modèles de données et de pipelines sur Starburst, basé sur Trino.

• La transformation de données techniques en jeux de données exploitables par les équipes IT.

• La mise à disposition de vues et de datasets pour des usages d’inventaire, de cartographie applicative, de suivi de parc et de conformité.

• L’optimisation des requêtes et des performances sur Starburst.

• La documentation des modèles, des règles de gestion et des produits data.

• Les échanges avec les équipes métiers IT afin de comprendre leurs besoins et de les traduire en solutions data.

• La montée en compétence sur BMC Discovery, dont la logique de collecte et de modélisation sera présentée en interne.

Nous recherchons un Data Engineer disposant d’une expérience préalable en production infrastructure, administration systèmes, ingénierie infrastructure ou DevOps, et ayant ensuite évolué vers la Data ou les plateformes Data.

Une bonne compréhension des environnements techniques est indispensable pour interpréter correctement les données manipulées. Vous devez notamment être à l’aise avec les notions de serveurs, machines virtuelles, VMware/ESX, réseau, stockage et dépendances applicatives.

Le profil recherché doit également être capable de comprendre les besoins des équipes d’infrastructure et de production, puis de les traduire en vues, modèles et produits data exploitables.

Compétences indispensables

• Très bonne maîtrise de SQL.

• Expérience dans la conception de requêtes complexes, de vues et de modèles de données.

• Expérience sur Starburst, Trino ou Presto.

• Connaissance des catalogues, connecteurs, jointures entre sources et problématiques de fédération de données.

• Expérience en optimisation de performances SQL.

• Bonne compréhension des environnements d’infrastructure et de production.

• Expérience de la gestion des incidents, du RUN ou du maintien en conditions opérationnelles.

Compétences appréciées

• Hadoop, Cloudera, Spark, Hive ou Iceberg.

• dbt ou outils de transformation et de modélisation data.

• Kubernetes, Docker, OpenShift ou OpenStack.

• CI/CD, Jenkins, GitLab, Ansible ou Terraform.

• Supervision, monitoring et ordonnancement.

• Connaissance d’une CMDB ou d’un outil de cartographie d’infrastructure.

• Expérience sur des sujets de cartographie réseau, de dépendances applicatives ou de conformité.

La connaissance de BMC Discovery n’est pas obligatoire. Une formation et un accompagnement seront assurés au démarrage de la mission.

Qualités recherchées

• Bon relationnel et capacité à échanger avec des interlocuteurs IT variés.

• Capacité à vulgariser des sujets techniques.

• Esprit d’analyse et de synthèse.

• Rigueur dans la modélisation et la documentation.

• Autonomie et sens du service.

• Capacité à travailler dans un environnement de production exigeant.

Livrables attendus

• Produits data opérationnels.

• Vues SQL exploitables par les équipes IT.

• Modèles de données documentés.

• Pipelines de données fiables et industrialisés.

• Documentation technique et fonctionnelle.

• Jeux de données adaptés aux besoins d’inventaire, de cartographie et de conformité.

Informations pratiques

• Type de mission : Freelance

• Localisation : Montreuil

• Télétravail : Flexible, environ deux à trois jours par semaine

• Durée : 3 ans

• Démarrage : Dès que possible