Data OPS/Data Platform Engineer Senior

Contexte

Le présent appel d’offre a pour objet la sélection d’un Data OPS/Data platform Engineer Senior afin d’accompagner le pôle Data Fabric d’une grande entreprise du secteur ferroviaire.

Missions

• RUN et fiabilité de la plateforme

  • Garantir la disponibilité, la performance et la sécurité de la Data Platform.

  • Investiguer et résoudre les incidents de production.

  • Améliorer l'observabilité, le monitoring et l'alerting.

  • Participer à l'amélioration continue de l'exploitation.

• Construction et évolution du socle Data

  • Développer et maintenir les services de la plateforme.

  • Participer à la mise à disposition d'environnements self-service pour les équipes Data.

  • Industrialiser les déploiements via Infrastructure as Code et CI/CD.

  • Contribuer à l'amélioration de l'expérience développeur.

• Modernisation et migration

  • Participer à la migration du patrimoine historique vers les nouvelles architectures Lakehouse.

  • Accompagner la transition des usages existants.

  • Optimiser les coûts d'exploitation des solutions Data.

• Services Data et consommation

  • Développer les services d'exposition et de consommation des données.

  • Contribuer aux sujets de gouvernance, catalogage et partage de données.

  • Participer à l'ouverture multi-client des services Data.

• Gouvernance et services Data Platform

  • Contribuer à la standardisation et à l'industrialisation des Data Products afin de garantir leur réutilisabilité, leur qualité et leur maintenabilité.

  • Participer à la définition, à l'implémentation et au suivi des Data Contracts entre producteurs et consommateurs de données.

  • Mettre à disposition et faire évoluer les services de la plateforme liés au catalogage, à la découvrabilité et à la documentation des données.

  • Implémenter et automatiser les mécanismes d'habilitation et de contrôle des accès afin de garantir la sécurité et la conformité des usages.

  • Accompagner les équipes Data dans l'adoption des standards de gouvernance et des bonnes pratiques de publication des Data Products.

Livrables

• Mise en place et suivi des SLA/SLO sur les pipelines et Data Products en production.

• Dispositif de monitoring et d'alerting opérationnel (dashboards, seuils, règles de qualité en continu).

• Procédures de gestion des incidents data : détection, qualification, résolution, post-mortem.

• Runbooks et documentation d'exploitation pour les pipelines critiques.

• Reporting de fiabilité (disponibilité, taux d'incidents, temps de résolution) auprès des Data Product Owners.

• Data Catalog

• Data product

Compétences

• Architecture : Lakehouse

• Infra : AWS, EKS, CI/CD, Terraform, Iceberg

• Ingestion : MSK, DataStream, SQS

• Gouvernance : lakeformation, Data Catalog, DataProduct/contract

• Process : Airflow, Starburst

• Développement : Python, Software craftmanship (bonnes pratiques de dev)

• Monitoring : Datadog, AWS, FinOps

Compétences clés

• Obligatoire :

  • Data Catalog

  • AWS

  • Terraform

  • Observabilité Data

  • Starburst

• Important :

  • Data Product Management

  • Data Contract

  • Data Quality

1. Maîtrise de Data Catalog
2. Expérience avec AWS
3. Compétences en Terraform
4. Expertise en Observabilité Data
5. Connaissance de Starburst
6. Compétences importantes en Data Product Management
7. Connaissance des Data Contract
8. Maîtrise de la Data Quality