Consultant Data Platform

Contexte

Un grand groupe industriel du secteur aéronautique souhaite renforcer temporairement son équipe Data Platform au sein de sa Digital Factory.
La mission vise à accompagner l’accélération des projets Data et IA, l’augmentation des volumes de données et l’industrialisation des traitements de données.

Missions

• Administration et exploitation Data Platform
◦ Administrer et maintenir les plateformes de données.
◦ Gérer les pipelines d’intégration et les déploiements.
◦ Administrer les environnements DEV, TEST et PROD.
◦ Gérer les espaces de stockage, les accès et les habilitations.
◦ Garantir la disponibilité et la sécurité des plateformes.

• Architecture & Infrastructure DataOps
◦ Concevoir et maintenir des architectures Data sur AWS.
◦ Automatiser le provisionnement d’infrastructure via Terraform.
◦ Optimiser les coûts Cloud (FinOps).
◦ Assurer la scalabilité, la résilience et la sécurité des services Data.

• Industrialisation et DevOps
◦ Mettre en place et maintenir les chaînes CI/CD.
◦ Automatiser les déploiements et les tests.
◦ Standardiser les composants Data.
◦ Améliorer continuellement les processus d’exploitation.

• Support et expertise technique
◦ Assurer le support N2/N3 des plateformes Data.
◦ Diagnostiquer et résoudre les incidents complexes.
◦ Accompagner les équipes Data Engineering et BI.
◦ Réaliser des analyses de performance et de capacité.

• Monitoring et observabilité
◦ Mettre en œuvre les solutions de supervision.
◦ Définir les alertes et tableaux de bord opérationnels.
◦ Assurer le suivi des SLA et indicateurs de performance.
◦ Anticiper les risques de saturation ou de dégradation des services.

• Gouvernance et transformation
◦ Contribuer aux standards de la Data Platform.
◦ Participer aux revues d’architecture.
◦ Documenter les procédures et bonnes pratiques.
◦ Accompagner les projets de migration Cloud et les évolutions de plateforme.

• Livrables
◦ Templates d’infrastructure automatisés (IaC).
◦ Pipelines CI/CD industrialisés.
◦ Documentation d’exploitation.
◦ Procédures de déploiement et de supervision.
◦ Runbooks et modes opératoires.
◦ Dossiers techniques d’architecture.
◦ Reporting d’activité.
◦ Plans de remédiation des incidents majeurs.
◦ Supports de transfert de compétences.
◦ Documentation des processus d’automatisation et d’exploitation.

Organisation & quotidien

• L’équipe Data Platform est responsable de la mise à disposition, de l’exploitation et de l’évolution des services permettant l’ingestion, le stockage, la transformation et la diffusion des données.
• L’équipe assure également la supervision, la sécurisation des flux et le support aux équipes Data Engineering, BI et métiers.
• Le consultant interviendra au sein de la Digital Factory.

1. Minimum 5 ans d’expérience sur des environnements Data Platform

2. Maîtrise de l’architecture Data Mesh

3. Connaissance des Data Products et de la gouvernance fédérée

4. Compétences en gestion des identités et des accès

5. Expertise en Data Governance et Data Quality

6. Expérience en exploitation de plateformes de données critiques

7. Compétences en FinOps et optimisation des coûts Cloud

8. Maîtrise des outils AWS (S3, IAM, Glue, Athena, Lambda, EMR, Redshift, DynamoDB)

9. Expérience avec Terraform et AWS CDK

10. Connaissance des conteneurs et orchestrateurs : Docker, Kubernetes, AWS EKS, ECS

11. Maîtrise des outils ETL et workflow : AWS Glue ETL, Airflow, dbt, AWS Step Functions

12. Compétences en CI/CD, monitoring et observabilité

13. Compétences en langages et scripts : Python, SQL, PySpark, Bash

14. Expérience avec GitLab CI, CloudWatch, AWS Lake Formation, AWS KMS, AWS Secrets Manager

15. Connaissance de Snowflake, Apache Spark, Talend et Microsoft Fabric

16. Autonomie et capacité à travailler avec les équipes Data Engineering, BI et Architecture

17. Excellent niveau technique

18. Être habilitable