Expert migration et production Cloudera / Databricks

Dans le cadre de l’évolution de la plateforme Data vers Azure (projet Data Cloud) l’équipe Data Cloud et IA Factory (DIAF) arrive à une étape clé :
• Mise en production et ouverture aux utilisateur de la version 1.0 de Data Cloud (Azure Darabricks)
• Stabilisation d’ODLG (Cloudera)
• Migration progressive d’ODLG vers la nouvelle plateforme Data Cloud
• Accompagnement des branches sur la décroissance et l’optimisation des consommations Azure
• Rapprochement vers une gouvernance i-TEAM
• Intégration dans les processus de supervision et de support i-TEAM
• Réflexion sur la mise en œuvre d’un nouveau Catalogue de Services
• Accompagnement et soutien de l’équipe dans cette transformation

La mission consiste à intégrer l’équipe DIAF sur un rôle transverse pour apporter un support dans les processus de stabilisation et de migration. Ce rôle nécessite donc aussi bien une connaissance technique qu’une compréhension des modèles de données et des processus de migration.

La prestation inclue :
• Analyse des résultats l’audit Cloudera et accompagnement de l’équipe dans le suivi du plan de remédiation
• Renfort des actions liées à AIG
• Soutien aux équipes socle Data Cloud et ODLG
• Soutien aux équipes Outils & Usages
• Analyse et optimisation des ressources sur Cloudera et Data Cloud
• Accompagnement des plans de migrations et optimisation

1. Gestion des obsolescences
Le prestataire devra s’assurer de la maintenabilité des versions liées au support des éditeurs ou de l'image middleware PaaS/IaaS proposée : Gestion de l'obsolescence des socles et images

2. Livrables / Résultats attendus
• Suivi évaluation et CR des activités liées à l’audit Cloudera
• Analyse et plan de mitigation des "requêtes lourdes" Cloudera
• Proposition d’optimisations des séquences des job avec plan de mise en œuvre et suivi des actions
• Suivi et reporting décroissance et décommissionnement ODLG
• Bonnes pratiques de migration on-remise -> cloud

3. Cadre technique de la prestation :
• Jira
• Cloudera
• Azure
• Databricks
• Redhat
• GitLab
• Terraform
• Pyhton
• Dremio

4. Cadre fonctionnel de la prestation :
• Data model
• Data Management
• Data Viz
• Sys admin
• Data migration