Référent technique Dataiku

Contexte

Dans le cadre d'un programme d'industrialisation de la Data Science, un client recherche un Lead Dataiku / Data Science Industrialisation afin de structurer et faire évoluer la plateforme Dataiku vers un environnement de production robuste, industrialisé et intégré au SI.

Le consultant interviendra comme référent technique de la plateforme et accompagnera les équipes Data Science et Data Engineering dans la mise en place des bonnes pratiques de développement, d'industrialisation et d'exploitation des projets Dataiku.

Missions

• Structurer l'architecture de la plateforme Dataiku et définir les standards techniques associés
• Concevoir et mettre en œuvre les pipelines de traitement et de déploiement des projets Data Science
• Industrialiser les développements à travers la mise en place des processus CI/CD
• Intégrer les traitements avec les outils d'ordonnancement et d'exploitation de la plateforme
• Définir les standards de développement (templates, librairies, composants mutualisés, modèles préentraînés, frameworks)
• Piloter l'urbanisation et le déploiement des projets sur les différents environnements (développement, recette, préproduction, production)
• Garantir la résilience, la maintenabilité et la performance des pipelines Data
• Accompagner les Data Scientists et Data Engineers dans leurs développements et favoriser l'adoption des bonnes pratiques d'industrialisation
• Réaliser des revues de code, contrôler la qualité des livrables et promouvoir les standards techniques
• Développer des composants réutilisables afin d'accélérer les développements futurs
• Participer à la mise en œuvre des processus de déploiement et d'exploitation des solutions Data Science
• Assurer le support technique de niveau expert sur les incidents complexes et contribuer au maintien en conditions opérationnelles de la plateforme
• Jouer un rôle de leader technique auprès de la communauté Data Science et accompagner la montée en compétences des équipes

Livrables attendus

• Architecture cible de la plateforme Dataiku
• Standards de développement et d'industrialisation
• Pipelines de traitement et de déploiement industrialisés
• Composants mutualisés (templates, librairies, frameworks, plugins)
• Processus CI/CD opérationnels
• Documentation technique et guides de bonnes pratiques
• Revues de code et recommandations d'amélioration
• Documentation d'exploitation et de support
• Plan de déploiement des projets sur les différents environnements
• Supports de transfert de compétences et accompagnement des équipes

Expertise souhaitée

Compétences techniques :

• Expertise avancée de la plateforme Dataiku avec certification(s) reconnue(s)
• Expérience significative dans l'industrialisation de plateformes Data Science et le passage des développements en production
• Maîtrise avancée de Python (Pandas, NumPy, Scikit-Learn)
• Très bonne connaissance des APIs Dataiku (recipes, plugins, automatisation)
• Solide expérience sur Spark / PySpark
• Maîtrise de SQL et des bases de données relationnelles
• Bonne connaissance de l'écosystème Cloudera (HDFS, Hive, YARN, Hue)
• Maîtrise des outils de gestion de versions et de collaboration (Git, GitLab, Jira, Confluence)
• Expérience de la mise en œuvre de chaînes CI/CD appliquées aux projets Data
• Connaissance des outils d'ordonnancement, notamment IBM Workload Scheduler (IWS)
• Bonne maîtrise des problématiques d'industrialisation, d'exploitation et de maintien en conditions opérationnelles des plateformes Data
• Connaissance des méthodologies projet, notamment du cycle en V

Qualités attendues :

• Leadership technique reconnu et capacité à fédérer des équipes pluridisciplinaires
• Forte capacité d'accompagnement, de pédagogie et de transfert de compétences
• Excellentes capacités d'analyse et de résolution de problèmes complexes
• Autonomie, rigueur et sens des responsabilités
• Capacité à définir et faire respecter des standards techniques
• Très bonnes qualités de communication avec les équipes Data, les métiers, la MOA et les équipes d'exploitation
• Esprit d'amélioration continue et orientation qualité

Outils & Environnement

• Python (6 ans)
• Cloudera (6 ans)
• SQL
• JIRA
• IBM Workload Scheduler (IWS)
• Spark
• GIT
• Dataiku (6 ans)
• Postes de travail, Workplace
• Outils d'ordonnancement
• API / APIs
• Versionning, gestion de configuration

Conditions de travail

• Lieu de la mission : Paris
• 2 jours de télétravail par semaine
• 8 ans d'expérience professionnelle requise

1. Expertise avancée de la plateforme Dataiku avec certification(s) reconnue(s)
2. Expérience significative dans l'industrialisation de plateformes Data Science et le passage des développements en production
3. Maîtrise avancée de Python (Pandas, NumPy, Scikit-Learn)
4. Très bonne connaissance des APIs Dataiku (recipes, plugins, automatisation)
5. Solide expérience sur Spark / PySpark
6. Maîtrise de SQL et des bases de données relationnelles
7. Bonne connaissance de l'écosystème Cloudera (HDFS, Hive, YARN, Hue)
8. Maîtrise des outils de gestion de versions et de collaboration (Git, GitLab, Jira, Confluence)
9. Expérience de la mise en œuvre de chaînes CI/CD appliquées aux projets Data
10. Connaissance des outils d'ordonnancement, notamment IBM Workload Scheduler (IWS)
11. Bonne maîtrise des problématiques d'industrialisation, d'exploitation et de maintien en conditions opérationnelles des plateformes Data
12. Connaissance des méthodologies projet, notamment du cycle en V
13. Leadership technique reconnu et capacité à fédérer des équipes pluridisciplinaires
14. Forte capacité d'accompagnement, de pédagogie et de transfert de compétences
15. Excellentes capacités d'analyse et de résolution de problèmes complexes
16. Autonomie, rigueur et sens des responsabilités
17. Capacité à définir et faire respecter des standards techniques
18. Très bonnes qualités de communication avec les équipes Data, les métiers, la MOA et les équipes d'exploitation
19. Esprit d'amélioration continue et orientation qualité