Ingénieur DataOps - Production

Contexte

Le bénéficiaire souhaite une prestation d’accompagnement dans l’objectif de garantir la fiabilité, la performance et l’industrialisation des solutions data au sein de l’équipe OPS (ITOps / SRE).

Au-delà de la gestion des pipelines, le profil intervient en amont sur la conception et le déploiement d’architectures data complètes, de la définition des choix techniques avec les équipes Dev/Archi/Sécurité/Cloud … à la mise en production jusqu’à assurer le fonctionnement optimal des plateformes en production.

Intégrer une équipe IT Ops pour assurer le déploiement et l’architecture Data autour des solutions Databricks & Dataiku. Le rôle consiste à garantir la stabilité, la performance et la sécurité des environnements, en collaboration avec les équipes techniques et métiers de la direction Data & IA d’une grande entreprise du secteur assurance.

Missions

• Administrer les environnements Databricks et Dataiku : gestion des clusters, sécurité et gouvernance (Databricks Azure, Dataiku on prem)

• Déployer et maintenir les pipelines de données (ETL/ELT) en production (MCO)

• Automatiser le déploiement et la configuration IaC

• Administrer des environnements Airflow, Starburst …

• Assurer la fiabilité, l’intégrité et la qualité de la plateforme en production

• Définir et suivre les SLO/SLI ; rétablir le service en cas d’incident

• Participer à la conception d’architectures data end-to-end (ingestion, stockage, transformation, exposition) et anticiper les impacts sur la production

Compétences clés

Techniques :

• Linux (RHEL), Docker, Kubernetes / OpenShift

• Databricks, Dataiku (connaissances avancées)

• Airflow, Starburst, Domino AI (un plus)

• Automatisation & IaC : Git, Ansible, Terraform, Helm, DigitalAI, ArgoCD

• Scripting : Python, SQL, Shell, YAML

• Observabilité & Monitoring : ELK, SysDig, Dynatrace, Grafana

• Cloud : IBM Cloud (Cloud Principal), Azure (pour la solution Databricks)

Métier & Soft skills :

• Analyse, diagnostic, résolution de problèmes et définition des indicateurs pertinents (SLI/SLO)

• Orientation fiabilité, performance et expérience utilisateur

• Autonomie, sens des priorités et proactivité

• Capacité à anticiper les besoins futurs en matière de Data & AI et à proposer des solutions innovantes pour améliorer la fiabilité et la performance des services

Expérience dans l'environnement de la prestation

• 6 ans et plus

• Conception et mise en œuvre des architectures de production pour les nouveaux projets

• Implémentation des outils de configuration et d'automatisation pour simplifier les process de déploiement et de mise à jour sur l'intégralité de la plateforme

• Design et implémentation de scripts pour les besoins du DEV, en support des ingénieurs OPS affectés aux projets Agiles

• Gestion de la capacité des environnements de production et anticipation des évolutions (capacity planning)

• Pilotage de la mise à niveau des infrastructures et gestion des impacts

• Mise en œuvre des bonnes pratiques DevOps et intégration continue : installation, configuration et divers paramétrages

• Alimentation du backlog des services de production (CI/CD, Continuous Operation, Time2fix,...) en complément des informations collectées auprès des ingénieurs OPS

• Connaissance des environnements de production et containers

• Apport d’expertise autour de la pratique DevOps

• Connaissance de l'intégration continue

• Connaissance des infrastructures / serveurs / OS / base de données / flux / firewall

• Connaissance en infrastructure Cloud (IaaS, PaaS) privé ou public

• Maîtrise de l’ordonnancement (schedulers)

• Connaissance des pratiques Agile et DevOps

• Connaissance de l'intégration continue (Continuous Integration) : outil de gestion de versions, référentiel du code source (GitLab, Bitbucket, ...), référentiel binaires (Nexus, Artifactory…), orchestration (Jenkins, …)

• Connaissance de la livraison continue (Continuous Delivery) : gestion de configuration d’environnement, déploiement, infrastructure as code (Ansible, Puppet, Chef)

• Connaissance des processus et outils du Time2fix et Time2repair

1. Expérience en DataOps, DevOps/IAOps/Architecture Data ou exploitation en production
2. Maîtrise opérationnelle de Databricks et Dataiku sur des projets réels en production
3. Communication fluide et maîtrise de l’anglais obligatoire pour un usage quotidien
4. 6 ans et plus d'expérience dans la conception et mise en œuvre des architectures de production
5. Connaissance des outils de configuration et d'automatisation (Ansible, Terraform, Helm, Git, ArgoCD)
6. Compétences en scripting : Python, SQL, Shell, YAML
7. Connaissance des environnements de production et containers (Linux RHEL, Docker, Kubernetes/OpenShift)
8. Maîtrise des pratiques DevOps et intégration continue (CI/CD, Jenkins, GitLab, Bitbucket)
9. Connaissance des infrastructures cloud (IBM Cloud, Azure) et des concepts IaaS, PaaS
10. Compétences en observabilité et monitoring (ELK, SysDig, Dynatrace, Grafana)
11. Capacité d'analyse, diagnostic, résolution de problèmes et définition d'indicateurs pertinents (SLI/SLO)
12. Orientation fiabilité, performance et expérience utilisateur
13. Autonomie, sens des priorités et proactivité
14. Capacité à anticiper les besoins futurs en matière de Data & AI et à proposer des solutions innovantes