Ingénieur DataOps (H/F)

Le contexte

Notre client, un grand groupe d'assurance, renforce l'équipe décisionnelle de sa division Data. La plateforme actuelle est on-premise : pipelines sur Hadoop (HDFS, Hive) et Spark, datawarehouse Oracle Exadata, temps réel avec Kafka et MongoDB, restitution sous Qlik. Une migration vers Google Cloud Platform est en cours.

Aujourd'hui, l'exploitation des environnements hors production est très manuelle. Vous serez le référent technique opérationnel de ces environnements, aux côtés d'un chef de projet et d'un coordinateur.

Vos missions

• Exploitation des environnements hors prod (DEV, RCT, PREPROD) : garantir leur disponibilité, leur cohérence et leur fiabilité, sur une chaîne Data dupliquée de bout en bout.

• Refresh des données entre environnements, puis leur automatisation.

• Installations applicatives : traitements Spark/Scala, ETL Informatica, scripts SQL Oracle, scripts shell.

• Synchronisation des environnements : versions applicatives et logicielles, configurations, paramétrages.

• Maintien en conditions opérationnelles : exécution des jobs Spark, analyse des logs, contrôle des dépendances, suivi et relance des batchs (Opcon).

• Automatisation : développer les scripts et outils qui réduisent l'effort manuel (contrôle des écarts entre environnements, validation post-installation et post-refresh, cohérence des bases).

• Monitoring et observabilité : construire et maintenir un dashboard de suivi des environnements (exécutions, volumes), avec alerting et reporting. Vous êtes force de proposition sur l'outillage.

• Livraisons : contribuer aux pipelines de livraison GitLab et à la qualité des livrables.

• Migration GCP : participer à la reconstruction des environnements hors prod sur Google Cloud.

Profil recherché

Un profil DevOps orienté Data : environ 75 % d'exploitation, d'automatisation et de MCO, et 25 % de développement Data.

Indispensable

• Solide expérience d'exploitation de plateformes Data on-premise : Hadoop, Hive, Spark.

• Très bonne maîtrise d'Oracle et du PL/SQL.

• Shell Linux et scripting Python.

• Git et pipelines CI/CD (GitLab).

• Pratique d'un ordonnanceur : relance, compréhension du scheduling et des dépendances (Opcon idéalement ; Control-M, Airflow ou Oozie également appréciés).

Apprécié

• Informatica.

• Google Cloud Platform.

• Stack ELK (Elasticsearch, Logstash, Kibana) ou autre outil de monitoring.

• Scala, MongoDB, Kafka.