Data Engineer

Administrer les infrastructures Data – (Cloudera, Opensource)

Missions principales

Au sein de l'équipe Data & IA, vous aurez la charge de l'administration et de l'évolution des plateformes Data ainsi que des tâches quotidiennes liées au maintien de la production en condition opérationnelle.

Vos interlocuteurs privilégiés seront les équipes de production applicative, les équipes infrastructures, les plateformes internationales, mais également les équipes métiers pour lesquelles vous apporterez votre support et votre expertise technique.

Conception et mise en œuvre de l'ingestion et du stockage de données :

- Identifier et formaliser les besoins des métiers en matière de collecte et de stockage de données.

- Développer des solutions d'acquisition de données via API.

- Concevoir et implémenter des architectures de stockage de données robustes (Ex: Ozone, Hadoop, Druid, Clickhouse…).

- Valider la qualité des développements par des tests unitaires et d'intégration.

- Automatiser les traitements de données via la mise en place et la maintenance de batchs.

Valorisation et sécurisation des données :

- Industrialiser les processus de nettoyage et de transformation des données.

- Gérer et documenter des bases de données hétérogènes, en intégrant diverses sources de données.

- Veiller à la conformité RGPD dans la gestion du cycle de vie des données.

- Superviser l'exploitation et assurer la maintenance corrective et évolutive des systèmes de données.

Intégration et suivi des modèles prédictifs :

- Industrialiser le déploiement de modèles statistiques et de machine learning.

- Mettre en place des dispositifs de validation et de monitoring des modèles.

- Assurer le suivi opérationnel et la maintenance des modèles intégrés aux applications.

Contribution au pilotage projet :

- Définir les spécifications techniques précises en appui de l'analyse des besoins.

- Communiquer régulièrement l'état d'avancement des travaux au chef de projet.

- Capacité à communiquer et partager les informations vers notre communauté d’utilisateurs orienté métier.

Connaissances techniques

- Les composants basés sur le logiciel de l’éditeur Cloudera CDP 7.1 : Hbase, Hive, Kafka, Solr, Knox, Spark, Ranger, Zookeeper, Kerberos LDAP...

- Être force de proposition sur les évolutions techniques du périmètre Data avec la nouvelle offre containérisée : Cloudera Data Services (Infra Openshift K8s)

- Contribuer à l'élaboration et à l'exécution des stratégies de migration des clusters Hadoop Cloudera.

- Aisance avec l’écosystème Apache (Outils OpenSource), Build (Java, Maven, Gradle…), Automatisation avec Ansible

- Connaissance Trino/Starburst, AirFlow, Flink

- Participer à la résolution de problèmes complexes sur les plateformes Data (Capacité d’analyse des incidents applicatif de type Hive, Yarn, Spark… )

- Apporter un support quotidien aux équipes applicatives et métiers dans leurs études de cas d’usage, leurs problématiques de développement ou de montée en charge.

- Le poste est soumis à astreintes et interventions hors périodes ouvrées par rotation.

CDP 7.1.x - Confirmé

RedHat 8 et 9 - Expert

Python, Java, Ansible, DevOps - Confirmé

Connaissances linguistiques Anglais Professionnel