Data Engineer Senior

Contexte

La transformation des SI de nos clients vers des architectures modulaires, type micro-services, l’essor des infrastructures et l’évolution des technologies associées, ainsi que l’automatisation accrue sur les socles et applications, génèrent une quantité massive de données devenues très hétérogènes.

Missions

• Maîtriser l'ensemble des techniques et technologies composant la Data Platform

• Accompagner les besoins et projets sur la collecte, transformation, stockage et mise à disposition des données, provenant de sources diverses en adéquation avec la Data Platform

• Concevoir et mettre à disposition les outils et processus (CI/CD) permettant d’automatiser les pipelines d’ingestion de données prenant en compte les besoins de fréquences (batch, temps réel, …)

• Développer et déployer des mécanismes de contrôle qualité ainsi que des routines de vérification pour garantir l'intégrité et la fiabilité des données

• Participer à la conception des solutions techniques et fonctionnelles

• Gérer les données de l’entreprise (flux : collecte, traitement, stockage et leur cycle de vie)

• Rédiger les documents fonctionnels et techniques, d’exploitation, en veillant au respect des normes existantes

• Automatiser les installations des socles techniques

• Mettre en œuvre en mode DevOps (CI/CD)

• Assurer le support technique et fonctionnel, notamment analyse et résolution des incidents ou problèmes

• Être en relation avec les équipes opérationnelles de l’entreprise pour prise en compte des flux de données

Outils & Environnement

• Base de données de type SQL/NoSQL

• Kafka

• Dataiku

• Scripting Python/SQL/Java

• Suite Elastic

• Suite de type Data Lakehouse (Spark, MinIO, stockage S3, Iceberg, Trino)

1. Connaissances en infrastructure : réseau / système
2. Connaissance indispensable en SGBD et langage de requêtage
3. Connaissance forte en streaming
4. Architecture d’Entreprise, plus particulièrement en base de données, flux de données
5. Conception et mise en place de solution de stockage et ingestion de données
6. Méthodologie Agile / DevOps, maitrise des outils associés
7. Gouvernance de la donnée
8. Maitrise de divers langages de programmation (Java/Python)
9. Anglais
10. Curieux et force de propositions
11. Esprit d’analyse, rigueur, sens de la méthode
12. Capacités relationnelles et travail en équipe
13. Disponibilité et réactivité
14. Sens du service et respect des engagements
15. Communication (écrite et orale) claire et concise