DataOps Engineer

ACENSI est à la recherche d'un DataOps Engineer pour l'un de ses clients dans le secteur ferroviaire basé à Bruxelles :

Activités et principes de planification et d'analyse

• Peut traduire les politiques globales et les règles de gouvernance en une architecture DevOps et concevoir cette dernière

Activités et principes de développement

• Maîtrise des principes du (Clean) Code.

• Maîtrise de la conteneurisation et de l'orchestration des conteneurs.

• Expertise en matière de pratiques CI/CD et de gestion de versions (Git), en veillant à assurer des pratiques de codage faciles à maintenir.

• Connaissance des modèles et des approches appropriés en matière de pipeline de données et capacité à les appliquer de manière ciblée.

• Contrôle et gestion de la qualité du code et des pipelines de données au moyen de tests (unit, integration, end-to-end tests).

• Contrôle et gestion de la qualité des données par le biais de tests de la qualité des données et du nettoyage des données.

• Capacité d’identifier, d’analyser et de résoudre/d’optimiser les problèmes de performance (performance tuning).

Langages de codage, protocoles standard et technologies

• Compétences en matière d’utilisation et de gestion des API.

• Peut aisément utiliser Python pour diverses manipulations de données. La connaissance du logiciel Pandas est un plus.

• Une expérience approfondie de SQL est primordiale.

• Manipulation et traitement de sources de données non structurées et semi-structurées (JSON, XML, etc.).

Disciplines liées aux données

• Data Pipelining & Data Orchestration

• Data Warehousing

• Data Laking

• Applications opérationnelles

Méthodes d'organisation des données

• Connaissance de l'approche Kimball :

o maîtrise des techniques de modélisation dimensionnelle de Kimball pour l'entreposage de données.

o peut traduire une demande en dimensions et faits robustes et (ré)utilisables

o expertise dans la conception de structures de schémas en étoile ou en flocon de neige pour une analyse efficace des données.

• Compétence en matière d’architecture en médaillon pour l'organisation des données :

o expertise dans la compréhension et l’implémentation de l'architecture Bronze-Silver-Gold pour une organisation efficace des données.

o compétences en matière de création de cadres permettant l'interopérabilité, l’échange des données et la gouvernance entre diverses sources de données.

Outils

• Expérience de l'utilisation d'Airflow ou d'un outil équivalent pour l'orchestration des données

• Expérience de l'utilisation de Jira ou d'un outil équivalent

• Expérience avec StarUML ou un outil équivalent

• Expérience de l'utilisation de Kubernetes/OpenShift ou d'un outil équivalent

• Expérience de l'utilisation de Docker ou d'un outil équivalent

• Expérience de l'utilisation de GitLab ou d'un outil équivalent

Langues

Maîtrise parfaite d’une des 2 langues officielles (FR, NL) et bonne connaissance de la seconde (niveau B2).