Data Engineer

ACENSI est à la recherche d'un Data Engineer pour l'un de ses clients dans le secteur du transport public basé à Bruxelles :

Activités et principes de planification et d'analyse

• Peut analyser une demande du business et la traduire en une méthodologie et une philosophie de planification agile.

• Expérience dans la conception d’Entity-Relationship Diagrams (ERD) et la contribution aux ERD.

• Élaboration et proposition d’une solution techniquement durable et facile à maintenir, en pesant le pour et le contre et en analysant l'impact potentiel.

• Connaissance des techniques de profilage des données pour mieux comprendre les données.

Activités et principes de développement

• Maîtrise des principes du (Clean) Code.

• Maîtrise de la conteneurisation et de l'orchestration des conteneurs.

• Expertise en matière de pratiques CI/CD et de gestion de version (Git), en veillant à assurer des pratiques de codage faciles à maintenir.

• Connaissance des modèles et des approches appropriés en matière de pipeline de données et capacité à les appliquer de manière ciblée.

• Contrôle et gestion de la qualité du code et des pipelines de données au moyen de tests (unit, integration, end-to-end tests).

• Contrôle et gestion de la qualité des données par le biais de tests de la qualité des données et du nettoyage des données.

• Contrôle et gestion de la qualité de l'intégrité d'un modèle de données.

• Capacité d’identifier, d’analyser et de résoudre/d’optimiser les problèmes de performance (performance tuning).

Langages de codage, protocoles standard et technologies

• Compétent.e en matière d’utilisation et de gestion des API.

• Utilise Jinja pour l'esquisse de modèle et la génération SQL.

• Peut aisément utiliser Python pour diverses manipulations de données.

• La connaissance du logiciel Pandas est un plus.

• Une expérience approfondie de SQL est primordiale.

• Manipulation et traitement de sources de données non structurées et semi-structurées (JSON, XML, etc.).

• Connaissance de PySpark

Disciplines liées aux données

• Data Pipelining & Data Orchestration

• Data Warehousing

• Data Laking

• Applications opérationnelles : connaissance et expérience des bases de données relationnelles et des techniques de normalisation des données

Méthodes d'organisation des données

• Connaissance de l'approche Kimball :

o Maîtrise des techniques de modélisation dimensionnelle de Kimball pour l'entreposage de données.

o Peut traduire une demande en dimensions et faits robustes et (ré)utilisables.

o Expertise dans la conception de structures de schémas en étoile ou en flocon de neige pour une analyse efficace des données.

• Compétence en matière d’architecture en médaillon pour l'organisation des données :

o Expertise dans la compréhension et l’implémentation de l'architecture Bronze-Silver-Gold pour une organisation efficace des données.

o Compétences en matière de création de cadres permettant l'interopérabilité, l’échange de données et la gouvernance entre diverses sources de données.

Outils

• Expérience de l'utilisation de Jira ou d'un outil équivalent

• Expérience avec StarUML ou un outil équivalent

• Expérience de l'utilisation d'Airflow ou d'un outil équivalent pour l'orchestration des données

• Expérience de l'utilisation de SAP HANA ou d'un outil équivalent pour l'orchestration des données

• Expérience de l'utilisation de GitLab ou d'un outil équivalent

Langues

Maîtrise parfaite d’une des 2 langues officielles (FR, NL) et bonne connaissance de la seconde (niveau B2).