Programista-Analityk Data Platform | Kafka | B2B

ALGOTEQUE is an IT consultancy firm that helps startups, mid-sized and large corporations to create and deliver innovative technologies.

Our team has a successful track record in designing, developing, implementing, and integrating software solutions (AI, ML, BI, Web, Automation) for Telecom, Energy, Bank, Insurance, Pharma, Automotive, Industry, e-commerce. We deliver our services both in fixed-price and time-and-materials models, helping our customers achieve their business and IT strategies.

Job Description Do zespołu Data Platform poszukujemy osoby łączącej kompetencje programistyczne i analityczne. Rola obejmuje zarówno tworzenie nowoczesnych rozwiązań opartych na Apache Kafka, Spring Boot, MongoDB, GraphQL i Apache Iceberg, jak również analizę wymagań, modelowanie danych oraz współpracę z interesariuszami i zespołami IT.Celem jest rozwój platformy streamingowej oraz rozwiązań wspierających sprawny przepływ i udostępnianie danych pomiędzy systemami źródłowymi, platformą streamingową i warstwą ODS.

Zakres projektu

• Analiza potrzeb biznesowych i technicznych we współpracy z analitykami oraz zespołami IT.
• Przekładanie wymagań na specyfikacje funkcjonalne i techniczne oraz konkretne rozwiązania.
• Projektowanie przepływów i modeli danych pomiędzy systemami źródłowymi, Apache Kafka oraz warstwą ODS.
• Tworzenie dokumentacji, w tym use case'ów, user stories, diagramów danych oraz mapowania pól.
• Projektowanie topików Kafka, w tym zasad nazewnictwa, partycjonowania i schematów Avro.
• Projektowanie struktur danych w MongoDB, modeli GraphQL oraz tabel Apache Iceberg.
• Rozwijanie mikroserwisów w Java / Spring Boot, obejmujących m.in. producentów, konsumentów i przetwarzanie strumieniowe.
• Budowa oraz rozwój warstwy GraphQL udostępniającej dane z MongoDB.
• Konfiguracja i rozwój integracji z wykorzystaniem Kafka Connect.
• Tworzenie własnych Single Message Transforms (SMT) oraz konwerterów danych.
• Implementacja mechanizmów monitoringu i observability z wykorzystaniem Prometheus, Grafana, OpenTelemetry, Vector, ELK oraz Dynatrace.
• Analiza i rozwiązywanie problemów związanych z replikacją, opóźnieniami oraz jakością i spójnością danych.
• Optymalizacja środowiska Kafka, MongoDB i Iceberg pod kątem wydajności oraz kosztów.
• Udział w code review, warsztatach technicznych i dzieleniu się wiedzą.
• Współpraca z Data Engineerami, DevOpsami, analitykami oraz testerami w środowisku Agile.
• Udział w spotkaniach projektowych raz w miesiącu we Wrocławiu.

Profile / Requirements

• Minimum 3 lata doświadczenia w środowiskach produkcyjnych.
• Bardzo dobra znajomość Apache Kafka, w szczególności brokerów, topiców, partycjonowania, replikacji i schematów.
• Biegłość w Kafka Streams oraz kSQL.
• Doświadczenie w konfiguracji i rozwoju Kafka Connect, zarówno z wykorzystaniem gotowych konektorów, jak i własnych rozszerzeń.
• Bardzo dobra znajomość Javy oraz Spring / Spring Boot, mile widziane doświadczenie z Spring Cloud, Spring Security i Spring Data.
• Doświadczenie w projektowaniu oraz optymalizacji baz MongoDB, w tym schematów dokumentowych, indeksów i zapytań.
• Znajomość GraphQL – projektowanie schematów i implementacja resolverów.
• Podstawowa znajomość Apache Iceberg, w szczególności struktury tabel i zarządzania metadanymi.
• Znajomość Java i Python.
• Doświadczenie z narzędziami observability, w szczególności Prometheus, Grafana i OpenTelemetry.
• Znajomość mechanizmów bezpieczeństwa w środowiskach streamingowych: TLS, SASL, ACL oraz szyfrowanie danych w tranzycie i spoczynku.
• Znajomość Scrum lub Kanban oraz narzędzi takich jak Jira i Confluence.
• Umiejętność swobodnego poruszania się pomiędzy obszarem analizy, projektowania rozwiązania i jego implementacji.
• Komunikatywność i umiejętność współpracy z osobami o profilu biznesowym oraz technicznym.

AO4361