Spark / Data Lakehouse Developer (f/m)

Dołącz do zespołu Data Platform, gdzie będziesz odpowiadać za kluczowe rozwiązania w zakresie weryfikacji i spójności danych pomiędzy warstwą ODS (MongoDB) a systemami źródłowymi. W Twoich rękach będzie również rozwój i utrzymanie pełnej architektury Data Lakehouse — od surowych danych po zaawansowane warstwy analityczne.

Model pracy: Praca zdalna + spotkania we Wrocławiu 1 raz w miesiącu

Your Responsibilities

• Tworzenie potoków PySpark/Spark-SQL porównujących dane ODS (MongoDB) ze źródłami oraz wdrożenie automatycznych testów jakości, wykrywania anomalii i alertów
• Integracja Spark + MongoDB, otymalizacja wymiany danych (read/write, schema inference, partitioning, push-down zapytań $match)
• Budowa i wersjonowanie wielowarstwowej struktury danych (Raw → Bronze → Silver → Gold) z wykorzystaniem Apache Iceberg / Delta Lake / Hudi.
• Strojenie jobów Spark (AQE, broadcast joins, caching) w celu przyspieszenia przetwarzania i redukcji kosztów
• Automatyzacja wdrożeń (Docker, Kubernetes, Spark Operator, Jenkins CI/CD) oraz konfiguracja monitoringu procesów (Prometheus, Grafana, OpenTelemetry, Dynatrace)
• Udział w pracach zespołu (Scrum/Kanban), code-review, prowadzenie warsztatów oraz tworzenie dokumentacji technicznej i run-booków

Our Requirements

• 4+ lat doświadczenia w budowaniu i wdrażaniu rozwiązań Big Data na środowiskach produkcyjnych
• Biegła znajomość PySpark, Spark-SQL, DataFrames oraz Structured Streaming
• Doświadczenie w integracji Sparka z MongoDB (MongoDB Spark Connector), praktyczna znajomość modelowania dokumentowego i strategii indeksowania
• Praktyczne doświadczenie w zarządzaniu tabelami wersjonowanymi przy użyciu Apache Iceberg (optymalizacja zapisów, operacje MERGE/UPSERT)
• Znajomość narzędzia Jenkins do automatyzacji budowania, testowania (Spark-unit, testy integracyjne) i wdrażania aplikacji Spark
• Znajomość stosu Prometheus + Grafana pod kątem śledzenia pracy procesów przetwarzania danych
• Praca w zwinnych metodologiach (Scrum / Kanban) z wykorzystaniem narzędzi Jira / Confluence

Benefits

• Długofalowa współpraca oparta o nasze wartości: edukacja, partnerstwo i odpowiedzialność
• Internal Mobility Program – ciesz się wieloma możliwościami rozwoju kariery, rotacją stanowisk, różnorodnością projektów i technologii
• Program Poleceń – współpracuj ze swoimi znajomymi i zyskaj bonus!
• 5/10 Years NATEK Club – oferujemy długoterminową współpracę, a każdą piątą rocznicę współpracy świętujemy nagrodamI
• NATEK CSR Events oraz integracje
• Kafeteria
• Opieka medyczna (Medicover)
• Multisport
• Szkolenia techniczne i personalne
• Kursy językowe