Data Engineer (K/M)

Wymagania

• Minimum 4 lata doświadczenia na stanowisku Data Engineera lub w pokrewnej roli
• Bardzo dobra znajomość Python oraz SQL
• Doświadczenie w budowie i utrzymaniu pipeline’ów danych (ETL/ELT)
• Praktyczna znajomość pracy z danymi ustrukturyzowanymi i nieustrukturyzowanymi (transformacje, normalizacja, przygotowanie)
• Umiejętność modelowania danych oraz pracy z różnymi schematami baz danych
• Doświadczenie z relacyjnymi bazami danych (np. PostgreSQL, MySQL, MS SQL, Oracle)
• Znajomość wektorowych baz danych i ich zastosowań w kontekście AI
• Doświadczenie w integracji z API
• Znajomość rozwiązań chmurowych (AWS, GCP lub Azure)
• Doświadczenie w przetwarzaniu dużych wolumenów danych z wykorzystaniem technologii Big Data

Mile Widziane

• Doświadczenie w projektach wykorzystujących LLM (np. RAG)
• Znajomość narzędzi do orkiestracji danych (np. Airflow)
• Współpraca z zespołami ML / AI
• Doświadczenie w migracjach i znajomość architektury rozwiązań CRM (Pega, Salesforce, SAS, Adobe)

Zadania

• Projektowanie, budowa i utrzymanie pipeline’ów danych (ETL/ELT)
• Integracja danych z różnych źródeł oraz zapewnienie ich jakości i spójności
• Modelowanie danych i projektowanie struktur bazodanowych
• Zarządzanie oraz optymalizacja baz danych (relacyjnych i wektorowych)
• Przygotowywanie danych na potrzeby systemów AI/ML (w tym LLM)
• Współpraca z zespołami AI/ML w zakresie dostarczania i przetwarzania danych
• Implementacja rozwiązań w chmurze (AWS, GCP, Azure) związanych z przetwarzaniem danych
• Monitorowanie i optymalizacja wydajności pipeline’ów oraz procesów danych
• Wdrażanie dobrych praktyk w zakresie zarządzania danymi i ich bezpieczeństwa