Senior Data Engineer

co.brick talents — powered by AI, powered by people. Senior Data Engineer

Dołącz do międzynarodowego projektu z obszaru Data Engineering , którego celem jest rozwój platformy generującej inteligentne sugestie wspierające pracę przedstawicieli farmaceutycznych.

Poszukujemy Senior Data Engineera , który będzie odpowiedzialny za rozwój i utrzymanie skalowalnej platformy danych oraz budowanie reużywalnych rozwiązań, które mogą być wdrażane w różnych krajach i środowiskach biznesowych.

Zakres obowiązków

• Rozwój i utrzymanie platformy Data Engineering odpowiedzialnej za generowanie inteligentnych sugestii.

• Projektowanie i implementacja skalowalnych, reużywalnych modułów z wykorzystaniem nowoczesnych praktyk programistycznych w Pythonie.

• Tworzenie utrzymywalnych i skalowalnych rozwiązań do przetwarzania danych z wykorzystaniem OOP i design patterns.

• Praca z danymi oraz rozwój procesów ETL w środowisku AWS.

• Udział w migracji platformy generowania sugestii do nowego systemu CRM, w tym:

• aktualizacji pipeline'ów dla poszczególnych use case'ów,

• przeprowadzaniu testów end-to-end,

• walidacji generowanych sugestii,

• realizacji zadań migracyjnych.

• Analizowanie problemów w istniejących pipeline'ach danych i procesach generowania sugestii oraz identyfikowanie ich root cause.

• Debugowanie i rozwiązywanie problemów w środowisku AWS Step Functions, Glue, Athena oraz Lambda.

• Dbanie o jakość kodu, testowanie oraz efektywny proces developmentu i deploymentu.

• Współpraca z zespołem w środowisku Agile.

Wymagania

• 5–10 lat doświadczenia w Data Engineering, najlepiej w projektach globalnych lub regionalnych.

• Bardzo dobra znajomość Pythona, w szczególności:

• pandas do manipulacji i analizy danych,

• programowania obiektowego (OOP),

• design patterns,

• nowoczesnych narzędzi i praktyk Python development.

• Praktyczne doświadczenie z AWS, w szczególności:

• AWS Glue – procesy ETL,

• Amazon Athena – zapytania i analiza danych,

• DynamoDB – NoSQL,

• AWS Step Functions – orkiestracja workflow,

• AWS Lambda.

• Dobre zrozumienie architektury rozwiązań chmurowych, szczególnie AWS.

• Doświadczenie w pracy w metodykach Agile.

• Znajomość narzędzi projektowych, np. Azure DevOps.

• Umiejętność samodzielnego debugowania problemów w złożonych pipeline'ach danych.

Mile widziane

• Podstawowa znajomość platform Veeva.
• Doświadczenie z CI/CD, Git/version control oraz automated testing.
• Doświadczenie w branży pharma, healthcare lub praca z danymi medycznymi/farmaceutycznymi.

Dlaczego warto?

• Praca przy globalnym projekcie Data Engineering dla sektora farmaceutycznego.
• Rozwój i utrzymanie platformy wykorzystywanej w różnych krajach i środowiskach biznesowych.
• Praca z nowoczesnym stackiem Python + AWS.
• Możliwość zdobycia doświadczenia przy migracji dużej platformy do nowego systemu CRM.
• Praca nad rozwiązaniem, które bezpośrednio wspiera procesy biznesowe przedstawicieli farmaceutycznych.
• Międzynarodowe, zwinne środowisko pracy.