Junior Data Engineer

Responsibilities

• Melakukan ekstraksi data teks dari berbagai sumber dan format, seperti PDF, Excel, Word, dan dokumen lainnya.

• Melakukan scraping data dari berbagai sumber sesuai dengan kebutuhan proyek.

• Melakukan pengolahan, pembersihan, dan transformasi data teks ke dalam format yang sesuai dengan kebutuhan.

• Melakukan penyimpanan data yang telah diolah ke dalam database yang ditentukan.

• Membangun dan mengotomatisasi pipeline data untuk mendukung proses pembaruan data secara berkala maupun otomatis.

• Melakukan debugging, monitoring, dan pemeliharaan pipeline data.

• Memastikan kualitas, akurasi, dan konsistensi data selama proses ekstraksi hingga penyimpanan.

Required Qualifications

• Memiliki pengalaman kerja minimal 1-2 tahun sebagai Data Engineer atau pada posisi yang relevan.
• Memiliki pemahaman yang kuat mengenai berbagai format file, seperti PDF, Excel, Word, dan format lainnya, serta metode ekstraksi datanya.
• Memiliki pengalaman dalam melakukan scraping, pengolahan, pembersihan, dan transformasi data teks.
• Menguasai bahasa pemrograman, khususnya Python dan SQL.
• Memiliki pengetahuan dan pengalaman menggunakan DBMS, seperti MySQL, PostgreSQL, dan/atau NoSQL.
• Memiliki kemampuan analitis yang kuat serta perhatian terhadap detail.
• Mampu melakukan troubleshooting dan debugging pada proses maupun pipeline data.

Preferred Qualifications

• Memiliki pengetahuan mengenai vector database, khususnya pgVector, serta pengalaman dalam penggunaannya.
• Memiliki pengalaman membangun dan mengelola pipeline data menggunakan tools seperti Apache Airflow, Luigi, atau tools sejenis.
• Memiliki pengalaman bekerja dengan data dalam skala besar (big data) serta tools terkait, seperti Hadoop, Spark, atau teknologi sejenis.
• Memiliki pengalaman menggunakan dan mengelola VPS (Virtual Private Server) untuk kebutuhan deployment, penyimpanan, maupun pengelolaan data.