Data Engineer

ภาพรวมของตำแหน่ง

รับผิดชอบดูแลและพัฒนาระบบด้านข้อมูลของบริษัท ตั้งแต่การนำข้อมูลจากหลายแหล่งเข้ามาจัดเก็บ การแปลงและจัดเตรียมข้อมูลให้อยู่ในรูปแบบที่เหมาะสม ไปจนถึงการส่งต่อข้อมูลให้ทีมต่าง ๆ สามารถนำไปใช้วิเคราะห์และทำ Dashboard หรือ Report ได้

ระบบข้อมูลของบริษัททำงานอยู่บน AWS เป็นหลัก โดยมีแหล่งข้อมูลหลายประเภท เช่น Database ภายในบริษัท, External API และระบบอื่น ๆ และมีการนำข้อมูลไปจัดเก็บที่ Google Big Query หรือ Amazon S3 เพื่อให้สามารถนำข้อมูลไปใช้งานต่อผ่าน BI Tools เช่น Looker, Apache Superset หรือเครื่องมืออื่น ๆ

ตำแหน่งนี้จึงเหมาะกับผู้ที่มีความเข้าใจทั้งด้าน Database , Cloud Infrastructure และการสร้าง Data Pipeline ที่มีความถูกต้อง เสถียร และรองรับข้อมูลปริมาณมากได้

หน้าที่ความรับผิดชอบ

• ออกแบบ พัฒนา และดูแล Data Pipeline สำหรับนำข้อมูลจากหลายแหล่งเข้าสู่ Data Platform ของบริษัท
• เชื่อมต่อและดึงข้อมูลจากแหล่งต่าง ๆ เช่น

  - Relational Database เช่น MySQL, PostgreSQL หรือ Database อื่น ๆ

  - External API / REST API

  - Log หรือ Event Data

  - Object Storage เช่น Amazon S3

• จัดเตรียมและแปลงข้อมูลในกระบวนการ ETL / ELT เพื่อให้ข้อมูลสามารถนำไปใช้งานต่อได้อย่างถูกต้อง
• นำข้อมูลเข้าสู่ Data Warehouse หรือ Data Lake เช่น Google BigQuery และ Amazon S3
• ออกแบบโครงสร้างข้อมูลให้เหมาะกับการทำ Reporting, Analytics และ Dashboard
• ดูแลประสิทธิภาพของ Database และ Data Pipeline รวมถึงวิเคราะห์ปัญหาเมื่อระบบทำงานช้า หรือข้อมูลไม่ครบถ้วน
• ตรวจสอบ Data Quality เช่น ความครบถ้วน ความถูกต้อง ข้อมูลซ้ำ หรือข้อมูลที่ผิดปกติ
• ดูแลการทำงานของ Scheduled Jobs และ Automated Data Processing
• Monitoring และแก้ไขปัญหาของ Data Pipeline เมื่อ Job ล้มเหลว หรือข้อมูลไม่ถูกส่งเข้าระบบตามเวลาที่กำหนด
• ทำงานร่วมกับ Software Engineer, Business Intelligence, Data Analyst และหน่วยงานธุรกิจ เพื่อทำความเข้าใจความต้องการด้านข้อมูล
• จัดทำ Documentation เกี่ยวกับ Data Source, Data Pipeline และโครงสร้างข้อมูล เพื่อให้ทีมสามารถดูแลระบบร่วมกันได้
• ดูแลสิทธิ์การเข้าถึงข้อมูล และปฏิบัติตามแนวทางด้าน Data Security ของบริษัท

คุณสมบัติที่ต้องการ

• วุฒิการศึกษาระดับปริญญาตรี สาขาวิทยาการคอมพิวเตอร์ , วิศวกรรมคอมพิวเตอร์ หรือสาขาอื่นๆ ที่เกี่ยวข้อง
• มีประสบการณ์ด้าน Data Engineering, Backend Engineering, Database Engineering หรือสายงานที่เกี่ยวข้อง อย่างน้อย 2 ปีขึ้นไป
• มีความเข้าใจเกี่ยวกับ Database และสามารถใช้ SQL ได้ดี
• มีประสบการณ์ทำงานกับ Relational Database เช่น MySQL หรือ PostgreSQL
• มีประสบการณ์เขียนโปรแกรมสำหรับจัดการข้อมูล เช่น Python หรือภาษาอื่นที่เหมาะสม
• เข้าใจหลักการของ ETL / ELT และ Data Pipeline
• สามารถเชื่อมต่อและดึงข้อมูลจาก REST API หรือ External Data Source ได้
• มีประสบการณ์ใช้งาน Cloud Platform โดยเฉพาะ AWS
• เข้าใจการใช้งาน Object Storage เช่น Amazon S3
• มีความเข้าใจเกี่ยวกับ Data Warehouse หรือระบบวิเคราะห์ข้อมูล เช่น Google BigQuery
• สามารถวิเคราะห์และแก้ไขปัญหาเกี่ยวกับข้อมูลและระบบ Data Pipeline ได้
• สามารถทำงานร่วมกับทีม Software Development และทีมธุรกิจได้ดี

ทักษะที่สำคัญสำหรับตำแหน่ง

• นอกจากทักษะทาง Technical แล้ว ผู้สมัครควรมีความสามารถดังต่อไปนี้
• สามารถวิเคราะห์ปัญหาเชิงระบบได้ดี, ใส่ใจเรื่องความถูกต้องของข้อมูล
• สามารถดูแลระบบที่ต้องทำงานอัตโนมัติเป็นประจำได้
• สามารถสื่อสารกับทั้งทีม Technical และผู้ใช้งานทางธุรกิจได้
• สามารถออกแบบระบบให้สามารถดูแลและขยายต่อในอนาคตได้
• มีความรับผิดชอบต่อระบบ Production (ระบบจริงที่ผู้ใช้งานใช้งานอยู่) และสามารถวิเคราะห์ปัญหาเมื่อเกิด Incident ได้