Senior Data Engineer （Databricks）

職位概述

我們正在尋找一位具備扎實實作能力，並對現代資料架構有良好理解的 資深資料工程師（Senior Data Engineer）。

你將負責使用 Databricks 與 AWS 設計、建置及持續優化可擴展的資料平台與資料管線。除了日常開發工作之外，你也需要參與資料平台的架構設計與技術決策，包括資料建模、資料匯入、儲存、處理、治理、可靠性、效能與擴展性。

此職位適合仍然重視 hands-on 開發，同時也具備整體資料平台與架構思維的工程師。

主要職責

• 使用 Databricks 設計、建置及維護可擴展的批次與即時資料管線。
• 建立可靠的 ETL / ELT 流程，整合資料庫、API、Kafka / Event Stream、檔案及其他企業系統。
• 設計與維護基於 AWS 與 Databricks 的 Data Lake / Lakehouse 架構。
• 使用 Delta Lake 與 Medallion Architecture 原則建立及優化 Bronze、Silver、Gold 資料層。
• 與業務及工程團隊合作，定義合適的資料模型、Schema 與 Data Contract。
• 參與資料架構設計，協助建立以下方面的標準：資料匯入, 資料儲存, 資料建模, Streaming 架構, 資料品質, 資料治理, 安全與存取控制, 系統擴展性與效能
• 在效能、可維護性、雲端成本及系統複雜度之間做出合理的技術取捨。
• 建立可重用的資料框架、共用元件與平台能力，而非只開發一次性的資料管線。
• 透過 Partitioning、Clustering、Query Optimisation、Caching 及 Spark 優化提升平台效能。
• 建立完整的監控、告警、日誌、Data Lineage 及 Data Quality 機制。
• 處理生產環境的資料問題並進行 Root Cause Analysis。
• 確保資料平台具備良好的可靠性、可觀測性及災難恢復能力。
• 與 Software Engineer、Data Analyst、BI、DevOps / Platform Engineer 及 Solution Architect 密切合作。
• 參與技術設計 Review，並為其他 Data Engineer 提供技術指導。
• 推動資料工作負載的 CI/CD、自動化測試與部署流程。
• 持續改善資料平台、工程標準及整體技術架構。

技術棧

我們目前的核心資料平台主要包括：

• Databricks
• Apache Spark / PySpark
• Delta Lake
• AWS
• SQL
• Python
• Kafka / Event-driven Data Pipeline
• Git-based CI/CD
• Terraform 等 Infrastructure as Code 工具
• Data Lake / Lakehouse Architecture

不要求候選人熟悉所有技術，但我們希望候選人對 Databricks、Spark、Python、SQL 及 AWS 有較強的實際經驗。

必備經驗

• 5 年以上 Data Engineering、Data Platform Engineering 或相關工作經驗。
• 具備扎實的 Databricks 及 Apache Spark / PySpark 實戰經驗。
• 熟悉 Python 與 SQL。
• 有設計及維護大型 Production ETL / ELT Pipeline 的經驗。
• 熟悉 Delta Lake 與 Lakehouse Architecture。
• 具備良好的 Data Modelling 與 Data Warehouse 基礎。
• 熟悉 AWS 資料相關服務，尤其是 S3、IAM、Glue 及相關服務。
• 有處理大規模資料量及高吞吐資料管線的經驗。
• 理解 Distributed Data Processing 及其效能考量。
• 熟悉資料排程、Orchestration、Dependency Management、Monitoring 及 Failure Recovery。
• 理解 Data Quality、Data Lineage、Data Governance 及 Access Control。
• 有 Data Pipeline CI/CD 及軟體工程最佳實務經驗。
• 能夠獨立分析複雜技術問題，並提出可擴展的解決方案。
• 能清楚說明架構決策以及不同方案之間的 Trade-off。

我們希望你具備

• 扎實的技術能力，並願意保持 hands-on。
• 不只關注單一 Pipeline，而是能從整個資料平台角度思考問題。
• 理解不同架構方案的優缺點及 Trade-off。
• 能建立其他工程師容易維護、擴展與重用的系統。
• 對 Production Reliability 與 Data Quality 有高度責任感。
• 能獨立處理複雜技術問題。
• 能對現有設計提出挑戰，並提出更好的解決方案。
• 能將業務需求轉化為實際、可靠且可擴展的資料解決方案。
• 能與技術及非技術 Stakeholder 有效溝通。

此職位的成功標準

成功的 Senior Data Engineer 不只是交付資料管線。

我們期望你能協助建立一個 可靠、可擴展、可治理、可重用的資料平台，支援不斷增長的資料量、即時資料處理、分析、營運系統，以及未來的 AI / ML 應用。