Data Architect - Databricks

该职位来源于猎聘 工作职责： 负责基于 Databricks 平台 进行数据管道（Data Pipeline）的设计、开发、部署与运维，确保其高效性与可靠性。 利用 Delta Lake 技术构建企业级数据湖仓，执行数据建模、数据清洗、转换和集成工作，并负责其性能优化（如优化文件索引、压缩小文件）。 使用 Databricks Workflows 与 Apache Airflow 等工具进行工作流的调度、监控与告警，保障数据任务的稳定交付。 协同数据科学家与数据分析师，为其提供高质量、可信任的数据资产，并支持机器学习模型的部署与运维工作。 遵循数据治理实践，运用 Unity Catalog 等工具进行数据的元数据管理、权限控制与血缘追踪。 岗位要求： 必备条件： 计算机科学、信息技术或相关专业本科及以上学历，拥有大数据领域开发经验。 具备扎实的 Databricks 平台商业化项目开发经验，精通其工作空间、集群配置、Notebook开发及作业调度功能。 熟练掌握 PySpark 和 Spark SQL，具备强大的数据转换与处理能力。 深入理解 Delta Lake 原理及核心操作，如 MERGE INTO、OPTIMIZE、Z-ORDER BY 及事务特性。 具备优秀的 SQL 编写能力，能独立完成复杂的数据查询与逻辑开发。 具备良好的英语读写能力，能满足日常技术文档阅读及团队协作沟通的需求。 优先考虑： 拥有 Databricks 官方认证（如认证助理开发者）者优先。 有使用 MLflow 进行机器学习生命周期管理的经验者优先。 熟悉任一款主流云平台（Azure/AWS/GCP）的基础数据服务者优先。 具备良好的逻辑思维能力、团队协作精神和主动解决问题的能力。