数据开发（广州）

该职位来源于猎聘 职位描述 1、参与基于开源技术的大数据平台架构设计与构建，融合湖仓一体化理念，实现数据的高效存储与管理，理解并掌握平台高可用性、可扩展性和高性能的设计思路； 2、参与离线/实时数据系统的研发工作，负责模块级设计、技术调研与代码开发，协助数据资产的统一管理、数据服务的高效提供以及数据治理的有效实施； 3、协助大数据平台技术调研、技术选型与架构设计，参与技术演进讨论，学习保障系统稳定性与时效性的方法与实践； 4、参与离线与实时数据仓库的设计与搭建，负责数据ETL/ELT 流程的开发与维护，保障数据的准确性、完整性和时效性，满足公司不同业务场景下的数据分析需求； 5、协助构建数据与AI的协作链路，参与数据架构和算法框架的数据支撑工作，为AI模型训练提供高质量的数据预处理与特征工程支持，学习AI应用在公司业务中的深度落地方法； 6、参与开源大数据技术和工具的调研与评估（如 Hadoop、Spark、Flink、Kafka、Iceberg、Airflow等），推动技术引入，协助平台技术栈的持续优化； 7、与数据开发团队、AI算法团队、业务部门紧密合作，积极沟通需求，在团队协作中提供技术支持，确保大数据平台与业务需求紧密结合，推动项目的顺利实施； 8、参与大数据平台的性能监控与运维工作，协助发现并定位系统性能瓶颈和故障，学习掌握性能优化方法，保障平台稳定运行； 9、负责领导交办的其他工作。 职位要求 1、计算机、软件工程等相关专业，本科及以上学历，留学人员应取得教育部留学服务中心的学历学位认证； 2、熟悉或了解Hadoop、Spark、Flink、Hive、Kafka、Doris 等开源大数据技术栈中的至少 2-3 项，了解其基本原理和应用场景，有课程项目、实习经历或个人项目经验者优先； 3、了解湖仓一体化架构理念，对 Iceberg、Hudi 或 Delta Lake 等湖仓一体存储格式有认知或实践经历者优先； 4、了解 ETL/ELT 基本概念和常用工具（如 Airflow、Sqoop等），有离线与实时数据仓库相关课程设计、实习项目或个人实践经验者优先； 5、了解数据治理、元数据管理、数据质量等数据管理领域的基本概念，有相关课程学习或项目接触者优先； 6、对AI算法和模型有基本认知，了解数据预处理、特征工程等基础技术，有机器学习课程或项目经验者优先； 7、熟练掌握至少一种编程语言（Java、Python、Scala 或 Go），具备良好的编码习惯和代码规范意识，有开源项目贡献或技术博客者优先； 8、具备扎实的计算机基础（数据结构、算法、操作系统、计算机网络等），具备良好的逻辑思维能力和学习能力；具备团队协作和沟通能力，对大数据技术有强烈兴趣和学习热情；关注大数据技术发展趋势，愿意在实践中持续成长。职位描述 1、参与基于开源技术的大数据平台架构设计与构建，融合湖仓一体化理念，实现数据的高效存储与管理，理解并掌握平台高可用性、可扩展性和高性能的设计思路； 2、参与离线/实时数据系统的研发工作，负责模块级设计、技术调研与代码开发，协助数据资产的统一管理、数据服务的高效提供以及数据治理的有效实施； 3、协助大数据平台技术调研、技术选型与架构设计，参与技术演进讨论，学习保障系统稳定性与时效性的方法与实践； 4、参与离线与实时数据仓库的设计与搭建，负责数据ETL/ELT 流程的开发与维护，保障数据的准确性、完整性和时效性，满足公司不同业务场景下的数据分析需求； 5、协助构建数据与AI的协作链路，参与数据架构和算法框架的数据支撑工作，为AI模型训练提供高质量的数据预处理与特征工程支持，学习AI应用在公司业务中的深度落地方法； 6、参与开源大数据技术和工具的调研与评估（如 Hadoop、Spark、Flink、Kafka、Iceberg、Airflow等），推动技术引入，协助平台技术栈的持续优化； 7、与数据开发团队、AI算法团队、业务部门紧密合作，积极沟通需求，在团队协作中提供技术支持，确保大数据平台与业务需求紧密结合，推动项目的顺利实施； 8、参与大数据平台的性能监控与运维工作，协助发现并定位系统性能瓶颈和故障，学习掌握性能优化方法，保障平台稳定运行； 9、负责领导交办的其他工作。 职位要求 1、计算机、软件工程等相关专业，本科及以上学历，留学人员应取得教育部留学服务中心的学历学位认证； 2、熟悉或了解Hadoop、Spark、Flink、Hive、Kafka、Doris 等开源大数据技术栈中的至少 2-3 项，了解其基本原理和应用场景，有课程项目、实习经历或个人项目经验者优先； 3、了解湖仓一体化架构理念，对 Iceberg、Hudi 或 Delta Lake 等湖仓一体存储格式有认知或实践经历者优先； 4、了解 ETL/ELT 基本概念和常用工具（如 Airflow、Sqoop等），有离线与实时数据仓库相关课程设计、实习项目或个人实践经验者优先； 5、了解数据治理、元数据管理、数据质量等数据管理领域的基本概念，有相关课程学习或项目接触者优先； 6、对AI算法和模型有基本认知，了解数据预处理、特征工程等基础技术，有机器学习课程或项目经验者优先； 7、熟练掌握至少一种编程语言（Java、Python、Scala 或 Go），具备良好的编码习惯和代码规范意识，有开源项目贡献或技术博客者优先； 8、具备扎实的计算机基础（数据结构、算法、操作系统、计算机网络等），具备良好的逻辑思维能力和学习能力；具备团队协作和沟通能力，对大数据技术有强烈兴趣和学习热情；关注大数据技术发展趋势，愿意在实践中持续成长。