大数据开发工程师

该职位来源于猎聘 岗位职责：

• 使用SparkSQL与Python设计、开发并维护高效数据管道，处理海量数据集。
• 管理并优化Hadoop分布式文件系统（HDFS）中的数据存储与检索。
• 通过Trino查询分析数据，支持业务分析与报表需求。
• 与数据专家、分析师及利益相关方协作，理解数据需求并提供可靠解决方案。
• 确保所有数据流程与系统中的数据质量、完整性与安全性。
• 监控并优化数据管道与查询性能，保障可扩展性与效率。
• （可选）通过Tableau创建并维护仪表盘与可视化，支持业务洞察。
• 及时排查并解决数据相关问题。
• 持续关注数据工程领域的新工具、技术与最新实践。
• 参与设计及小组管理。 任职要求： 1、学历/专业：全日制本科或以上学历，计算机相关专业。 2、工作经验：5年以上金融基建类项目经验。 3、技能要求： 3.1、必备技能：
• 5年以上数据工程或相关领域专业经验。
• 精通SparkSQL，擅长处理与查询大规模数据集。
• 具备HDFS（Hadoop分布式文件系统）实战经验，熟悉数据存储与管理。
• 精通Trino（原PrestoSQL），擅长分布式SQL查询执行。
• 熟练使用Python进行数据处理、脚本编写与自动化。
• 理解数据管道架构、ETL/ELT流程与数据建模。
• 熟悉分布式计算概念与大数据技术。 3.2、通用技能：
• 有Tableau数据可视化与仪表盘开发经验。
• 熟悉云平台（如AWS、华为HCS）。
• 掌握SQL优化与性能调优。
• 通过华为HCCDP-Big Data或HCCDP-GaussDB或HCCDE-GaussDB认证者优先。 4、工作素质： （1）可以单独对现系统进行维护，工作认真细致负责，有良好的自学能力，独立思考能力，能够在短时间内学习并应用新技术； （2）积极热情、沟通能力强，有强烈的责任心，具有良好的团队合作精神和敬业精神； （3）能够承受工作压力，能在规定的时间内高效完成任务，具有良好的团队合作精神。 5、语言要求：英语或粤语可作为工作语言。