数据平台开发工程师

该职位来源于猎聘 岗位职责： 一、数据平台设计与开发 1、参与数据中台建设工作，推动离线/实时数据管道开发，完成数据采集、存储、计算及服务接口开发。 2、主导大数据处理系统的核心模块开发，包括离线/实时数仓、数据湖、ETL/ELT流程。 3、负责从多个源系统的数据采集，预处理，数据清洗等工作； 4、负责对接数据挖掘及分析需求，完成模型的开发、部署、测试、监控。 5、负责开发并维护JDBC, API等数据服务接口； 6、负责监控数据采集，存储及处理任务的执行情况，及时解决数据异常 二、数据治理 1、设计并实施数据清洗规则，构建维度模型，优化数仓分层与数据血缘管理，提升数据准确性与一致性。 2、通过SQL/脚本开发实现数据抽取、转换与加载，保障数据资产标准化。 三、系统性能优化 1、监控分布式集群运行状态，解决性能瓶颈，优化资源分配与查询效率。 2、设计数据分区、索引及容灾备份方案，确保平台高可用性与可靠性。 任职要求: 1、教育背景： 本科及以上学历，计算机科学、信息管理等相关专业优先。 2、工作经验： 3年以上数据开发及架构设计经验，有成功落地项目经验为佳。 3、专业技能： 1）熟练掌握 Oracle\SQLServer\Mysql等关系型数据库开发及SQL调优及ETL工具使用，能够高效地进行数据查询、数据抽取和数据处理操作及数据库优化。 2）精通至少一种主流数据分析工具和编程语言，如 Python能够运用这些工具进行数据清洗、分析、建模和可视化工作。 3）熟悉大数据处理框架和技术，如 Hive、KAFKA、NIFI、Apache Spark等； 4）掌握数据仓库建模方法，熟悉ETL流程及OLAP分析技术； 4、能力素质： 1）、工作积极主动，责任心强，抗压能力强，有较强的学习能力，具备良好的团队合作精神、沟通协调能力和工作推进能力。