大数据开发工程师

该职位来源于猎聘 一、岗位职责 1. 参与公司大数据平台的基础模块开发与日常运维支持，在导师指导下完成数据接入、清洗、转换等ETL环节的编码实现。 2. 基于Hadoop/Spark生态，协助设计并实现中等复杂度的数据处理任务（如离线数仓分层、实时数据同步），确保数据链路的稳定性。 3. 参与业务主题域的数据建模工作，能够独立完成DWS/DWD层的部分表结构设计，并编写对应的Hive SQL/Spark SQL进行指标计算。 4. 能够主动运用AI编程助手辅助编写Scala/Python代码，具备基本的代码调试能力，并能编写测试用例验证数据结果准确性。 5. 与数据分析师、后端开发协作，理解业务数据需求，将需求转化为可执行的技术方案，并推动项目按期交付。 6. 关注数据治理与性能优化，能够对慢查询SQL进行分析并尝试优化，对数据倾斜等问题有初步的认知和解决思路。

二、技术要求

• 编程语言：Java或Python基础扎实，熟悉面向对象编程；了解Scala语法者优先（不强求）。 2. 大数据基础：了解Hadoop体系（HDFS/YARN）的基本原理；掌握Spark Core或Flink DataStream API中的一种，能够编写基础的数据处理程序。 3. SQL能力：熟练掌握SQL，具备一定的SQL性能调优实践经验。 4. 数据组件：熟悉Hive的使用，了解内部表/外部表区别，能进行基本的表分区设计。 5. 了解Kafka的基本概念（Producer/Consumer/Topic），能看懂基本的消费代码。 6. 数据库与缓存：熟悉MySQL等关系型数据库；了解Redis的基本数据结构（String/Hash/List）及其在缓存场景下的应用。

三、任职资格

• 本科及以上学历，计算机、大数据、统计学等相关专业。 2. 具备良好的逻辑思维能力和问题拆解能力，面对报错日志或数据异常时，能够通过搜索引擎、查阅文档等方式自主排查常见问题。 3. 对数据敏感，做事严谨细致，有较强的责任心和抗压能力，乐于在团队中进行技术分享与交流。