AI数据开发工程师

该职位来源于猎聘 岗位职责 1.负责集团级大数据服务（离线 + 实时）的研发，基于 Hadoop/Spark/Flink 生态构建高可靠、高吞吐的数据处理管道，支撑PB级数据的采集、清洗、加工与服务化。 2.参与大数据平台、数据研发工具链的架构设计与业务梳理，覆盖任务调度、元数据管理、权限管控、数据可观测性等基础能力。 3.深入 Spark/Flink 作业性能优化（数据倾斜、Shuffle、向量化、CBO 等），保障核心链路在大数据场景下的稳定性、时效性与成本可控。 4.推进流批一体与湖仓一体落地，探索 Iceberg/Paimon、OLAP 引擎（StarRocks/Doris/ClickHouse）在零售业务场景的工程化应用。 5.建设 AI-Ready 数据底座，将离线/实时数据资产封装为标准化的数据服务与语义层，为上层 RAG 知识库、大模型应用提供可追溯、可权限管控的数据接口。 6.参与数据研发智能化探索：将现有数据开发能力（SQL 执行、表血缘查询、任务运维、权限校验）封装为 MCP 工具或 Agent 可调用的标准化能力，支撑多 Agent 协作的 Harness 运行时（如 Orchestrator + Specialist 模式），实现“对话即开发、对话即治理”的内部提效闭环。 任职要求 1.本科及以上学历，计算机、软件工程、大数据等相关专业优先。 2.熟练掌握 Java，熟悉 Scala/Python/Shell 至少一门；具备扎实的数据结构、多线程、I/O 与操作系统基础。 3.熟悉 Hadoop 生态（HDFS/YARN/MapReduce），深入使用过 Spark 或 Flink

之一，有 TB 级生产作业开发/调优经验者优先；了解 Kafka、Hive、Hudi/Iceberg 等组件原理。 4.熟练编写 SQL，理解执行计划、分区裁剪、广播 Join、数据倾斜等常见优化手段；熟悉 MySQL 等关系型数据库。 5.了解分布式系统基本原理（一致性、容错、资源调度、Checkpoint/State 管理），有任务调度系统（DolphinScheduler/Airflow）或数据平台二次开发经验者优先。 6.具备工程化意识：理解幂等重跑、任务血缘、SLA 监控、权限模型（RBAC）等数据平台基础概念。 7.【加分项】了解 LLM/Agent 基础范式（Function Calling、ReAct、MCP 协议、Harness 运行时职责边界），能将现有数据服务封装为受控工具供 Agent 调用；有 AI-Ready 数据集建设、大模型数据预处理或内部 Copilot/多 Agent 数据研发实践者优先。 8.有知识库建设、开源贡献、数据平台相关竞赛/项目经历者优先。