系统测试工程师（评测）

您的浏览器不支持canvas！

用微信扫描二维码

可分享职位给微信好友或朋友圈

平安科技-平安科技成都分公司

城市: 成都市 经验要求: 3年 招聘人数: 1人 昨天

岗位职责:

• 1.负责公司大模型及AI产品链路的评测体系建设与技术管理工作，推动评测驱动的开发迭代闭环；
• 2.负责评测数据构建、清洗、回流机制设计，实现“上线产品-日常观测-问题发现-数据回流-优化迭代”的正向循环；
• 3.建设高可用、可配置的评测系统平台，支持评测任务管理、指标分析、badcase分拣、多轮对话模拟及Mock用户能力；
• 4.结合AI产品链路（意图、提槽位、改写、检索、知识召回、模型入参、最终结果等），搭建自动化评测能力，覆盖幻觉、C端样式、低级问题CICD围栏测试等场景；
• 5.负责标注平台建设，提供灵活的标注模板、任务配置、审核质检流程，支持人工标注效率统计与质量管控；
• 6. 牵头评测能力搭建，覆盖业务评测、语音评测、图文多模态、仿真能力等，支撑平安万佛等核心服务的质量保障与持续优化；

岗位要求:

• 1.重点大学及以上学历，2年以上AI/大模型相关工作经验；
• 2. 具备扎实的工程开发基础，精通Python，熟悉分布式系统、Al评测框架，有实际大模型评测项目落地经验；
• 3.有AI产品链路评测经验，熟练掌握评测数据构建、回流机制、badcase分析及自动化评测能力建设；
• 4.熟悉主流大模型评测方法论，包括但不限于Agent评测、RAG评测、多模态评测、Mock用户多轮对话模拟等；
• 5. 有金融/保险领域AI应用评测经验优先；
• 6.具备优秀的沟通协作能力、团队管理经验、敬业精神和快速学习能力；
• 7.较强的抗压能力和执行力，能够推动跨部门评测-开发-业务正向循环落地。

投递职位

收藏职位