达摩院-多模态算法专家-机器人

该职位来源于猎聘 职位描述 1、参与机器人领域相关大模型的构建，如感知理解及环境交互的大语言模型（LLM）或大型视觉 - 语言模型（VLM）或大型音频 - 语言模型（ALM）等。 2、负责设计并研发高效的零样本、少样本视觉推理及语言理解能力，提升多模态模型的环境感知能力（包括但不限于目标检测、分类等）；研究语言交互及动作指令之间的表征关系与使用方法（如语言动作空间表征，动作指令生成及虚拟环境与现实环境的language grounding等）。 3、负责设计并研究高效好用的机器人任务规划能力并提升通用性，如复杂任务拆解能力，跨时间窗口的上下文环境记忆及灵活记忆存取能力等机器人前沿技术研究。 4、负责研究多模态异构数据融合技术，包括数据集构建、异构/跨模态传感器数据融合方法、基于上下文感知的记忆编码及知识表征、跨模态信息使用方法及逻辑推理等。 5、解决基础模型在机器人场景使用的鲁棒性和模型安全问题，如多模态大模型使用中的幻觉问题，动作行为决策的environment and distribution shift，快速、高准确率的机器人决策推理等问题。 职位要求 1、人工智能、计算机、数学等相关专业硕士以上学历，2年以上计算机视觉（CV）或 自然语言处理（NLP）或 强化学习（RL）等相关领域的工作经验。 2、优秀的代码动手能力、扎实的数据结构及计算机功底，熟练掌握Python等编程语言，PyTorch、TensorFlow等深度学习框架。 3、熟悉强化学习中的经典算法和基础理论，如DQN、DDPG、PPO等。 4、关注机器人和AI前沿技术进展，自驱力强，有良好的抗压和团队协作能力。 有以下经验者优先： 1、有ACM/NOI/IOI、Kaggle、国内外数学大赛、机器学习、深度学习相关竞赛获奖者优先。 2、在大模型领域（不限于语言、视觉、音频等）有重度参与该领域有重要影响力的项目者优先。 3、有多轴机械臂、足式机器人等机器人平台算法研发及工程经验者优先。 4、在机器学习（ML），强化学习（RL）等应用领域（模仿学习、深度强化学习、分层强化学习、多智能体等）有深入的项目落地经验者优先。 5、熟练使用一种以上机器人仿真平台，如PyBullet、Isaac Gym/Sim、MuJoCo、AI2-THOR、Gazebo。 6、熟练掌握ROS、ROS2、CyberRT等开发环境者优先。 7、有机器人/人工智能会议、期刊发表者优先，包括不限于CVPR、NeurIPS、ICRA、IROS、ICML、ACL。