多模态大模型-数据研究员

该职位来源于猎聘 面向下一代实时视频模型，探索人机交互新范式。 数据是多模态视频模型能力演进的核心驱动力，也是 Philo AI 最重要的技术资产之一。从数据的选择与组织，到监督信号的设计，再到训练效果的验证，每一个环节都影响着模型能够学会什么、表现如何，以及能够支持怎样的交互体验。 Philo AI 正在构建以人物为核心的下一代实时视频模型（Next-generation Real-time Video Models），探索语音、视频与行为表达协同的人机交互方式。我们希望围绕实时多模态生成与交互开展开创性研究，让数字角色能够自然地感知、回应和表达，拓展互动娱乐的体验边界。 我们正在寻找 Multimodal Data Researcher，深入参与 DiT 后训练与多模态交互系统的研究。你将连接数据、模型与产品体验，通过数据策略、训练实验和系统设计，直接推动模型能力的形成与迭代。 你将重点参与以下工作： 1. DiT 模型评测与能力研究 围绕生成质量、条件遵循、时序稳定性及音视频一致性，设计评测集、自动化指标与人工评测方法。建立可复现的基线与对照实验，分析模型的典型失败模式，为后训练与数据优化确定方向。 2. 数据评估与 Data Recipe 优化 研究训练数据的质量、分布、能力覆盖、监督有效性及多模态对齐情况。围绕模型能力缺口，设计数据筛选、质量分层、混合采样、重标注与合成方案，通过训练实验验证数据价值，持续积累有效的数据配方与研究结论。 3. DiT 后训练与方法探索 将模型评测与数据分析转化为可验证的研究假设，开展训练、微调与消融实验。探索数据组成、监督信号和训练目标对模型能力的影响，结合前沿方法研究新的数据表示与训练策略，验证收益、退化及泛化表现。 4. 语音与 DiT 联合交互系统设计 与模型、工程和产品团队共同设计 interaction workflow，研究语音交互、状态传递、行为控制与 DiT 视频生成之间的信息流和时序关系。围绕倾听反馈、轮次切换、打断与恢复等场景构建原型，探索模型接口、条件组织与协同控制机制。 5. 端到端交互评测与优化 构建典型场景、交互测试集与可复现的测试流程，评估响应时延、交互自然度、声画与行为同步、上下文一致性及异常恢复能力。结合自动化测试、人工体验与用户反馈，将问题定位到数据、模型或交互流程，推动优化并验证实际效果。 我们希望你具备： - 扎实的机器学习与深度学习基础，熟练使用 Python、PyTorch 等工具，能够开展模型训练、微调与评测实验。 - 在生成模型、多模态学习、模型后训练、数据方法、语音交互或模型评测中的至少一个方向，有深入的研究或项目实践。 - 良好的研究与实验能力：能够从具体问题提出假设，设计合理的基线与对照，分析结果，并据此决定下一步。 - 足够的工程实现能力，能够搭建研究所需的数据处理流程、实验工具和交互原型，保证实验可复现。 - 对模型效果与交互体验有自己的判断，能够阅读、复现和分析前沿论文，并与不同背景的团队成员共同推进研究。 以下经历会很有帮助： - 有 DiT、扩散／流匹配模型、视频生成或音视频条件生成的训练与优化经验。 - 有通过数据优化或后训练带来可验证模型改进的经历。 - 有语音对话、实时流式交互、全双工交互或多模型协同系统经验。 - 有评测集构建、自动评测、人工偏好评测或交互实验设计经验。 - 有能够体现研究判断与实现能力的论文、开源项目或完整实验报告。 在这里，你将有机会获得： - 前沿模型的全栈研究视野。深入数据、训练、评测与交互系统，理解模型能力如何形成，以及如何在真实场景中得到验证。 - 算法与基础设施的深度协同经验。与算法及 Infra 团队共同解决数据规模、实验效率和实时系统中的实际问题，积累将研究方法推进到可运行、可扩展系统的经验。 - 参与定义下一代模型能力的空间。从互动娱乐中的真实需求出发，参与定义模型应当具备的感知、生成与交互能力，并通过实验和产品反馈推动它们实现。 这些经历将帮助你建立从研究问题、实验验证到系统落地的完整能力，为持续深入多模态模型研究、研究工程或技术领导方向打下基础。