AI软件工程师（实时语音交互）

职位描述：

汇报给：Global Product Director

About the team:

我们正在构建面向真实电话场景的生产级语音 AI 平台，每天承载大规模真实对话。

语音交互引擎是整个平台的实时控制核心：它将 ASR、LLM、TTS 与电话音频链路编排成一个低延迟、可打断、可恢复的系统，决定机器人什么时候继续听、什么时候开始说，以及用户打断后如何立即停止并自然地恢复对话。

这里要解决的不是 demo 环境中的理想问题，而是真实电话信道下的工程挑战：8kHz 窄带音频、编解码损伤、网络抖动、背景噪声、回声、模型不确定性，以及由任何一个环节造成的 tail latency。

What you will do:

你的工作职责：

设计和演进实时语音交互引擎的核心架构，包括双向音频流编排、并发与背压、取消传播、会话状态管理、故障恢复和降级策略。

攻坚 turn-taking 与 endpointing：区分用户真正结束发言、短暂停顿和犹豫，在响应速度、误抢话率和长时间沉默之间建立可量化的权衡。

设计完整的 barge-in 生命周期，包括用户语音检测、打断决策、TTS 取消与缓冲区清理、实际播放位置对齐，以及对话上下文恢复，确保未被用户听到的内容不会错误写入会话状态。

建立并治理端到端延迟预算，包括 ASR partial/final、LLM TTFT、TTS time-to-first-audio、endpoint-to-first-audio 和 interruption-to-playback-stop 等指标，持续优化 p95/p99 tail latency。

提升电话场景下的鲁棒性，处理窄带音频、编解码损伤、线路噪声、丢包、抖动和回声，并与 ASR、LLM 层协同设计带噪转写、识别修订和模型超时情况下的容错策略。

建设交互质量评测体系，包括离线仿真、真实会话回放、标注集、对抗测试、线上灰度和自动化回归，让“自然度”转化为可测量、可解释、可守护的工程指标。

设计确定性控制逻辑与概率性模型行为之间的边界，使对话系统既保留 LLM 的灵活性，又具备可预测、可调试和可回归的运行行为。

根据级别参与或主导跨 ASR、TTS、LLM、电话平台和业务团队的技术决策、接口定义和长期架构演进。

为什么加入我们

真实规模与完整闭环：你的优化会直接作用于每天大规模的真实通话，并通过用户行为和业务结果得到验证。

完整的技术 ownership：这里不是单独优化某一个模型，而是对用户实际感知到的整段语音交互负责。

问题仍然开放：电话信道下的实时 LLM 对话尚未形成成熟的行业标准，你会直接参与定义系统架构、评测方法和工程实践。

职位要求：

What we are looking for:

我们希望你具备

扎实的实时系统工程能力，熟悉流式处理、并发、异步 I/O、背压、取消、状态一致性和低延迟服务设计，并有生产环境下治理 tail latency 的经验。

在以下至少一个方向有深入的生产实践：

ASR / TTS / VAD、实时音视频、SIP / WebRTC / FreeSWITCH、流式模型服务或低延迟分布式系统。

有真实的 LLM 应用或模型集成经验，理解流式生成、上下文与会话状态管理、模型行为评测、超时与失败降级；prompt 设计只是其中的一部分。

了解 speech-to-speech 端到端模型的基本架构、能力边界和评测方法，能够判断其与 ASR–LLM–TTS 级联系统在不同场景下的工程权衡。

能够从指标和数据出发解决问题：先建立基线与可观测性，再进行实验、优化和回归验证。

熟练掌握 Go / Python，并能够使用 Rust 或 C++ 中至少一种语言进行生产级系统开发。

能够独立分析跨模块问题，而不是将延迟、识别错误或对话异常简单归因于某一个模型或服务。

加分项

做过全双工语音交互或实时通信产品，例如智能客服、外呼、会议系统或语音助手。

有 speech-to-speech 端到端模型的评估、集成或生产落地经验。

熟悉音频信号处理基础，包括 VAD、回声消除、降噪、声学特征或电话编解码。

跟踪或参与过 turn-taking、duplex conversation、spoken dialogue system 等方向的研究或工程实践。

有大规模在线系统的灰度发布、容量治理、故障演练或线上事故处置经验。