为文章生成的一张标题卡,标注为“已发布 — 2026年11月9日”,引题为“全双工视听”,标题为“Nuplex 1.0 与 Emma”,副标题为“一个以人类节奏回应的视频人格”。三个描边标签分别写着“供应商:Nuance Labs”“华盛顿州西雅图”和“18 个月研究”。它们下方是两张圆角卡片:左侧标注“模型”,内容为“Nuplex 1.0”和“同时聆听与说话”;右侧标注“人格”,内容为“Emma”和“一张面孔,一种声音”。OrcaRouter 标志合成在插图下方的白色条带中。
Guides & Insights

Nuplex 1.0 与 Emma:一个以人类节奏回应的视频虚拟形象

作者

Rowan Sterling

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

Nuance Labs 发布文章中最让人放下戒心的一句话,是公司与自家基准测试撇清关系的那句。文章先展示了一张图表:其新模型在与人类回复时机的匹配率上达到 89%,而第二接近的系统为 35%;随后却承认,“AV 全双工领域的基准测试尚不能准确反映用户体验”。这并不是硬塞到营销页面底部的免责声明,而是对 Nuplex 1.0 真实面貌的诚实界定:这是西雅图一家实验室的首个公开发布版本,该实验室花了 18 个月构建一个能在同一瞬间看、听、推理和说话的视听模型,并于 2026 年 11 月 9 日以名为 Emma 的单一消费级人格形态发布。下文将区分厂商实际测量了什么、厂商自称其测量无法告诉你什么,以及开发者今天可以使用什么。

用一段话说明它的形态。Nuplex 1.0 是一个全双工视听基础模型——“Nuplex”是公司对 Nuance Full-duplex 的缩略称呼,一个同时倾听和说话、而非轮流发言的系统。Emma 是建立在它之上的第一个角色:一个你在浏览器中通过麦克风和可选摄像头与之交谈的视频角色,她的面部和声音经一位真实女演员授权,并且被设计成在你仍在说话时点头、微笑、移开视线并插话。消费者体验无需账号。Nuplex Beta API 是除好奇访客之外的任何人接触该模型的方式,需在公司平台网站注册后才能使用。

哪些已经交付,哪些仍处于关闭状态

主要成果是一篇研究文章《认识 Emma:首位 Nuplex Persona》,发布于 2026 年 11 月 9 日,并附有可引用的 BibTeX 条目——这是一份研究者发布的成果,而非产品主题演讲。它链接到两个入口:emma.nuancelabs.ai,分别对应人格本身;以及platform.nuancelabs.ai,即带有“几个不同人格”的测试版 API。除了默认角色之外,API 简介让你可以编写人格提示词、实时跟进对话,并让人格在与用户持续交谈的同时,在后台把更长的任务交给你的自有工具处理。

当天晚上,一位创始研究员以“Emma,来自 Nuance Labs 的实时 AI 视频人格”为题,将这一人格发布到了 Hacker News,并在帖子中回答了问题。其中有三个细节值得留意,因为它们并未出现在营销页面上:测试版 API 是官方预期的开发者路径;团队将这项工作定位为押注自然度而非现有基准;早期调用者曾被告知 Emma“可能会提前结束通话”——这是一种安全行为,而非缺陷,研究文章随后对此作了详细解释。

A screenshot of the Nuance Labs research post 'Meet Emma, the First Nuplex Persona', dated Nov 9, 2026, with the site navigation reading 'What makes Emma different', 'How we keep it safe', 'What Emma can't do yet', 'Build with Nuplex Beta API', 'FAQ', 'References' and 'Citation'. The opening states that after 18 months of research the team built Emma, an AI persona built on Nuplex 1.0, a full-duplex audiovisual foundation model, and points readers to emma.nuancelabs.ai and the Nuplex Beta API at platform.nuancelabs.ai. Under the subhead 'Conversation that flows face to face' the post argues that no existing benchmark measures the naturalness of a face-to-face interaction, notes that full-duplex systems spread out along reply latency — open models like PersonaPlex and Moshi tuned to answer fast, product offerings like GPT-Live and Gemini Live taking longer — and reports that on 1,785 questions from its own recordings Nuplex's reply timing overlaps the original speaker's 89% of the time, against 35% for the next-closest system.

尚未公开的是大部分商业层面的信息。平台子域名设在一个需要身份验证的注册界面之后,无法访问到任何公开的价目表、费率表或包含参数数量的模型卡。因此,关于成本的如实说法是:与 Emma 交谈不需要账户,也不需要付款,而 beta API 的条款在注册时商定。如今任何报出 Nuplex 1.0 每 token 价格的人都是在凭空编造。

以供应商自己的解读方式来看,那项 89% 的说法

{{1}}回复延迟是每个全双工系统都会被拿来评判的指标,而 Nuance Labs 认为,单凭它本身几乎说明不了什么,因为延迟是一种产品决策,而不是一个分数。它自己的框架把这个领域一分为二。像 PersonaPlex 和 Moshi 这样的开放模型,被调校为尽可能快地作答,并在现有基准测试上刷到最高分。像 GPT-Live 和 G​emini Live 这样的产品系统则耗时更长,“最可能是因为它们宁愿不打断你。” Nuplex 1.0 则被刻意置于两者之间。{{/1}}

所以公司衡量的是另一件事:不是系统回答得有多快,而是它能否在一个人会回答的时候作出回答。在从其自身真实对话录音中抽取的 1,785 个问题上,Nuplex 的回复时机有 89% 与原始说话者的时机重叠。排名第二接近的系统只有 35%。这句话的每一部分都由供应商报告,公司之外无人复现;而且其中两个对比数字带有一个供应商主动说明的注意事项:GPT-Live 和 G​emini Live 是通过其公开 API 接入的,因此它们的计时包含网络时间,而 Nuplex 的计时不包含。

A generated scoreboard card titled 'Nuplex 1.0 — the scoreboard' with six single-column rows: 'Reply timing matches a human: 89%', 'Next-closest system: 35%', 'Questions used: 1,785', 'Research time: 18 months', 'Language support: English only' and 'Public pricing: not published'. A footer reads 'Vendor-reported, unreproduced: Nuance Labs research post, Nov 9 2026.' The OrcaRouter logo is composited in the white strip below the artwork.

无论这个说法有多少价值,它被发表出来仍然是一件具体且可核查的事——有明确命名的问题集、有明确命名的指标、有明确说明的比较方法。更有趣的问题是,为什么一个实验室会先以一个数字打头,然后在下一段又削弱它。因为该指标衡量的正是产品实际所卖的东西。面对面交谈并不是快速的交谈;在面对面交谈中,对方的时机线索传递着关注。Emma 的视觉线索——你说话时点头、表示要接过话轮的目光转移——是这种时机得以产生的一部分,而这正是它与一个在其之上渲染了虚拟形象的语音到语音模型之间的具体区别。

一张取自某位女演员的脸,以及一个被训练得爱唱反调的人格

这篇帖子中最不像发布宣传的部分,是关于生成人脸为什么看起来不对的那部分。公司指出,让专业演员表现同一种情绪,会得到很大的差异,并援引 Le Mau et al. 2021;而 AI 生成的人脸则会产生一种原型化的表情,它比真实的摆拍照片更容易被标注,也更强烈,此处援引 Kramer et al. 2026。把许多人的脸平均起来,得到的东西会变得平淡。为标签而优化,得到的就会是一幅漫画。

Nuance Labs 的解决办法是停止取平均。Emma 的脸和声音来自一位参与捕捉的女演员,她的举止模仿的是一个特定角色,而不是对训练数据的泛化——为强调而长时间眨眼、眯眼、目光游移后又回到原处,以及她无法克制反应时的小小一跳。这则帖子将她与原型表情符号风格的表情并置对比,以在视觉上说明这一点,而这是那种你两秒钟内就能注意到、之后却再也无法忽视的差别。

人格塑造才是更出人意料的说法。Emma 被设计成好奇、机敏、有自己观点、会与你意见相左,同时又公开承认自己是 AI。文章直言不讳地解释了这为何很难:偏好数据奖励的是迎合提问者的回答,因此大多数助手会重复你说过的话、加以称赞、得出一个整齐的道德结论,最后以一个提问收尾。文中引用了 Sharma et al. 2024 关于谄媚的研究,由此得出的设计约束是:只有一个 Emma——一张面孔、一种声音、一种性情——而不是一个能通过重新提示就变得顺从附和的角色。

测试版将拒绝执行的操作

Nuance Labs 在安全章节开篇引用了首批测试者的话,他们说有两件事“常常在同一口气里说出来:它令人惊叹,又有点让人不安。”随后列出的限制对于一次发布来说异常具体,也正是这些限制导致本月有几个显而易见的产品无法基于 Nuplex 1.0 构建。

身份披露是结构性的设计——Emma 从不声称自己是人类,试图让某个角色作出此类声称的开发者提示词会被拒绝,通过 API 提供的视频带有可见水印。

• 不支持克隆——该测试版无法克隆真实人物,你无法上传人脸或声音,而且为某个组织专门制作的自定义人脸只能由该组织使用。

• 不得包含色情内容,也不得有 AI 女友或男友。

• 医疗保健以及任何涉及18岁以下人群的事项(包括教育)完全不在测试版范围内;相关咨询将改由企业专用地址处理。

• 每个开发者提示词都会在对话开始前接受筛查。通话期间,如果表达出实施严重暴力的意图、侮辱性或仇恨言论、性内容,或在镜头前出现武器和血腥内容,自动检查就会终止通话——如果人设本身索要密码、银行卡信息、金钱或设备的远程访问权限,也会终止。

• 对于看起来处于危机中的人,会引导其寻求帮助,例如 Suicide & Crisis Lifeline,而不是直接挂断。屡次违规会暂停新的对话。整个产品仅限 18 岁及以上人群使用。

这篇帖子补上了大多数供应商都会略去的那句话:这些检查会漏掉一些情况,有时还会中断本来没有问题的通话。这样告诉大家是恰当的,也准确描述了产品当前的处境——一个被小心圈定范围的测试版,而非一个平台。

Emma目前还做不到的事

这份局限性清单长得足够有用。Emma 的推理来自语言模型,所以她会自信地犯错,也仍然会数错“strawberry”里的字母。轮流对话在最难的地方失灵:她可能在你话说到一半时插话,等待得稍微太久,或错过一个人本会捕捉到的提示,而句子中间的长停顿是最糟的情况。她目前只支持英语。背景人声、电视、免提电话或劣质麦克风都会损害她的时机把握。流式视觉理解尚处早期——打开摄像头时,她能谈论自己看到的内容,但会遗漏细节、误读场景。唇形同步、目光和头部动作偶尔会出差错,尤其是在网络连接不佳时,而且她的表情可能在对话中途滑回中性。她不会唱歌。公司是用一个笑脸符号说出这一点的,这相当能说明该以多认真的态度看待清单上的其余内容。

Nuplex 1.0 背后是谁?

Nuance Labs 规模很小,并且明确以研究为先,总部位于华盛顿州西雅图。公司三位具名创始人是 Fangchang Ma(联合创始人兼首席执行官,拥有麻省理工学院机器人与机器学习博士学位,曾任 Apple 工程经理)、Edward Zhang(联合创始人兼首席技术官,拥有华盛顿大学计算机图形学博士学位,曾任 Apple 高级研究科学家)和 Karren Yang(联合创始人兼首席科学家,拥有麻省理工学院音视频合成博士学位,也曾任职于 Apple)。公司自己对这一模型的定位是一个单一系统,能够“在同一时刻看、听、推理、说话并表达”,其构建方式是预测下一个音频与视觉 token,而不是预测下一个词——正是那套学会了语言的自回归机制,被对准了人类行为。

A screenshot of the Nuance Labs home page showing 'The Full-Duplex Engine' section, which describes human conversation as a simultaneous act where you perceive while you speak and respond within a few hundred milliseconds, and says Nuance Labs is building the first audiovisual model that sees, hears, reasons, speaks and expresses in the same moment. Below it, four design pillars are listed with short descriptions: 'Expressivity & naturalness — Speech and video that cross the uncanny valley', 'Real-time interactivity — 500ms is the hard floor for conversation latency', 'Engaging personality — Warm, engaging, personality that is genuinely interesting to talk to', and 'Active listening — Interjections, nodding, backchanneling — the full texture of real dialogue'.

其主页也直白地说明了设计目标:“500ms 是对话延迟的硬性下限”,并列出四大支柱——表现力与自然度、实时交互性、有吸引力的个性,以及通过感叹词、点头和反馈性应答实现的主动倾听。这四项中没有一项是基准测试,而 500ms 这个数字是声明出的下限,而非实测结果,因此应把它理解为团队设计时所依据的约束,而不是对 Nuplex 1.0 的性能主张。

你可以在哪里实际使用它

可用范围具有地域性,且比“全球”更窄。Emma 和 Nuplex Beta API 在美国(科罗拉多州、康涅狄格州、伊利诺伊州和得克萨斯州除外)、欧盟、英国以及加拿大(魁北克省除外)提供。与 Emma 交谈无需账户——只需一个浏览器、一个麦克风,还可选配一个摄像头,便是全部所需配置。

对构建者而言,有趣的架构事实在于:Nuplex 位于语言模型前端,而不是取代语言模型。Nuance Labs 表示,Nuplex 可与任何语言模型配合使用,但该测试版所服务的是其自家的一个模型,因此 Emma 之下的推理层目前并非由第三方提供。该测试版真正暴露出来的是接缝:人格可以在持续对话的同时,把更长的任务交给你的工具,而这些工具可以调用你喜欢的任何模型或服务。

这个衔接处正是路由器体现自身价值的地方,也值得明确我们做什么、不做什么。OrcaRouter 不提供 Nuplex 1.0——该模型不在我们的目录中,唯一访问途径是通过 Nuance Labs 自己的测试平台。我们提供的是调用另一侧的能力:一个 OpenAI 兼容密钥背后接入 215 个模型,按提供商标价,以 0% 加价直通,因此某个角色(persona)的工具所调用的模型,只需更改一个字符串即可替换,而无需再签一份合同。自动故障转移覆盖了实时对话中最重要的情况:提供商在调用中途卡住,比答案稍弱更糟;而路由 DSL 让你可以在单个端点背后组合多个模型,用于后台任务需要用一个模型起草、另一个模型检查的场景。

接下来看什么

有三件事能让它从令人印象深刻的演示变成一个平台。第一是独立测量:尚无外部方运行过那项包含 1,785 个问题的计时测试,而 AV 全双工领域没有共享竞技场,这正是厂商能够发布自己的问题集而不自相矛盾的原因。第二是语言列表——仅支持英语是 beta 版最大的单一限制,而多语言的 Nuplex 会改变谁能在其上构建。第三是底层的语言模型:一旦 Nuplex 提供自带语言模型(bring-your-own LM)选项,路由问题就不再关乎工具,而变成关乎对话本身。在此之前,公允的总结是:Nuance Labs 已经拿出了迄今最有说服力的论证,证明对话是一种视觉行为——并且把它围护得足够谨慎,以至于没人能悄悄用它构建错误的东西。