Nemotron 3.5 Transcribe 对比 Voxtral 3：两分之差，仍难定论

同一个模型，三种词错误率。Artificial Analysis 在其非流式排行榜上将 NVIDIA Nemotron 3.5 Transcribe 列为 3.4%；同一页面的 FAQ 则称其为 2.8%。与此同时，Mistral Voxtral 3——也就是以 Voxtral Small Transcribe 3 形式发布的那个系列——以 2.1% 位列该榜单第三，比 NVIDIA 公布的最佳数字高出约半个百分点。如果你采用 3.4%，差距看起来是决定性的。如果你采用 2.8%，它就落在这个指数在不同服务端点之间表现出的噪声区间内。而如果你看涵盖对话音频的子分数，排名就会反转。

同一个模型，两个数字，且两者都不是谎言

3.4% 和 2.8% 来自同一天同一份排行榜。它们之所以不同，是因为 AA-WER v2 是通过特定服务端点在特定评估切片上计算得出的，而且从历史上看，同一检查点在由不同提供商运行时，该指标波动幅度接近整整一个百分点。NVIDIA 的 2.8% 是该公司在发布材料中引用的数字；3.4% 则是排行榜针对其实际测试的端点显示的数字。这两个数字都不是捏造的，也不应把其中任何一个从 Mistral 的 2.1% 中减去，就好像二者是在相同硬件、相同精度、针对相同音频测量的。

这并不意味着差距就毫无意义。它让差距成为一个区间：在批量指标上，大约在0.6到1.3个百分点之间偏向Voxtral，而真实值取决于你采用谁的端点。对于客服部署来说，WER每差一个百分点都会消耗人工审核时间，因此这值得花钱。对于会议纪要产品来说，反正会有人工快速浏览输出，所以并不值得。

差异究竟从何而来

AA 指数是三个组成部分的平均值：VoxPopuli、Earnings-22 和 AgentTalk。前两者是朗读语音和财报电话会议——干净、单人说话、录音质量好，正是两款模型都擅长处理的音频类型。AgentTalk 则是对话式的，噪声也更多。在这一部分上，据称 NVIDIA 的模型得分为 1.8%，而 Voxtral Small 为 2.3%，这是一次真正的反转，也是整项对比中最有意思的数字。

• VoxPopuli 与 Earnings-22 —— Voxtral Small 领先；这些语料库更有利于在干净的长篇语音上调优过的模型。

• AgentTalk — 在类似真实客服通话或带有交叉发言的会议的对话音频上，Nemotron 以 1.8% 对 2.3% 领先。

• 总体指数——Voxtral Small 为 2.1%，Nemotron 在 2.8% 至 3.4% 之间。纯净语音组件的权重足以形成这一排序。

这种模式与两种架构是一致的。Voxtral Small 是一个转录模型，训练目标就是让它在转录方面表现出色；NVIDIA 的检查点则是一个语言模型，前端外挂了一个语音编码器，而语言模型在音频杂乱、语境偏口语化时往往表现更好。这也能解释为什么 NVIDIA 宣称的最大优势根本不在干净的 WER 上：在带说话人归属的重叠语音上，平均 cpWER 为 15.80；而在提供实体列表时，命名实体 WER 从 12.21% 降至 2.20%。

供应商表也不重叠

Mistral 公布了 FLEURS-45 宏平均 WER：Voxtral Small Transcribe 3 在强制指定语言下为 4.1%，在自动推断语言下为 4.0%；而其 4B Mini 兄弟模型为 4.6%，Whisper large-v3 为 16.0%。NVIDIA 发布了 Open ASR Leaderboard：在九个英语测试集上平均为 4.71%，在七个多语种测试集上平均为 4.62%。两者都是厂商自行运行的评测框架，基于不同语料库并采用不同的归一化方式，这些几乎相同的数值只是巧合，并非直接对比。任何把 4.0 对 4.62 说成领先 0.6 个百分点的人，都是在拿 FLEURS 分数与 Open ASR 分数作比较。

说话人分离（diarization）的指标存在同样的问题，只是方向相反。Mistral 在 AMI、Switchboard、CallHome 和 AISHELL-4 上报告了 18.4% 的拼接最小排列 WER。NVIDIA 在其自有的多说话人数据集上报告了 15.80 的平均 cpWER。NVIDIA 的数字更低，而且其数据集不同；在没有共享语料的情况下，唯一站得住脚的说法是：两家公司都认为自己在与各自测试过的专用级联系统对比中胜出，而双方都没有在对方的数据上公布过运行结果。

Voxtral 3 能做到而 Nemotron 做不到的事

Mistral 发布的是一个模型家族，而非单个检查点；这个家族覆盖了 NVIDIA 单一离线模型未能覆盖的范围。

• 语言覆盖范围——Voxtral Small Transcribe 3 涵盖 50 多种语言，包括欧盟全部 24 种官方语言；NVIDIA 则涵盖 40 种，其中 13 种支持说话人标签。

• 实时 — Voxtral Mini Transcribe Realtime 3 以低于 500ms 的延迟进行流式传输，每分钟 $0.008，在 240ms 延迟下 WER 为 7.4%，在 2,400ms 延迟下为 5.7%。NVIDIA 对此检查点在任何价位都不提供流式模式。

• 语音智能体 —— Voxtral 3 的发布推出了基于 LiveKit 的 Voice Agent SDK，该 SDK 将转写、带工具调用的推理模型和语音生成串联在一起，并支持打断和 SIP 电话通信。这是 NVIDIA 的检查点尚未覆盖的一整个产品类别。

• 运维简单——按分钟计费，无需 GPU，无需部署服务栈，提供欧盟、美国及全球端点。对于没有基础设施的团队而言，这就是两天完成集成与两个月完成集成的差别。

• 上下文偏置——在 Earnings-22 上，有上下文时关键短语召回率为 94.6%，无上下文时为 81.4%。其思路与 NVIDIA 的实体列表机制类似，只是在不同的语料库上测得。

Nemotron 能做到而 Voxtral 3 做不到的事

反向清单更短，但对合适的买家来说分量更重。

• 开放权重——OpenMDW-1.1，允许商业使用，以 BF16、FP8、NVFP4 和 GGUF 格式发布。Mistral 的页面提供 API 访问，以及通过 Mistral 进行“在您自己的基础设施上自部署”，并且截至发布时，未发布任何权重、许可证或检查点。如果您的合规团队需要审计该制品，这些当中只有一个可供审计。

• 单次处理一小时——65,536 个 token 的上下文，录音时长最长可达一小时。Mistral 并未公布 Voxtral 3 的最长录音时长或上下文窗口，而这本身就是在正式投入长时工作流程之前先行测试的一个理由。

• 翻译——支持 31 种语言与英语之间的双向翻译。Voxtral 3 的发布页面介绍了转录、说话人分离和上下文偏置；它并未像 NVIDIA 的检查点那样介绍语音翻译任务。

• 可通过提示词指定输出——由指令选择五种转录样式，而非采用单一格式再做后处理。

• 音频理解——基于录音进行问答和语音指令遵循。此检查点仅支持英语，且在 Voxtral 3 发布材料中没有任何记载。

成本对比并不接近，而这正是关键所在。

Voxtral Small Transcribe 3 每分钟 $0.0040，即每音频小时 $0.24。4B Mini 为 $0.0035，即每小时 $0.21。NVIDIA 的托管服务标价为每 1,000 分钟 $2.00，即每小时 $0.12。自托管则完全是另一套算法：按照 NVIDIA 所称，在一块 RTX PRO 6000 Blackwell 上每秒可处理 2,238 秒音频，一千小时音频——即 360 万秒——大约需要 27 分钟的 GPU 时间。即便吞吐量只有一半——NVIDIA 称开源集成所能达到的正是这一水平——也不到一小时。

• 每月 1,000 小时 — Voxtral Small 240 美元，Voxtral Mini 210 美元，Nemotron 托管版 120 美元，Nemotron 自托管版按每小时 2 美元的租用费率计算，GPU 时间成本约为 2 美元，另加运维成本。

• 每月 10,000 小时 — 分别为 2,400 美元、2,100 美元、1,200 美元，以及约 20 美元的 GPU 使用时间。

• 问题就在这里——自托管方案的前提是你已经有 GPU、有推理服务栈，还得有人能把它一直维护好。单块 RTX PRO 6000 就是一笔五位数的资本采购；按每月 1,000 小时的使用量，你还没等它摊销回本，下一代产品就已经上市了。而到了每月 10,000 小时，几个月就能回本。

• 另一个问题在于——那些吞吐量数字依赖于 NVFP4 加上 DFlash2 草稿模型，而这种组合会禁用词级时间戳。如果你需要对齐，你所运行的配置就比营销表格中的那套更慢。

所以定价的争论按用量规模划分，也按音频是否可以离开你的网络划分。Mistral 的每分钟费率足够便宜，大多数每月几百小时以内的团队根本不该考虑 GPU。超过一万小时后，自托管一个开放检查点会便宜一个数量级，运维负担就成了唯一真正的问题。

五十小时测试

上面每一个数字都是别人的音频。在将任一模型投入生产流程之前，请用这两个模型分别转写你自己录制的五十小时录音，并按照你的用户实际会采用的方式来评分：命名实体正确、说话人轮次正确、数字和货币金额正确，以及覆盖你客户所特有的口音。AA index 不会告诉你哪个模型更能应对格拉斯哥的呼叫中心，两家供应商的测试框架也不会。

这个测试也体现了路由器的另一项用途：不只是为了省钱。OrcaRouter 把下游的文本调用——摘要、实体抽取、脱敏、对最终转写稿的翻译——放在一个密钥之后，且 0% 加价，按供应商标价透传，跨供应商自动故障转移，并提供一种路由 DSL，可在同一工作流中把不同阶段发送给不同模型。Nemotron 3.5 Transcribe 和 Voxtral 3 都不在 OrcaRouter 的目录中，因此该路由器并不能帮你调用它们；它能帮你处理它们返回的内容，而无需为文本层再建立第二套供应商关系。

结论取决于哪句话描述了你的问题。如果是“我们需要五十种语言的高准确率转写，不想自建 GPU，而且延迟很重要”，那么 Voxtral Small Transcribe 3 是更好的产品，那 2.1% 就是一个实打实的理由。如果是“我们需要对长达一小时的会议做说话人归属转写、需要翻译，还需要一份合规团队可以审查的产物”，那么 Nemotron 3.5 Transcribe 是这份清单里唯一同时满足这三项的选择，而在干净朗读语音上多一个百分点的 WER 就是为此付出的代价。如果是“我们两样都需要”，诚实的答案是：它们并不是替代品，而这一代产品用得最充分的团队，是一个用于实时音频，另一个用于归档。