Nemotron 3.5 Transcribe 对比 Whisper Large v3 Turbo：以 40 倍的占用换取一个 WER 百分点

如果你的转录任务是一文件夹的三分钟单声道采访片段，而你手头的机器是 24GB 工作站显卡，那么在准确率还没被纳入讨论之前，Nemotron 3.5 Transcribe 与 Whisper Large v3 Turbo 的比较就已经有结论了。NVIDIA 的新模型是一个 340 亿参数的语音系统，曾在 80GB 加速卡上验证。OpenAI 的 turbo 变体则是一个 8.09 亿参数的模型，能装进 0.8GB 的 int8 权重中，并可在 CPU 上运行。本周它们被拿来比较，是因为两者的错误率相差约一个百分点，而这恰恰是这组对比中最没用的信息。

Nemotron 3.5 Transcribe 于 2026-10-28 以开放权重形式发布，采用允许商业使用的 OpenMDW-1.1 许可证。Whisper Large v3 Turbo 发布于 2024-10-01，采用 MIT 许可证；它算不上新闻，而是每一款新语音模型都要拿来对标的基线。本文要回答的问题并不是哪个得分更高——两家厂商都希望你把文章读成那个意思——而是哪一个你才真正跑得起来、成本是多少、在你手头的音频上表现如何。

每个模型实际上是什么

这种架构差异并不是代际差距，而是类别差异，它几乎解释了所有下游的权衡取舍。

• 架构 —— 一个混合 Mamba–Transformer 的专家混合（MoE）大语言模型，外挂一个语音编码器和一个冻结的 99M 说话人分离编码器，总参数约 34B，每个 token 激活 4.3B；与之相对的是一个从 large-v3 蒸馏而来的编码器–解码器，其解码器由 32 层削减至 4 层。

• 音频窗口 — 最长一小时的录音可单次处理完成，而在更长的音频上采用固定 30 秒窗口的分块长音频解码方式。

• 说话人标签——内置于输出中，最多支持 8 位说话人、13 种语言，相比之下则完全没有；Whisper 的词汇表中没有说话人标记，因此必须使用单独的说话人分离器。

• 词级时间戳——轻量级 CTC 适配器将完成的转写文本与音频对齐，而非仅依赖段级时间戳标记；词级时间戳则需要强制对齐。

• 语言覆盖范围——支持 40 种语言的转写，31 种语言可与英语互译，13 种语言支持说话人归属；相比之下，支持 99 种语言的转写，但不支持翻译。

• 磁盘上的权重 — 在 OpenMDW-1.1 下，BF16 格式约为 68GB；相比之下，fp16 为 1.6GB，int8 为 0.81GB，采用 MIT 许可。

准确率数字对不上，而这正是关键所在。

Artificial Analysis 运营着唯一一个公开榜单，两个模型都以同一尺度出现在其中，而它的数字值得仔细阅读，因为这些数字彼此并不一致。在排行榜表格中，Whisper Large v3 Turbo 在一个快速推理端点上列为 4.6% AA-WER，在第二个端点上则为 5.5%。Nemotron 3.5 Transcribe 在一个托管端点上列为 3.4%。NVIDIA 自己的公告引用的是 2.80% AA-WER，在开放权重模型中并列第一；而同一排行榜的正文部分重复了 2.8%，其表格却写着 3.4%——这是单页内部的差异，甚至还没等任何人开始比较供应商。

如果只看表格字面数值，Nemotron 3.5 Transcribe 大约好 1.2 个百分点。但请注意，Whisper Large v3 Turbo 自己的两条记录在完全相同的模型上就相差 0.9 个百分点。这两个系统之间表面上的大部分差距，来自端点配置——批处理、解码设置、音频预处理——而不是架构。任何把单一的 WER 差异当作定论的人，引用的都是一个在更换主机时会发生几乎同样幅度变化的数字。

Open ASR Leaderboard 所呈现的说法听起来更夸张。Whisper Large v3 Turbo 的英语短音频平均 WER 在该榜单上约为 7.8%，而 NVIDIA 在研究页面上报告其模型在九个测试集上的结果为 4.71%，并在随附的 Hugging Face 帖子中报告英语 WER 平均为 5.33%。这些是不同的测试混合，采用了不同的归一化方式，因此三个百分点的差距充其量只有方向性意义。更重要的是不存在的东西：与 Whisper Large v3 Turbo 的厂商正面交锋。NVIDIA 将其模型与级联说话人日志系统以及其他开放权重语音模型进行比较，而不是与当今大多数团队正在运行的 Turbo 检查点比较。流传的每一个“击败 Whisper”的数字，都是跨基准推断的结果，包括我们自己的。

Whisper 无法弥合的能力差距

撇开提示词驱动的输出不谈，真正的关键差异在于 Nemotron 3.5 Transcribe 能一次性生成带说话人归属的转录文本。说话人标签来自融合进音频特征的冻结说话人分离编码器，响应会在带标签的转录文本之外一并携带原始说话人片段，模型将它们标记为 <spk:0> 到 <spk:7>。对于双人播客来说，这是一种便利。对于 60 分钟的纪律听证会、临床医生问诊或各方参与的销售通话来说，这就是产品本身。

Whisper Large v3 Turbo 完全无法表达说话人信息。它的训练转录文本从未包含说话人标签，而且其输入会被降混为单声道 16kHz，这破坏了唯一可能残留下来的物理线索。要求它生成标签，得到的文本看起来正确，却没有任何音频依据。标准的变通方案是 WhisperX：用强制对齐获得词级时间戳，再加一个单独托管的说话人分离模型，在分段边界处拼接。它确实有效，部署广泛，但它是三个活动部件，而 Nemotron 3.5 Transcribe 只有一个。

同样的结构优势也适用于长音频。单次处理一小时胜过拼接 30 秒窗口，而窗口拼接存在一个已知的故障模式：不使用时间戳 token 进行解码，几乎在每个边界处都会丢词——一段实测 20 分钟的演讲用这种方式大约丢失了 3% 的词。Nemotron 3.5 Transcribe 的 CTC 适配器正是为了避免这类错误而存在，不过需要注意的是，词级时间戳并不在 vLLM 初始支持范围内。

在为其构建的任务上，NVIDIA 报告的数字表现强劲，且属于厂商自报：在 David AI 说话人分离基准上，21 种语言的 DER 为 18.26%，据称在 14 个系统中表现最佳；在 VoiceArena 上，cpWER 为 32.4%，同样在 14 个系统中表现最佳。提示中提供的上下文实体列表，被认为使 ContextASR-Bench 上的命名实体错误减少了六倍。这一切尚未经过独立复现，而且全都只是关于一个才发布一天的模型的声明。

Whisper Large v3 Turbo 仍然完胜的地方

语言覆盖广度是首要答案，而且它没有听起来那么无聊。Whisper Large v3 Turbo 覆盖 99 种语言。Nemotron 3.5 Transcribe 覆盖 40 种语言用于转录、31 种用于翻译、13 种用于说话人归属。如果你的队列中包含哈萨克语、泰米尔语、斯瓦希里语或威尔士语，比较到此为止：turbo 模型可以转录这些语言，而更新、更大的模型并未声称支持。

第二个答案是部署摩擦。Whisper Large v3 Turbo 可在 whisper.cpp、faster-whisper 和 MLX 上运行，在 CPU 上、在笔记本上、在 Jetson 上都能跑。Nemotron 3.5 Transcribe 则需要 vLLM 0.32.0 加 NeMo Speech 插件，或者 SGLang-Omni 0.2.0，并且要跑在 80GB H100 上的 BF16、L40S 上的 FP8，或 RTX 5090 上的 NVFP4。这些运维层面的投入根本不可相提并论。

第三点是，turbo 的价格是公开的、简单直白的按小时费率。托管端点按每音频小时约 0.04 美元计费，最低计费时长为十秒，并且在快速端点上，它的运行速度约为实时的 250 倍。一千小时音频的费用约为 40 美元。Nemotron 3.5 Transcribe 未公开完整检查点的标价，而提供它的托管端点也不公布每分钟费率。

检查你正在对哪个 Nemotron 3.5 进行基准测试

本周报道中最常见的错误是比较了错误的模型。已发表的许多“Nemotron 3.5”对比实际上评测的是 nvidia/nemotron-3.5-asr-streaming-0.6b——一个来自更早版本的 0.6B 缓存感知流式模型，有自己的数据，也有自己的短板。如果表格提到 80ms 到 1120ms 的分块，那它测试的就不是 Nemotron 3.5 Transcribe。这一点很重要，因为在实际对比中，该流式模型在原始准确率上输给了 Whisper Large v3 Turbo（在某个多语言排行榜上是 3.35% 对 2.55%），在词对齐方面更是大幅落后，而本文讨论的模型则是一个不同的、非流式的 34B 系统。

第二个陷阱在于服务环节。简单路径 SGLang-Omni 0.2.0 无需 NeMo 就能给你一个可用的端点——但也没有时间戳、说话人标签或翻译。完整路径 vLLM 0.32.0 搭配 NeMo Speech 插件，能让你三者兼得，但词级时间戳是作为后续补充才加入的，并非在最初的 PR 中就有。因此，三个都叫“Nemotron 3.5 Transcribe”的部署配方，可能表现得像三个不同的产品。如果你切换的原因正是说话人归属，那么在投入工程时间之前，请先验证那条路径。

说实话，运行它到底要花多少钱

托管服务的对比几乎是显而易见的：Whisper Large v3 Turbo 大约每音频小时 0.04 美元，即每千小时约 40 美元，而且无需自持硬件。Nemotron 3.5 Transcribe 目前尚未以这种方式销售，因此想要采用它的团队要核算的是一块 GPU 的成本，而不是一张账单。

NVIDIA 自己声称的吞吐量是算力下限：在 RTX PRO 6000 Blackwell 上，使用 NVFP4 和 DFlash2 草稿模型，每 1 秒 GPU 时间可处理 2,238 秒音频，折算下来不到三分钟就能处理约 100 小时音频。按按需实例约每 GPU 小时 2 美元计算，这意味着每音频小时的成本下限远低于 1 美分——前提是满载批处理，而生产队列并不会这样运行。应把它视为硬件能力的上限，而不是你实际能达到的速率。

这意味着真正的比较并不是 Whisper Large v3 Turbo 对 Nemotron 3.5 Transcribe，而是 Nemotron 3.5 Transcribe 对 Whisper Large v3 Turbo 加上一个说话人分离模型、一个强制对齐器、片段合并代码，以及这些黏合组件所需的逐语言调优。如果你已经在生产环境中运行 WhisperX，那么你已承担了其中大部分成本，切换的理由就比 WER 差距所暗示的要弱。如果你还没有搭建这套流程，那么这个 30B 模型所竞争的，是一套你原本不得不配备人力的流水线。

对于在迁移期间同时运行两者的任何人，有一条实用提示：将两个转录后端放在一个与 OpenAI 兼容的端点之后，会让切换变成一次配置变更，而不是再签一份供应商合同。这正是 OrcaRouter 旨在提供的层——在它路由的各提供商之间使用一个密钥和一个端点，提供商标价按 0% 加价原样传递，并在它们之间自动故障转移。它不会改变哪个模型更好。它改变的是弄清这一点的成本，以及判断错误的成本。

谁应该选哪个

• 涉及多位说话人且需要审计追踪的会议、法律、临床或联络中心录音——{{1}}Nemotron 3.5 Transcribe{{/1}}。单次处理即可完成说话人归属与词级时间戳，这本是你需要自行拼装的能力，而一小时的窗口则彻底免去了分块逻辑。

• 大批量单声道音频、广泛的语言覆盖、笔记本电脑或 CPU 部署、可预测的按小时计费——Whisper Large v3 Turbo。它拥有 809M 参数，每小时仅需 $0.04，对于很大一部分真实流量来说，它是最便宜的正确选择，并且已经经过两年的实战检验。

• 混合工作负载——对所有内容都运行 turbo，只将需要区分说话人、术语列表或翻译的音频路由到更大的模型。选择规则是音频属性，而不是模型名气：说话人数量、是否存在领域术语表以及录音长度。

迁移前值得提出的问题

Nemotron 3.5 Transcribe 能在单张 24GB GPU 上运行吗？

不太宽裕。NVIDIA 已在 80GB 的 H100 上验证了 BF16，在 L40S 上验证了 FP8，并在 RTX 5090（一块 32GB 显卡）上验证了 NVFP4 检查点。24GB 设备低于所有已验证配置，而且音频塔会被复制到每个张量并行 rank 上，因此多 GPU 分片也无法弥补单张小卡容量不足的问题。

Whisper Large v3 Turbo 是否支持说话人标签或翻译？

都不是。turbo 变体仅经过转写训练，因此给它传入翻译任务会产生无法使用的输出——翻译需要完整的 large-v3 检查点。说话人标签需要单独的 diarizer（例如 pyannote），而将其说话轮次与 Whisper 粗粒度的片段时间戳拼接起来，是整条流水线中最耗时间才能做对的一环。

参数差距是否表现为延迟？

不是按每分钟音频来算，不是。Whisper Large v3 Turbo 在快速托管端点上处理一个 30 秒窗口，用时远不到一秒；Nemotron 3.5 Transcribe 则单遍处理一小时的文件，其吞吐量按 NVIDIA 的说法可达每 GPU 秒数千音频秒。可见的差异在别处：turbo 没有流式模式，Nemotron 3.5 Transcribe 也没有，因此实时字幕对两者都不在支持范围内。

哪一个更适合非英语音频？

这两种答案都不稳妥。Whisper Large v3 Turbo 覆盖 99 种语言，但质量因语言不同而差异很大；Nemotron 3.5 Transcribe 覆盖 40 种语言，其多语言结果由厂商报告，并提供了一个适配方案——NVIDIA 称，在单个 GPU 上微调几个小时后，一个留出的医疗领域 WER 从 22.44% 降至 12.17%。目前还没有独立的多语言正面对比，因此对于英语以外的任何语言，负责任的做法是用你自己的音频做盲测。

什么会改变这一裁决

三件事，按可能性从高到低排列。词级时间戳进入 vLLM 的转录 API，将使完整的服务路径成为默认路径，并缩小三种部署方案之间的差距。量化检查点广泛发布，将把硬件门槛从 80GB 显卡下移到消费级设备。而一场真正独立、针对 Whisper Large v3 Turbo 的多语言正面对比，将用实测取代推测。

在这些方案中有一个落地之前，这个决定还谈不上十分之一个 WER 百分点的问题。这是一个关于你的音频的问题：如果音频里不止一个说话人，而你需要知道哪句话是谁说的，那么 Nemotron 3.5 Transcribe 是首个能在单次处理中做到这一点的开放模型，无需在其后接一套流水线。如果不是这种情况，那么一年前发布的 809M 模型仍然能以每千小时四十美元的成本胜任这项工作，而为了一个会随主机更换而变化的数字去购买 34B 模型所对应的硬件，代价太大。