Nemotron 3.5 Transcribe：NVIDIA 的语音大语言模型超越说话人分离级联系统——支持 13 种语言

NVIDIA 推出Nemotron 3.5 Transcribe，该模型于 2026 年 10 月 28 日以开放许可证发布，而每条关于它的新闻标题里的数字都是 40：四十种语言、一个检查点，并包含说话人标签。真正改变你构建转录技术栈方式的数字是 15.80。这是该模型在 NVIDIA 自家多说话人基准集上的平均 cpWER，而该公司拿来与它比较的最佳专用级联系统为 16.83——那是一套语音识别器加上一条独立的说话人分离流水线，并按大多数生产级会议转录系统仍然采用的方式连接在一起。NVIDIA 声称这是首个战胜这种组合的语音 LLM，而这个说法值得检验，因为正是这一主张会从你的架构中移除一个组件，而不是在语言列表里增加一种语言。

40 种语言这个数字是真实的，但实际覆盖范围比字面上看起来要窄。说话人归属——也就是取代级联流程的那部分——是针对 13 种语言训练的，而不是 40 种。该模型仅读取录制好的文件，单次最长一小时，没有流式处理路径。而且它的下载量并不小：总参数为 34B，每个 token 约 4.3B 活跃参数，并明确以 H100 80GB 作为 BF16 推理服务的基线。这三个约束条件决定了：说话人分离的结果是你本季度就能用上的东西，还是只能记下来留待下一季度的东西。

NVIDIA 实际交付了什么

该检查点发布为NVIDIA-Nemotron-3.5-Transcribe-30B-A4B，而这一名称与公布的参数数量之间的差距是首先要澄清的问题。该模型基于 Nemotron 3.5 Lightning 30B-A3B 构建，这是一个混合 Mamba-2 与 Transformer 的专家混合语言模型；NVIDIA 的模型卡标明总参数为 34B，其中约 4.3B 为激活参数（包括音频栈）。名称中 30B 之外的额外权重来自编码器：ASR transformer 约 600M，说话人编码器约 99M，合计约 800M，因此语言主干约有 3.5B 激活参数。已有若干文章将此报道为不一致；其实并非如此，这是名称统计 LLM、模型卡统计整个系统所致。

从架构上看，值得理解的部分是并行专家编码器。一个冻结的 Nemotron 3 Diarization 模型会生成说话人活动表示，这些表示会被注入到 ASR 编码器的输出中，因此语言模型可以在一次前向过程中同时看到词语以及这些词语最可能由谁说出的信息。随后，一个轻量级 CTC 适配器会将生成的文本与音频重新对齐，从而生成带有说话人归属的词级时间戳。中间没有第二个对齐阶段，也没有 pyannote 调用。原生多 token 预测在 vLLM 内部兼作投机解码的草稿，而 NVIDIA 还单独发布了一个经过训练的 DFlash2 草稿模型。

• 总参数与激活参数——总计 34B，每个 token 激活约 4.3B，其中约 3.5B 为语言主干

• 上下文与音频 — 65,536 个 token，录音最长可达 1 小时，采用 16 kHz 单声道，以 30 秒为内部块进行解码

• 语言覆盖范围 — 40 种语言支持转录，32 种语言支持与英语的双向翻译，13 种语言支持说话人归属转录

• 许可证 — OpenMDW-1.1，允许商业和非商业使用

• 服务基准 — 单张 H100 80GB，BF16；已发布 BF16、FP8 与 NVFP4 构建版本

• 流式传输——无；这是一个文件输入、转录输出的模型

这次发布包含两项产物，值得把它们区分开来，因为大多数报道都把两者混为一谈了。除模型之外，NVIDIA 还发布了 Granary v2——这不是一个检查点，而是一个语音数据流水线发布版本：涵盖 48 种语言、16 个源语料库，共计 463,062 小时，相比 Granary v1 的 25 种语言有所增加；它使用 NeMo Curator 构建，并随附一份公开清单。每条记录都带有三种转写形式——文本规范化后的逐字转写、保留不流畅现象的逆规范化转写，以及去除不流畅现象的逆规范化转写——外加任务标签、基于语音的问答对、上下文偏置词，以及每条记录的质量标志。它是微调方案所期望的数据，而不是你可以直接运行的权重。源音频仍须按照各语料库自身的许可进行下载，因此 Granary v2 的“开放”在于其清单和流水线是开放的，而不在于音频可以自由再分发。

许可证和权重同样重要。OpenMDW-1.1 允许商业使用，这使其与 Mistral 的 Voxtral 系列处于同一档，而不是开放权重谱系中仅限研究的那一端。发布时的运行时支持比大多数语音 LLM 发行版更广：vLLM 0.32.0 是主路径，也是唯一能提供完整功能集的路径；词级时间戳需要 V1 runner 和时间戳中间件，并且不支持 DFlash2。SGLang-Omni 0.2.0（基于 SGLang 0.5.22）可通过 OpenAI 兼容的音频端点处理整文件转写，但不支持词级时间戳、说话人归属输出、翻译或投机解码。NeMo Speech 提供微调工具包，Transformers 支持从源码安装后进行进程内使用，GGML 构建则覆盖部分 Blackwell 型号，包括 RTX 5090 和 RTX PRO 6000。

说话人分离的结果才是关键。

NVIDIA 的多说话人表格承载了级联对比，而且对于一篇发布文章来说详细得非同寻常。整个集合的平均 cpWER 为 15.80，而 DiCoW v3.3 与 DiariZen 组合为 16.83。各条件的数值显示了差距来自哪里、又不来自哪里：AMI 在近讲条件下达到 10.29，AMI 单远距离麦克风 17.34，CALLHOME CH109 11.50，Mixer 6 通道 4 14.80，NOTSOFAR-1 近讲 14.94、单通道 25.91，AISHELL-4 为 32.91 cpCER，AliMeeting 为 34.95。宽带、多通道会议场景表现强劲；远场单麦克风和中文会议音频则弱得多，这恰好说明了所有说话人分离系统都在哪些地方吃力。

NVIDIA 所依赖的那项看似独立的佐证，是 VoiceArena 的 Diarization-Bench：模型在英语完整会话上报告了 32.4% 的 cpWER，在 14 个系统中位列第一。第二名是 Multitalker Parakeet 搭配 Nemotron 3 Diarization，为 34.2%，其余参评系统的范围在 34.7% 到 71.9%。NVIDIA 还报告词删除率为参考词的 8.32%，而参评系统中位数约为 31%。对任何交付过转录结果的人来说，第二个数字更有用：cpWER 可以通过丢弃拿不准的词来钻空子，而一个在赢得该指标的同时保留 92% 参考词的系统，做的是更难的事。这两个数字都是厂商在第三方基准上报告的数据，并非对该模型的独立评估。

限制在于语言数量。说话人归属功能是针对十三种语言训练的——英语、法语、德语、印地语、意大利语、韩语、葡萄牙语、俄语、西班牙语、日语、泰语、阿拉伯语和中文——并支持最多八位说话人。如果你的录音是英语会议或其余十二种语言之一，那么级联替换的论点就成立。如果你的音频是波兰语、土耳其语或越南语，你只能获得不带说话人分离的转录，仍然需要第二个组件。

它实际排名如何：三张排行榜，三种不同答案

英文数字取决于你读的是 NVIDIA 的哪个页面，值得对此保持精确，而不是挑更好看的那个。模型卡的九测试集平均词错误率为 4.71%，Qwen3-ASR-1.7B 以 4.94% 紧随其后。NVIDIA 同日在 Hugging Face 发布的文章给出的数字是，在 Hugging Face Open ASR Leaderboard 上的平均 WER 为 5.33%，RTFx 为 462.09，Qwen3-ASR-1.7B 为 5.4%。两者都是厂商自己发布的数字，相隔数小时发布，差异在于平均值包含哪些测试集。不要对它们取平均，不要用一个减去另一个，也不要把这个小数位当作已定论。在这两种表述中都成立的是位次：在该榜单的开放权重模型中位列第一。

其余供应商报告的数据集在形态上是一致的。多语言平均 WER 在七种语言上为 4.62%，而 Qwen3-ASR-1.7B 为 6.49%。长音频平均 WER 为 10.98%，而 Parakeet-TDT-0.6B-v3 为 13.37%。风格控制默认得分为 7.56%，有指令时为 6.16%，而 Canary-Qwen 分别为 8.16% 和 8.36%。上下文提示使 ContextASR-Bench 从无上下文时的 3.33% 降至提供细粒度上下文时的 1.71%，并在提供本地上下文时将财报电话会议转写从 12.54% 降至 9.58%。

独立评测讲述了一个没那么好听的故事，而如果你本周要在不同模型之间做选择，这才是应该读的那份结果。在 Artificial Analysis 的非流式词错误率指数上（于 10 月 29 日核查），Nemotron 3.5 Transcribe 显示为 2.8%。同一视图下，Voxtral Small Transcribe 3 为 2.1%，MAI-Transcribe-2 为 2.0%，而 Gemini 3.5 Transcribe 为 2.6%。NVIDIA 的“在开放权重模型中并列第一”这一说法，相对于它点名的那款特定模型——Voxtral Small——是站得住脚的；同一指数也显示 Voxtral Small 为 2.8%，而 NVIDIA 将其描述为 24B 模型，对比本模型约 4B 的活跃参数。但在本模型发布之前，排行榜已经越过了这一对比组合。更新的 Mistral 同门模型 Voxtral Small Transcribe 3，在同一视图下错误率低约四分之一。这并不会使说话人分离结果出错，因为 Voxtral 并不是在单遍处理中完成说话人归属。但这确实意味着，正确的说法应是“在说话人归属性 ASR 上最佳的开放权重模型”，而不是“最佳开放权重转录器”。

按语言划分的尾部环节正是部署容易出问题的地方。

覆盖范围与性能均等是两种不同的主张，而 NVIDIA 的模型卡公布了足够多的逐语言细节，足以看出二者之间的差距。语言矩阵有 41 行；挪威语出现在其中，但没有任务勾选标记，因此实际为 ASR 标记的语言为 40 种。在 FLEURS 上，错误率从 1.41% 到 63.76%，而 63.76 正是挪威语。意大利语达到 1.41，西班牙语 2.20，德语 2.73，法语 3.16，英语 3.35，阿拉伯语 6.35，印地语 7.47；日语为 4.42 CER，韩语为 2.78 CER，中文为 8.62 CER。在多语言排行榜的各语言均值上，印地语为 9.15 OIWER，而荷兰语为 5.96，德语为 2.81。

卡片声称覆盖全部40种语言的语码转换同样参差不齐：ASCEND 普通话-英语的混合错误率达到18.74%，MUCS 印地语-英语为19.28%，MUCS 孟加拉语-英语为35.46%，Monsoon Hindi 的 OIWER 为9.40%。翻译质量也跨度很大——FLEURS 到英语的 BLEU 从6.40到44.33，英语到 FLEURS 从8.70到42.65，CoVoST2 到英语从6.95到54.46。在 HALAS 集上的鲁棒性为31.50% WER，这个数字应当让任何基于带口音或嘈杂现场录音的计划更加审慎。

实际解读是，“40 种语言”只是一个覆盖范围声明，你可以据此规划容量，但它不是质量声明，不能据此规划产品。在正式采用前，请用自己几百条音频片段测试你关心的特定语言和特定录音条件。模型卡自带的微调案例研究就是一个模板：在一个印度医疗语音基准上，开箱即用的错误率为 30.8%，在提示中注明英语和拉丁字母书写系统后降至 23.8%，再基于约 245 小时数据做适配后降至 11.8%——错误减少约 62%，而在一台 GB300 上只消耗了 14 个 GPU 小时。留出集说话人从 22.44% 降至 12.17%，相对降低 45.8%；而 LibriSpeech test-clean 从 1.54% 下滑至 1.69%，这正是窄域适配的常见迹象。

运行成本是多少，以及路由适合放在哪里

NVIDIA 尚未公布该模型的价格。研究页面和模型卡上都没有每分钟费率，权重在 OpenMDW-1.1 下免费，发布时的托管访问通过 NVIDIA 自己的 NIM 端点以及若干自行定价的第三方平台提供。因此，成本问题实际上是一个 GPU 问题，而与之相关的数据异常完整。

在一台 RTX PRO 6000 Blackwell 服务器版上，采用 DFlash2 草稿的 NVFP4 构建每秒可处理多达 2,238 秒音频——30 秒的录音 0.13 秒即可返回——这意味着 100 小时音频可在三分钟内处理完。这是经过优化的 NIM 路径，而 NVIDIA 表示开放 vLLM 集成大约要慢一倍。在 H100 上以 BF16 运行时，该卡的 RTFx 数据为：双 token 推测下 410，八 token 下 270，DFlash2 在 K=7 时为 340，K=15 时为 260。在该区间的上限，一个 H100 小时可覆盖约 410 小时音频，因此一千小时的转录大约需要两个半 GPU 小时的计算量。这是否优于按分钟计费的托管价格，完全取决于你把显卡的利用率维持在什么水平：如果每月只有几百小时，闲置的 80GB GPU 反而是更昂贵的选择，只有当队列持续满载时，这笔账才会反过来。

以这类模型的标准来看，适配成本很低。NVIDIA 报告称，对于新语言、新领域或新输出风格，在单个 GPU 上每个任务需要 0.5 到 2.3 GPU 小时，并已在 17 项任务上进行了评估；其中语言模型使用 LoRA，编码器和投影层进行训练。这个数字足够小，因此领域适配应被视为部署的一部分，而不是一个研究项目——上述医疗案例端到端为 14 GPU 小时。

有一条对后续内容很重要的架构说明：此模型输出文本，而转录之后的摘要、实体抽取和合规标注都属于常规的 LLM 工作。下游阶段正是 OrcaRouter 覆盖的部分——一个 API 支持 200+ 模型，按提供商目录价零加价，当提供商在流程中途性能下降时自动故障转移，以及一个路由 DSL，可将长转录文本和短片段发送到不同模型，而无需每次都再做一次集成。我们不托管 Nemotron 3.5 Transcribe；它是一个语音模型，您可在自己的硬件上或通过 NVIDIA 的端点运行。路由层从转录结束的地方开始。

两个模型同名，而只有一个才是这一个。

过去一天里关于此次发布所写的内容中，有很大一部分讲的是另一个检查点。NVIDIA 还发布了 nemotron-3.5-asr-streaming-0.6b，这是一个小型流式 ASR 检查点，专为面向设备端和 CPU 的运行时构建，其量化版本小到足以打包进应用程序内。它不是这个模型，不进行说话人归属，其速度和准确率数据也不能套用。30B-A4B 语音大语言模型是 10 月 28 日宣布的那一个；0.6B 流式模型是能在笔记本电脑上运行的那一个。如果你正在阅读的对比在 40 种语言的说法之外还引用了亚秒级延迟或 1GB 下载，那它把这两个模型混为一谈了。

谁应该现在行动，谁应该等待

如果你要处理英语或另外十二种说话人分离语言之一的录制会议、通话或访谈，文件时长不足一小时，并且已经具备 80GB 级别的 GPU 算力或愿意付费使用托管端点，那就立即行动。如果你目前维护的是双模型级联，这一方案最有说服力：只需一个检查点、一次推理，就包含说话人标签和词级时间戳，且许可证允许商业使用。在停用 pyannote 之前，请用你自己的音频进行评估——上文给出的远场和带口音音频数据最可能让你失望。

如果你需要实时流式处理，也要再等等，因为它没有流式路径；如果你的语言处于 FLEURS 范围的长尾部分；如果录音时长超过一小时；或者如果你没有 GPU，也不愿意承担按分钟计费的托管账单。如果你的技术栈已经采用较新的转写器，而该转写器在 Artificial Analysis 上显示的错误率更低，并且不需要说话人分离，那也要再等等——单遍说话人归属是迁移的理由，而且是唯一的理由。

值得关注的那些未决问题是范围狭窄且可核验的。独立的全精度评测依然稀少；来自运行社区 4-bit 量化版本的人们的早期报告描述了常见的速度变慢和精度损失，而这更多说明的是量化方案本身的问题，而不是模型的问题。SGLang-Omni 需要先达到功能对等，非 vLLM 路径才算得上是真正的替代方案。而十三种说话人分离语言是最有可能率先发生变化的那项数字，因为架构层面的主张正是集中体现在那里。