Nemotron 3.5 Transcribe 与 NVIDIA Parakeet TDT 0.6B 对比的标题卡,将 626,000+ 次下载和 RTFx 3,333 与八位具名说话人及 RTFx 462 进行对照。
Guides & Insights

Nemotron 3.5 Transcribe 对决 NVIDIA Parakeet TDT 0.6B:下载量达 626,000 次的现任王者迎来其替代者

作者

Gideon Frost

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

Hugging Face 上超过 626,000 次下载都属于NVIDIA Parakeet TDT 0.6B,这个拥有 6 亿参数的 transducer 自 2025 年 8 月问世以来,一直是默认的自托管英语识别器。这些下载中几乎没有人单独运行它:标准部署方式是让 Parakeet 负责文字,用单独的说话人分离器负责说话人,再通过一个合并步骤在片段边界处将两路输出拼接起来。Nemotron 3.5 Transcribe于 2026 年 10 月 28 日以开放权重形式发布,是 NVIDIA 为消除这一中间层而提出的方案——一个 checkpoint 即可在四十种语言中完成转录、分离最多八位说话人并为其打时间戳,无需级联。但它的每 GPU 秒处理速度也慢 43 倍,磁盘占用则大约大 25 倍,而这正是公告没有率先提及的部分。

这场对决有意思的地方在于,两个模型都来自同一家公司。这不是外部挑战者前来取代在位者,而是 NVIDIA 在向你推销第二个、重得多的产品,去完成其第一款产品从未被设计承担的那一半工作。

两种架构,两套关于工作的理论

Parakeet TDT 0.6B v3 是一个 FastConformer 编码器,后接一个令牌与时长联合预测的 transducer 解码器。TDT 模型在每一步同时预测一个令牌和一个时长,这使它能够跳过帧、运行速度远超实时;这正是它快的原因。它覆盖 25 种欧洲语言并支持自动语言检测,原生支持词级时间戳,并以 CC-BY-4.0 许可发布——这几乎是最不受约束的许可证了。它完全不具备任何说话人表征——不是弱,而是根本没有。

Nemotron 3.5 Transcribe 是一个语音增强型语言模型:它包含一个语音编码器、一个冻结的 Nemotron 3 Diarization 模型,该模型通过 Parallel Expert Encoder 注入说话人活动特征,以及一个混合 Mamba–Transformer 专家混合解码器,其 300 亿参数中每个 token 大约有 40 亿参数处于激活状态。它不对帧进行分类。它生成文本,因此可以告诉它如何生成文本。

• 参数——总计约 300 亿,每个 token 约 40 亿激活,而对比之下为 6 亿。

• 解码——自回归生成与词元-时长转换器(Token-and-Duration Transducer,非自回归)的对比。

• 许可证 — OpenMDW-1.1 对比 CC-BY-4.0。

• 语言 — 40 种可转录,31 种可与英语互译,另有 25 种欧洲语言支持自动检测。

• 说话人 — 最多 8 人,可区分归属,支持 13 种语言,而对方无此功能。

• 时间戳 — 解码后的 CTC 对齐,带说话人归属的时序与原生词级时序对比。

• 吞吐量 — 在 Open ASR Leaderboard 上,RTFx 为 462,对比之下为 RTFx 3,333。

• 音频长度与流式处理——每个文件 1 小时,仅录制 vs 录制,另有一个 0.6B 的流式同级模型单独处理实时音频。

Comparison scoreboard for Nemotron 3.5 Transcribe and NVIDIA Parakeet TDT 0.6B across throughput, English WER, speakers, languages, timestamps and licence, with RTFx 462 against 3,333 and eight attributed speakers against none.

准确率数字会因主办方不同而有所变化

在 Hugging Face Open ASR Leaderboard 的英语短语音平均成绩中,Parakeet TDT 0.6B v3 为 6.34%,Nemotron 3.5 Transcribe 为 5.33%。在同一个公开榜单上,这是 1 个百分点的差距;相比本系列中的大多数对比,这一对比更值得尊重——相同的测试框架、相同的测试集,而且都是两家厂商各自提交的结果。但这仍然不是全部真相,因为这两个条目的评分时间不同,而且该榜单的均值主要由干净的朗读语音主导。

Artificial Analysis 讲述了一个截然不同的情况,值得理解其中原因。在该榜单上,Parakeet 条目位于 4.5%,远高于其 Open ASR 平均值所预示的位置,而 Nemotron 3.5 Transcribe 位于 3.4%。4.5% 属于托管端点的配置,而不是你自己硬件上的检查点,并且部署方的批处理和解码选择会让这个数字变动近一个百分点。将托管的 Parakeet 分数与自托管的分数进行比较,是本周报道中最常见的一个错误,而且反过来也一样:NVIDIA 对 Nemotron 的 2.8% 发布声明是提交数据,而榜单当前的 3.4% 才是实测值。

在 Perit 的英语测试集上,Parakeet TDT 0.6B v3 的 WER 为 2.13%,在 22 个模型中排名第 14,54% 的音频片段被完美转写。GPT Transcribe 和 MAI Transcribe 2 的 WER 为 1.76%,分别排名第六和第七。Nemotron 3.5 Transcribe 的 30B 检查点根本不在该榜单上;榜上的 nemotron-3.5-asr-streaming-0.6b 模型 WER 为 3.35%,排名第 21——这是用于不同任务的另一款模型,却常被误认为本文所讨论的那一款。

Screenshot of the Artificial Analysis non-streaming speech leaderboard showing Nemotron 3.5 Transcribe at 3.4% AA-WER and a hosted Parakeet TDT 0.6B v3 endpoint at 4.5%.

替换操作实际删除的内容

Parakeet 用户目前运行的级联系统包含三个部分,也存在三种失效模式。识别器生成带词级时间戳的文本。说话人分离器生成说话人轮次。合并步骤将说话人轮次分配给单词,而它依赖的重叠启发式规则恰恰在关键之处出错——也就是两人同时说话的时候。NVIDIA 自己公布的、针对单模型替代方案的数据正直接针对这一失效:在 David AI 基准上覆盖 21 种语言,说话人分离错误率为 18.26%,在 14 个系统中最佳;在 VoiceArena 上,拼接最小排列 WER 为 32.4%,在 14 个系统中最佳,第二名是 Multitalker Parakeet 加 Nemotron 3 Diarization 级联方案,为 34.2%;在重叠英语语音上,参考词被丢弃的比例为 8.32%,而中位数约为 31%。

这些是厂商在其自家测试框架上给出的数据,尚未被独立复现。但请注意第二名是什么:NVIDIA 自己的级联系统,它由本次对比标题中的模型构建而成。该公司公布了一项基准测试,其中它的新产品击败了它的旧产品加一个说话人分离器。这是异常直接的证据,而且这也正是厂商最有条件产出、却在结果相反时最不可能公布的证据。

替代方案删除的第二项功能是语言处理。Parakeet 覆盖 25 种欧洲语言;Nemotron 覆盖 40 种语言用于转录,31 种用于与英语互译,并在 13 种语言中提供说话人归属。如果你的队列止步于欧盟,这种差异只是学术上的。如果其中包括阿拉伯语、普通话、印地语或日语,Parakeet 从来就不是一个选项,比较对象就完全是 Nemotron 和别的东西了。

更换它需要花费你多少钱

先说吞吐量。Parakeet 的 3,333 RTFx 对 Nemotron 的 462,在同一套排行榜测试框架上是 7.2 倍的差距——比参数比例所暗示的差距要小,因为 MoE 每个 token 只激活其 300 亿权重中的约 40 亿,但这仍是实打实的差距。NVIDIA 更响亮的说法是,在单块 RTX PRO 6000 Blackwell 上每秒可处理多达 2,238 秒音频,这一数字假定使用 NVFP4 检查点外加一个 DFlash2 草稿模型,并且是在高并发下用 30 秒片段测得的。两个数字都没错;它们衡量的是不同配置,而依据较大那个数字制定的容量规划,会让你在长达一小时的会议上大失所望。

Screenshot of the Hugging Face model card for NVIDIA Parakeet TDT 0.6B v3, showing 0.6B parameters, 25 European languages, the CC-BY-4.0 licence and 586,216 downloads in the last month.

其次是占用空间。Parakeet TDT 0.6B 只需几 GB 就能装下,在中端 GPU 上运行游刃有余,其量化版本还能跑在 CPU 上。而 Nemotron 3.5 Transcribe 在 BF16 下高达数十 GB,需要搭配 NeMo Speech 插件的 vLLM,或 SGLang-Omni,并且要跑在数据中心级加速卡上。在任何情况下,30B 模型都不可能在同一套硬件上取代 0.6B 模型。

成熟度,第三。Parakeet 已有一年的部署经验、论坛上的上千条解答,以及在 NeMo、Transformers 和 C++ 运行时中可用的工具链。Nemotron 3.5 Transcribe 才只有一天。其 GGUF 和 NeMo-Speech.cpp 支持被描述为“即将推出”;其量化本地构建版本尚未发布。如果你的流水线需要的是平淡稳妥,那这是再等一个季度的理由,而不是拒绝该模型的理由。

在现任者仍能彻底获胜的地方

首先,任何交互式场景都算一个。Parakeet 的 transducer 解码会在音频到达时返回单词,其原生时间戳是解码器本身的属性,而不是事后对齐步骤。Nemotron 3.5 Transcribe 明确是为录制音频构建的——NVIDIA 自己在 Hugging Face 的帖子就是这么说的——并且有一个单独的 0.6B 流式模型用于实时会话。如果你的产品是实时字幕,那么这个标题中的两个模型都不是正确答案;流式兄弟模型才是,而那是另一种比较。

任何小规模的本地部署,只服务两个人。一家诊所只有一块工作站显卡,一家律所只有一份档案加一名合规官,一个研究组只有一笔单卡 GPU 的经费:0.6B 的 Parakeet 是能真正落地的部署,30B 的 Nemotron 则不是。在干净英文上大约一个百分点的准确率差距,并不值得为此多付那些硬件成本。

任何仅限英语、无需说话人要求的情况,三个都是。而这正是大多数转录工作。老实说,总结起来就是:Parakeet 的 626,000 次下载中,大多数都用于升级并不会改善的任务。

当流水线有一半由自有硬件构成时,如何保持其持续运行

自托管识别器会引入托管 API 所不具备的一种故障模式:你的显卡、你的驱动、你的维护窗口。这正是要把流水线的另一半——将转写文本转化为结构化记录的摘要器、分类器、提取器——放在内置冗余的端点上的理由。OrcaRouter 通过一个密钥运行 200 多个文本和多模态模型,并自动故障转移:当上游降级时跨提供商切换,提供商标价以 0% 加价透传,还有一套路由 DSL,让你无需重复集成就能把会议纪要和通话记录导向不同的模型。Nemotron 3.5 Transcribe 和 Parakeet TDT 0.6B 都不在该目录之中——我们不提供语音转文字服务——但读取它们输出的那一层,不必因为 GPU 出故障而失效。

升级决策

如果你的痛点正来自级联方案,那就把 Parakeet 换成 Nemotron 3.5 Transcribe:如果你需要维护一个说话人分离器和一个合并步骤,如果你的会议里有超过两个声音,如果你的音频不是欧洲语言,或者如果你的支持工单里出现了“重叠语音”这几个字。在这种情况下,30B 检查点不是奢侈品,而是去掉两个活动部件及其误差预算;吞吐量的代价就是吞吐量的代价——一张卡处理的音频量,仍然远超一个会议密集的团队所能产生的量。

如果你的音频是英语或欧洲语言,说话人身份已知或不重要,硬件是工作站,并且处理流程运行正常,就继续使用 Parakeet。新模型并不会淘汰旧模型;它覆盖的是旧模型从未设计应对的场景。并且要继续关注独立评测榜单,因为本文中所有在说话人分离方面支持 Nemotron 3.5 Transcribe 的数字都来自 NVIDIA 自己,目前尚未有第二方意见发布。