Nemotron 3.5 Transcribe vs Whisper Large v3 Turbo：WER 1ポイントのために40倍のフットプリント

文字起こしの仕事が3分のモノラルインタビュークリップのフォルダーで、手元のマシンが24GBのワークステーションカードなら、Nemotron 3.5 TranscribeとWhisper Large v3 Turboの比較は、精度の話に入る前から結論が出ている。NVIDIAの新しいモデルは、80GBのアクセラレータ上で検証された340億パラメータの音声システムだ。OpenAIのturbo版は、int8の重みで0.8GBに収まり、CPUで動く8億900万パラメータのモデルだ。今週この2つが比較されているのは、エラー率が互いに約1ポイント以内に収まったためであり、それはこの組み合わせについて最も役に立たない事実だ。

Nemotron 3.5 Transcribeは2026-10-28に、商用利用を認めるOpenMDW-1.1ライセンスの下でオープンウェイトとしてリリースされた。Whisper Large v3 Turboは2024-10-01のものでMITライセンスであり、ニュースではない。あらゆる新しい音声モデルが比較対象とするベースラインなのだ。この記事が答える問いは、どちらがより高いスコアを出すか——両ベンダーはそう読んでほしいだろう——ではなく、手元の音声で実際に動かせるのはどちらか、どのくらいのコストで動かせるかである。

各モデルの正体

アーキテクチャの違いは世代のギャップではありません。それはカテゴリーの違いであり、下流のほぼすべてのトレードオフを説明するものです。

• アーキテクチャ — 音声エンコーダーと凍結済みの99M話者分離エンコーダーを組み込んだ、ハイブリッドなMamba–Transformer Mixture-of-Experts LLM。総パラメータは約34Bで、トークンあたり4.3Bがアクティブ。一方、large-v3から蒸留したエンコーダー–デコーダーでは、デコーダーが32層から4層に削減されている。

• オーディオウィンドウ — 最長1時間の録音は単一パスで処理されるのに対し、固定の30秒ウィンドウでは、それより長いものはチャンク化されたロングフォームデコーディングで処理されます。

• スピーカーラベル — 出力に組み込み済み、最大8話者、13言語対応。一方、全くない場合もあります。Whisper の語彙には話者トークンがないため、別途ダイアライザーが必須です。

• 単語レベルのタイミング — 軽量なCTCアダプターが完成した文字起こしを音声に整列させます。これに対し、セグメントレベルのタイムスタンプトークンのみの場合、単語のタイミングには強制アラインメントが必要です。

• 言語カバレッジ — 文字起こし対応40言語、英語との相互翻訳対応31言語、話者識別対応13言語。これに対し、文字起こしのみで翻訳なしは99言語。

• ディスク上の重み — OpenMDW-1.1 では BF16 で約68GB、一方 MIT では fp16 で1.6GB、int8 で0.81GB。

精度の数値は一致しない。それこそが要点なのだ。

Artificial Analysis は、両モデルが同じ尺度で掲載される唯一の公開インデックスを運営しており、その数値は互いに食い違っているため、注意深く読む価値がある。リーダーボードの表では、Whisper Large v3 Turbo はある高速推論エンドポイントで 4.6% AA-WER、別のエンドポイントで 5.5% と記載されている。Nemotron 3.5 Transcribe はホスト型エンドポイントで 3.4% と記載されている。NVIDIA 自身の発表では 2.80% AA-WER とされ、オープンウェイトモデルの中で首位タイとなっている。また、同じリーダーボードの説明文セクションでは 2.8% が繰り返されている一方、その表では 3.4% となっている — これは、ベンダー同士の比較を始める前から、単一ページ内に存在する食い違いである。

表をそのまま受け取れば、Nemotron 3.5 Transcribe の方がおよそ1.2ポイント優れている。ところが、Whisper Large v3 Turbo 自身の2つのエントリは、同一モデルでありながら0.9ポイント異なっていることに注目してほしい。これら2システム間の見かけ上の差の大半は、エンドポイント設定——バッチ処理、デコード設定、音声の前処理——によるものであって、アーキテクチャではない。単一のWER差を結論として持ち出す人は、ホストを変えるだけでほぼ同じ幅で動いてしまう数値を引用しているにすぎない。

Open ASR Leaderboard は、より大げさに聞こえる話を示している。そこでは Whisper Large v3 Turbo の英語ショートフォーム平均が約7.8%となっている一方、NVIDIA は研究ページで9つのテストセットにわたる自社モデルの4.71%を報告し、付随する Hugging Face の投稿では英語WER平均5.33%を報告している。これらは異なる正規化を伴う異なるテスト構成であり、したがって3ポイントの差はせいぜい方向性を示すにすぎない。より重要なのは、存在しないものだ。Whisper Large v3 Turbo に対するベンダー同士の直接比較は存在しない。NVIDIA は自社モデルを、カスケード型ダイアライゼーションシステムや他のオープンウェイト音声モデルと比較しており、今日多くのチームが実行している turbo チェックポイントとは比較していない。出回っているあらゆる「Whisper を上回る」数値は、当社のものも含め、ベンチマークをまたいだ推論である。

Whisperには埋められない能力ギャップ

プロンプト駆動型の出力はさておき、実質的な違いは、Nemotron 3.5 Transcribe が1パスで話者属性付きの文字起こしを生成することです。話者タグは、音声特徴量に融合された固定済みの話者分離エンコーダから得られ、応答にはタグ付き文字起こしと並んで生の話者セグメントが含まれ、モデルはそれらを <spk:0> から <spk:7> としてラベル付けします。2人によるポッドキャストでは、これは利便性にすぎません。60分の懲戒聴聞、診察、または多者間の営業通話では、これこそが製品そのものです。

Whisper Large v3 Turbo は話者をまったく表現できません。学習用の文字起こしには話者ラベルが一切付されておらず、入力は16kHzモノラルにダウンミックスされるため、かろうじて残り得た唯一の物理的手がかりも破壊されます。ラベルの生成を求めても、それらしく見えるだけで音声に根拠のないテキストが返ってきます。標準的な回避策はWhisperXです。単語のタイミング用の強制アラインメントと、別途ホストされる話者分離モデルを組み合わせ、セグメント境界で結合します。これは動作し、広く導入されていますが、3つの可動要素から成る構成であり、Nemotron 3.5 Transcribe はそれを1つで実現します。

同じ構造上の利点は長い音声にも当てはまります。1時間を単一パスで処理する方が、30秒のウィンドウをつなぎ合わせるよりも優れています。しかも、ウィングルのつなぎ合わせには既知の失敗モードがあります。タイムスタンプトークンなしでデコードすると、ほぼすべての境界で単語が抜け落ちます。計測されたある20分の講演では、その方法で単語の約3%が失われました。Nemotron 3.5 TranscribeのCTCアダプターは、まさにこの種のエラーを避けるために存在しています。ただし、単語のタイムスタンプは当初のvLLMサポートには含まれていなかった点に注意してください。

NVIDIAが想定用途として開発したタスクにおいて、同社が報告した数値は強力だが、ベンダー自身による報告である。David AIの話者ダイアリゼーション基準では21言語でDER 18.26%とされ、14システム中最高と説明されている。VoiceArenaではcpWER 32.4%で、これも14システム中最高だ。プロンプトで与えられる文脈付きエンティティリストにより、ContextASR-Benchでは固有表現エラーが6分の1に減ったとされている。これらはいずれもまだ独立した再現がなく、すべては公開からわずか1日のモデルに関する主張にすぎない。

Whisper Large v3 Turbo が依然として圧勝する場面

言語対応の広さが最初の答えであり、それは聞こえほど退屈ではない。Whisper Large v3 Turboは99言語をカバーする。Nemotron 3.5 Transcribeは文字起こしで40言語、翻訳で31言語、話者特定で13言語をカバーする。キューにカザフ語、タミル語、スワヒリ語、ウェールズ語が含まれていれば、比較はそこで終わる。turboモデルはそれらを文字起こしするが、より新しくより大きなモデルは対応を主張していない。

2つ目の答えはデプロイの摩擦です。Whisper Large v3 Turbo は whisper.cpp、faster-whisper、MLX 上で、CPU で、ノートPCで、Jetson で動作します。Nemotron 3.5 Transcribe は vLLM 0.32.0 と NeMo Speech プラグイン、または SGLang-Omni 0.2.0 を必要とし、BF16 の 80GB H100、FP8 の L40S、NVFP4 の RTX 5090 のいずれかで動かす必要があります。これらは比較できる運用上の負担ではありません。

3つ目は、turboの料金が公表された、至ってシンプルな時間単位の料金であることです。ホステッドエンドポイントは音声1時間あたり約0.04ドルで、最低10秒から課金され、高速なエンドポイントではリアルタイムの約250倍で動作します。音声1,000時間のコストは約40ドルです。Nemotron 3.5 Transcribeは、フルチェックポイントの定価を公表しておらず、それを提供するホステッドエンドポイントも分単位の料金を公表していません。

ベンチマークしているのはどの{{1}}Nemotron 3.5{{/1}}か確認してください

今週の報道で最もよくある誤りは、間違ったモデルを比較していることです。公開されている「Nemotron 3.5」の比較の多くは、実際には nvidia/nemotron-3.5-asr-streaming-0.6b を評価しています。これは以前のリリースに含まれる0.6Bのキャッシュ対応ストリーミングモデルで、独自の数値と独自の弱点を持っています。表に80ms〜1120msのチャンクへの言及がある場合、それは Nemotron 3.5 Transcribe をテストしていません。これが重要なのは、そのストリーミングモデルが実世界の比較で素の精度において Whisper Large v3 Turbo に敗れ（ある多言語リーダーボードでは3.35%対2.55%）、単語アラインメントでは大きく敗れる一方、ここで議論しているモデルは別の非ストリーミングの34Bシステムだからです。

第二の罠はサービングです。簡単な道である SGLang-Omni 0.2.0 では、NeMo なしで動作するエンドポイントが得られますが、タイムスタンプ、話者ラベル、翻訳はありません。完全な道である vLLM 0.32.0 と NeMo Speech プラグインの組み合わせでは、その3つすべてが得られますが、単語レベルのタイムスタンプは最初の PR ではなく後続で提供されました。したがって、「Nemotron 3.5 Transcribe」と呼ばれる3つのデプロイレシピは、3つの異なる製品のように振る舞う可能性があります。話者帰属が乗り換えの理由であるなら、エンジニアリング時間を投じる前にその道を検証してください。

運営にかかるコスト、正直なところ

ホステッド環境での比較はほぼ自明です。Whisper Large v3 Turbo は音声1時間あたり約0.04ドル、つまり1000時間あたり約40ドルで、所有するハードウェアはありません。Nemotron 3.5 Transcribe はまだそのようには販売されていないため、導入を望むチームが見積もるのは請求額ではなくGPUの価格です。

NVIDIA自身が主張するスループットは計算上の下限値だ。RTX PRO 6000 Blackwell上でDFlash2ドラフターを用いたNVFP4により、GPU時間1秒あたり音声2,238秒、これは約3分弱で約100時間分の音声に相当する。オンデマンドでGPU1時間あたり約2ドルとすると、音声1時間あたりのコストは1セントを大きく下回る計算になる――ただしこれはフルバッチ処理時の話であり、実際の本番キューはそうは振る舞わない。これはハードウェアが達成し得る上限として捉えるべきで、実際に到達するレートではない。

つまり、実質的な比較は Whisper Large v3 Turbo 対 Nemotron 3.5 Transcribe ではない。Nemotron 3.5 Transcribe 対 Whisper Large v3 Turbo に、話者分離モデル、強制アライナ、セグメント統合コード、そしてそれらをつなぎ合わせるために必要な言語ごとのチューニングを加えたものだ。すでに本番環境で WhisperX を運用していれば、そのコストの大部分は支払い済みであり、乗り換える根拠は WER の差が示すほど強くない。まだ構築していなければ、30Bモデルは、本来なら人員を割く必要があるパイプラインとの競争になる。

移行中に両方を同時に運用している人への実用的な注意点：2つの文字起こしバックエンドを単一のOpenAI互換エンドポイントの背後に置いておけば、切り替えは2つ目のベンダー契約ではなく設定変更で済みます。OrcaRouterはまさにそのレイヤーを提供するために存在します——ルーティング先のプロバイダー全体で1つのキーと1つのエンドポイントを使い、プロバイダーのリスト価格を0%のマークアップでそのまま渡し、それらの間で自動フェイルオーバーを行います。どのモデルが優れているかは変わりません。変わるのは、それを見極めるのにいくらかかるか、そして判断を誤った場合にいくらかかるかです。

誰がどれを選ぶべきか

• 複数の話者と監査証跡を伴う会議、法務、臨床、コンタクトセンターの録音 — Nemotron 3.5 Transcribe。話者帰属と単語のタイミングを1回の処理で取得できることは、本来なら自ら組み立てる必要がある機能であり、1時間の処理ウィンドウによってチャンク分割ロジックが完全に不要になります。

• 大量のモノラル音声、幅広い言語カバレッジ、ラップトップまたはCPUでのデプロイ、予測可能な時間単位の課金 — Whisper Large v3 Turbo。809Mパラメータ、1時間0.04ドルで、実際のトラフィックの非常に大きな割合にとって最も安価で正しい選択肢であり、2年にわたる実戦検証済みです。

• 混合ワークロード — すべてに対してturboを実行し、話者、専門用語リスト、翻訳が必要な音声だけをより大きなモデルにルーティングします。選択ルールはモデルの威信ではなく、音声の特性です。つまり、話者数、ドメイン用語集の有無、録音の長さです。

移行する前に問うべき価値のある質問

Nemotron 3.5 Transcribe は単一の 24GB GPU で実行できますか？

余裕をもって動作するわけではありません。NVIDIA は BF16 を 80GB の H100 で、FP8 を L40S で、NVFP4 チェックポイントを 32GB カードである RTX 5090 で検証済みです。24GB のデバイスは検証済みのどの構成よりも小容量であり、さらにオーディオタワーはすべてのテンソル並列ランクにコピーされるため、マルチ GPU シャーディングでも小型の単一カードを救済できません。

Whisper Large v3 Turboは話者ラベルや翻訳に対応していますか？

どちらでもありません。turbo バリアントは文字起こしのみで学習されているため、翻訳タスクを渡すと使用不能な出力になります — 翻訳には完全な large-v3 チェックポイントが必要です。話者ラベルには pyannote などの別のダイアライザーが必要で、その発話ターンを Whisper の粗いセグメントタイムスタンプに結合するのが、パイプラインの中で正確に仕上げるのに最も時間がかかる部分です。

パラメータのギャップはレイテンシとして現れますか？

音声1分あたりではありません。違います。Whisper Large v3 Turbo は、高速なホスト型エンドポイント上で30秒のウィンドウを1秒よりはるかに短い時間で返します。また、Nemotron 3.5 Transcribe は、NVIDIA が GPU 秒あたり数千音声秒と説明するスループットで、1時間のファイルを1回のパスで処理します。目に見える違いは別のところにあります。turbo にはストリーミングモードがなく、Nemotron 3.5 Transcribe にもありません。そのため、ライブキャプションは両者とも対象外です。

英語以外の音声にはどちらが適していますか？

どちらの回答も安全ではない。Whisper Large v3 Turbo は99言語をカバーするが、その品質は言語によって大きく異なり、Nemotron 3.5 Transcribe は40言語をカバーし、ベンダー報告の多言語結果と適応用レシピを提供している。NVIDIA は、1台の GPU で数時間ファインチューニングした後、ホールドアウトの医療ドメインで WER が22.44%から12.17%に改善したと報告している。独立した多言語の直接比較はまだ存在しないため、英語以外の言語については、自分の音声でブラインドテストを行うことが責任ある対応だ。

何がこの評決を変えるでしょうか

likelihoodの高い順に3つ。vLLMの文字起こしAPIに単語レベルのタイムスタンプが入れば、完全なサービング経路がデフォルトになり、3つのデプロイ構成の間の差は縮まる。量子化済みチェックポイントが広く出荷されれば、ハードウェアの下限は80GBのカードからコンシューマー向けデバイスへと下がる。そして、Whisper Large v3 Turboに対する真に独立した多言語の直接比較が実現すれば、推論は計測に置き換わる。

それらのどれかが登場するまでは、この判断はWER 0.1ポイント未満の差で決まるような話ではない。これはあなたの音声次第だ。音声に複数の声が含まれ、どの声が何を言ったかを知る必要があるなら、Nemotron 3.5 Transcribeは、背後にパイプラインを必要とせず、1回の処理でそれを実現する最初のオープンモデルだ。そうでなければ、1年前にリリースされた809Mモデルが、1000時間あたり40ドルで今もその役割を果たす。そして34Bモデルは、ホストを変えると変わる数値のために買うには、あまりに大規模なハードウェアだ。