Nemotron 3.5 Transcribe 対 Granite Speech 5.0 470M TurboCTC：パラメータ数64倍、43倍遅い

この比較で最も役立つものは279メガバイトのファイルである。それはGranite Speech 5.0 470M TurboCTCのQ4_K_M量子化版、IBMのエンコーダ専用音声認識器であり、GPUも、名に値するPython環境も、サービス契約もないラップトップのCPU上で英語を文字起こしできる。Nemotron 3.5 Transcribe、NVIDIAが2026年10月28日にオープンウェイトとして公開したモデルは、300億パラメータの音声拡張言語モデルで、データセンター級のアクセラレータと約60ギガバイトのBF16重みを必要とする。NVIDIAのモデルは64倍大きく、各ベンダーが公開しているスループット値では、GPU秒あたり約43倍遅い。また、2つのうち話者が誰かを教えてくれる唯一のモデルでもある。

どちらの事実も決め手にはならない。それらは、たまたま同じリーダーボード上で測定された二つの異なるマシンについて述べているだけであり、問題はすべて、あなたのワークロードに必要なのが余裕なのか、それとも言葉だけなのかという点にある。

生成的音声LLMに対する非自己回帰CTCモデル

Granite Speech 5.0 470M TurboCTC は、16 個の Conformer ブロックと 16,384 要素の BPE 出力層を備え、CTC 目的関数で学習され、貪欲法でデコードされます。言語モデルもプロジェクターも生成ループもありません。音声を入力すると、100 Hz から 12.5 Hz にサブサンプリングされたフレーム同期のラベル列が出力されます。この設計のおかげで高速かつ小型ですが、その反面、ラベルセットがカバーしないことは一切できません。プロンプトの概念も、出力スタイルも、翻訳ターゲットも、話者フィールドも持ちません。

Nemotron 3.5 Transcribe は正反対のアーキテクチャであり、その違いは世代差ではありません。音声エンコーダーが凍結済みの Nemotron 3 Diarization モデルに供給し、その話者アクティビティ信号は Parallel Expert Encoder を通じてエンコーダーに注入されます。さらに、ハイブリッドな Mamba–Transformer の Mixture-of-Experts デコーダーが書き起こしをテキストとして生成し、全300億パラメータのうち約40億がトークンごとに有効になります。出力は分類ではなく生成されるため、指示を与えることができます。逐語形式または書記形式、期待エンティティリスト、翻訳先、話者属性付き出力、あるいは音声についての質問への音声回答などです。

• パラメータ — 合計約30B、トークンあたり約4Bがアクティブ（エンコーダのみは470M）。

• デコーディング — 30B MoE 上での自己回帰生成 対 貪欲な非自己回帰 CTC。

• ライセンス — OpenMDW-1.1 対 Apache-2.0（二者のうちより寛容な方。IBM の別個の -nc 姉妹ライセンスは CC-BY-NC-SA-4.0）。

• フットプリント — BF16では約60GBで、NVFP4およびGGUFビルドが提供されるのに対し、コミュニティ製GGUF移植版ではQ4_K_Mで279MB。

• 言語 — 2026年10月21日の多言語アップデート後、文字起こし対応40言語、翻訳対応31言語（英語、フランス語、ドイツ語、スペイン語、ポルトガル語、イタリア語、日本語の7言語に対して）

• 話者 — 最大8名、属性付き、13言語対応（なしの場合と比較）。話者ダイアリゼーションには別モデルが必要です。

• タイムスタンプ — デコード後CTCアダプタによる単語レベル vs なし；CTCのピーク位置は単語境界ではない。

• ストリーミング — なし、録音音声のみ 対 なし。

精度の差はサイズの差より小さく、平均値は一致しません。

IBMは多言語TurboCTCリリースについて、9つの公開英語テストセットで平均5.51%の単語誤り率を報告しており、8月のローンチ時の5.78%から改善している。NVIDIAは、Hugging Face Open ASR Leaderboardで平均英語WER 5.33%、自社の研究ページでは9つの公開テストセットで4.71%を報告している。どちらの数値もベンダー報告であり、また2つの平均は同じ構成の混合ではない。IBMの9セットとNVIDIAの8セットのリーダーボード登録では構成と正規化が異なり、研究ページの別途9セットの数値も、同社のリーダーボード登録とはさらに異なる。両者を引き算して、その差を品質ギャップと呼ぶべきではない。擁護できる主張はより限定的だ。公開英語短尺音声のリーダーボード上では、この2つは互いに0.2ポイント程度以内に収まっている。これは64倍小さいモデルにとって特筆すべき結果であり、リーダーボードの平均のどれだけがLibriSpeech的なクリーンな朗読音声で形作られているかについての警告でもある。

単語誤り率は、両者を実際に分けているものも隠してしまう。Graniteは分類器であり、最も可能性の高いラベル系列を出力し、音響的に曖昧なところではもっともらしい何かを出力する。Nemotronは背後に言語モデルを備えてテキストを生成する。だからこそ、その文脈プロンプティングの主張、つまりプロンプトにエンティティリストを入れるとContextASR-Benchで固有表現エラーが6分の1に減るという主張が可能になる。製品コード満載の営業通話の書き起こしでは、小型モデルにはそのバイアスをかける仕組みがなく、大型モデルにはある。

スループット：462に対して19,870 RTFx

Hugging FaceリーダーボードのNemotron 3.5 TranscribeのエントリはRTFx 462.09を記録している。これは、リーダーボードのハーネス上で、モデルが計算1秒あたり約462秒分の音声を処理することを意味する。IBMの10月のアップデートは、TurboCTCが単一のH200上で19,870 RTFxを達成したと報告している。これは、単一ブロックのグラフ再利用最適化を経て、提供開始時の約12,600から向上した値である。これは43倍の差であり、WERの数値とは異なり、少なくとも2つの異なるテストミックスではなく、2つの競合するアクセラレータ上で測定されている。

NVIDIA 自身の見出しは別種の数字だ。1台の RTX PRO 6000 Blackwell 上で、NVFP4 チェックポイントと DFlash2 ドラフトモデルを使い、毎秒最大 2,238 秒分の音声を処理する。これはリーダーボードの 462 より高いが、測定方法が異なるためだ。NVIDIA 自身の Hugging Face の投稿が述べているように、高並列度で 30 秒クリップを対象とし、投機的デコーディングを有効にし、まだ「今後提供予定」と説明されていた量子化を用いている。両方を合わせて読めば、正直な結論はこうだ。Nemotron のスループットは構成次第で桁違いに変わるが、TurboCTC のそれはアーキテクチャの特性である。自己回帰ループを持たないモデルは、30B MoE のように遅くなることはあり得ない。

4億7000万個のパラメータが、300億個にはできない何をもたらすのか

最初の答えはデプロイ形態です。279MBのGGUFは、CPU上で、スマートフォンに近いエッジデバイス上で、デスクトップアプリケーション内で、そして我慢強ければRaspberry Piクラスのボード上でも動作します。今ではコミュニティによるGGUF移植版や、モデルを一級のエンジンとして扱うC++ランタイム群も存在します。Nemotron 3.5 Transcribeは、NeMo Speechプラグインを用いたvLLM、あるいはSGLang-Omni上で、BF16の80GBアクセラレータまたはNVFP4のBlackwellカードで動作します。これらは同じスペクトラム上の2つの点ではなく、異なる調達カテゴリなのです。

第二はレイテンシの下限です。CTCモデルは1回のフォワードパスで書き起こしを返します。生成モデルは1トークンずつ返し、短いファイルでの実時間レイテンシは音声ではなくデコードループに支配されます。バッチ処理のアーカイブではこれは無関係です。インタラクティブな用途――音声入力ボックス、通話品質モニター、スクラブ操作に追随する必要がある字幕ツール――では、2つのうちユーザーが気づく前に処理を終えるのは小さいモデルだけです。

3点目はライセンスの明確さです。Apache-2.0 は法務部門がすでに承認済みのライセンスです。OpenMDW-1.1 は新しすぎるため、法務部門によってはレビューを求めるでしょう。もしあなたの障壁がベンチマークではなく調達フォームであれば、IBM のモデルのほうがそれを早くクリアします。

300億のパラメータが、4億7000万では得られない何をもたらすのか

話者については、まず決定的に述べる。TurboCTCには話者の表現が一切ない。話者属性付きの文字起こしを得るには、その前段にダイアリゼーションモデルを置き、マージ処理を挟み、マージ用の誤差バジェットを用意する必要がある——典型的なカスケードだ。Nemotron 3.5 Transcribeは凍結したダイアリゼーションモデルをエンコーダーに組み込み、最大8人分の話者ラベルを直接出力する。13言語に対応し、デコード後のCTCアダプターから話者属性付きの単語タイミングも得られる。NVIDIAが報告するダイアリゼーション誤り率は、David AIベンチマークの21言語で18.26%であり、14システム中最高。最も近い競合は自社のNemotron 3 Diarizationモデルの18.38%だ。これらはベンダー自身の評価ハーネス上で得たベンダー数値であり、独立に再現されていない。そこから示唆されるカスケード比較——1モデル対3モデル——は、ベンチマーク上の主張ではまったくなく、デプロイ形態の説明にすぎない。

言語と翻訳は二の次です。TurboCTCは10月のアップデート後、7言語に対応しています。Nemotronは文字起こしで40言語、英語への翻訳と英語からの翻訳で31言語に対応しています。キューがヨーロッパ向けで単一言語なら、7言語で十分です。そうでなければ、比較はそこで終わりです。

3つ目はファインチューニングです。NVIDIAは、単一GPUでの適応がタスクあたり0.5～2.3 GPU時間かかると報告しており、医療音声の例では、ファインチューニングによって3,619個のクリップで単語誤り率が30.8%から11.8%に低下し、ホールドアウト話者では22.44%から12.17%に改善しました。IBMのTurboCTCもファインチューニング可能です（Apache-2.0です）が、はるかに小さいモデル上でCTCヘッドをファインチューニングすることになり、追加のコンテキストで得られる効果の上限は低くなります。なぜなら、働きかけるべき言語モデルが存在しないからです。

それを決めるコストモデル

TurboCTCの経済性はほとんど退屈なほどです。19,870 RTFxを処理するH200 1台で非常に大規模なキューを飽和させ、市販CPU上の量子化された279MBビルドは音声1時間あたりほぼコストゼロで、電気代が主要な費目になります。スタックのどこにも分単位の課金メーターはありません。

Nemotronのコスト構造は、規模は違えど形は同じです。分単位の課金メーターはありませんが、アクセラレータははるかに大きく、スループットの上限ははるかに低くなります。1枚のBlackwellカードが毎秒2,238秒分の音声を処理する場合、高い並列度では100時間を3分未満でカバーでき、重なりのある1時間の会議ではさらに短時間で済みます。

• 月20時間分のキュー — CPU上のTurboCTCは実質無料。Nemotronには、月の大半をアイドル状態で過ごす、レンタルまたは所有のアクセラレーターが必要。

• 話者要件のない月間2,000時間のアーカイブなら、1台のGPUでTurboCTCを実行するか、小規模なCPU群を使う構成が、はるかに低コストかつ高速です。

• 月2,000時間分の6人会議アーカイブ — TurboCTC＋ダイアライザー＋マージ層を、1枚のカード上でNemotronと比較測定したもの。大規模モデルの価格が正当化できるのはこの構成だけであり、ここですらハードウェア面ではカスケードのほうが安い。

• 音声のアップロードを禁じる機密保持上の制約がある場合でも、どちらもセルフホスト可能なので、いずれにせよ制約は満たされ、判断は話者と言語に戻ります。

パイプラインの後処理側こそ、どの認識器を選んでもルーティング層がその価値を発揮する場所です。文字起こしは要約され、タグ付けされ、ルーティングされ、OrcaRouterは200以上のテキストおよびマルチモーダルモデルを1つのキーの背後に集約し、プロバイダーの定価を0%のマークアップでそのまま適用し、自動フェイルオーバー、そして2度目の統合なしにある種の文字起こしを安価な要約器へ、別の種別をより強力なモデルへ送り込めるルーティングDSLを備えています。Nemotron 3.5 TranscribeもGranite Speech 5.0 470M TurboCTCもそのカタログ上では提供されていません — 当社は音声認識をホストしていません — そのため音声認識の選択は別個の契約のままであり、その上の層だけがポータブルになります。

ランキングではなく、仕事の形で選べ。

「大量のクリーンで、ほぼ英語の音声を、できるだけ安く速くテキスト化する」ことが目的なら、Granite Speech 5.0 470M TurboCTC が勝ち、比較にならない。Apache ライセンスの 279MB モデルで、30B システムを40倍以上も上回り、公開英語平均ではほとんど何も失わない。話者向けに構築するカスケードはその効率の代償であり、話者が必要なかったなら、その代償を払うことは決してない。

もし求められる仕事が「難しい録音から、40言語のいずれかで、話者帰属・時間情報・構造を備えた1本の文字起こしを生成する」ことなら、Nemotron 3.5 Transcribe は2つのうちそれを試みる唯一のものであり、ベンダーのダイアライゼーション数値は—まだ独立に再現されてはいないが—それが置き換えるカスケードよりも優れていることを示唆している。スループットのコストは現実にあり、ハードウェアのコストも現実にあるが、会議中心のワークロードではどちらも妨げになるほどではない。

避けるべき誤りは、これを世代間の競争と捉えることだ。470MのCTCモデルは、30Bの音声LLMの旧式版ではない。主にクリーンな朗読音声で作られたベンチマーク上で、たまたま同程度のスコアを出す別の楽器なのだ。次のリリースが出ても、それが時代遅れになるわけではない。あなた自身の最悪の録音が、どちらが必要だったのかを教えてくれる。