Nemotron 3.5 Transcribe vs Nemotron 3.5 Transcribe 30B：2つの名前、1つのチェックポイント、4つのファイル

カタログ、比較サイト、または自社の調達シートに、Nemotron 3.5 Transcribe と Nemotron 3.5 Transcribe 30B が2つの項目として記載されている場合、それは同じモデルを2回掲載しているだけです。公開リポジトリは NVIDIA-Nemotron-3.5-Transcribe-30B-A4B であり、NVIDIAのカードでは合計を34Bパラメーター、アクティブ数を約4.3Bと記載しており、各見出しにある簡略名はサイズ表記を省いた同じ成果物です。比較対象となる別個の30Bモデルは存在しないため、これは正面比較というより、デプロイ判断が内包された命名上の問題です。

とはいえ、その判断は現実のものであり、それがこの2つの名前が並んで現れ続ける理由です。一方の名前は、あなたが検索するものであり、モデルカタログやAPIリストに表示され得るものです。もう一方は、あなたがダウンロードするもので、4つの精度のいずれか、4つのメモリフットプリントのいずれかで提供され、それらのファイル間の選択こそが、このモデルが実際にあなたに求める唯一の比較です。以下はその突き合わせです。30Bが何を数えているのか、なぜカードには34Bと書かれているのか、そしてローンチページが前提とするGPUではなく、あなたが持っているGPUにどのファイルが合うのか。

自分自身と矛盾する名前

2つの数字が流通しており、どちらも公式です。リポジトリ名は30B-A4Bで終わっており、これはNVIDIAがMixture-of-Experts系で用いる慣例に従っています。最初が総パラメータ数、次がアクティブパラメータ数です。同じページのモデルカードには、総パラメータ数34B、アクティブ約4.3Bと記載され、オーディオエンコーダーを明示的に含んでいます。研究ページでは、見出しに30B-A4Bという名称が、本文にアクティブ4.3Bという数値が繰り返されています。

このカードは構成要素も列挙しており、ここから算術が重要になってくる。言語バックボーンは Nemotron 3.5 Lightning 30B-A3B で、Mamba-2 と Transformer のハイブリッド MoE、アクティブパラメータは35億。統合音声エンコーダー——Transformer ASR エンコーダーと話者エンコーダー——は約8億。これらを合計すると約308億となり、340億ではない。「34B」が NVIDIA が個別に明示していない何かを数えているのか、それともリポジトリ名の「30B」が、実際には名前より大きいバックボーンに対する丸めたラベルなのかのどちらかだ。NVIDIA はその整合性の内訳を公表しておらず、完全なチェックポイントに対する第三者によるパラメータ監査もまだ存在しない。

購入者にとってそれが意味する範囲は、言葉の響きよりも狭い。システムが31Bか34Bかで、どのカードに搭載できるかは変わらない。ファイルサイズは、最後の30億パラメータよりも精度によってはるかに大きく左右されるからだ。ただし、「30B」と記載する仕様書も「34B」と記載する仕様書も同じダウンロード対象を説明しており、その違いに基づく調達比較は丸め表記の慣例を比較していることになる。

30Bの接尾辞が実際に数えているもの

接尾辞が表すのは、文字起こし器ではなく言語モデルだ。Nemotron 3.5 Transcribe は音声拡張型 LLM である。音声は Transformer エンコーダーを通り、凍結された Nemotron 3 Diarization モデルが NVIDIA の言う「並列エキスパートエンコーダー」を通じて話者表現を提供し、ハイブリッド MoE デコーダーが文字起こしを書き出す。30B というラベルはデコーダーとその埋め込みスタックに属する。音声経路（エンコーダー、ダイアライザー、CTC タイムスタンプヘッド）はその上に乗っており、名称が示唆するものではない。

だからこそ、このモデルは従来のASRシステムにはない形でLLMのように振る舞います。プロンプトを受け取り、音声についての質問に答え、同一パス内で英語との間の31の言語ペアを翻訳します。65,536トークンのコンテキストを保持するため、1時間の音声がチャンク分割なしに収まります。これらは30Bデコーダが大きいことによるものではなく、デコーダがそもそも汎用言語モデルであり、音声がその入力空間に射影されていることによるものです。

それは、皆がずっと探し続けている「存在しないもの」の理由も説明している。30Bのみの兄弟モデルはなく、より小さい密なTranscribeも、より大きいものも存在しない。リポジトリに載っているのは単一モデルの精度違いであって、モデルファミリーではない。ほかに出回っているサイズは、コミュニティによって作られた量子化版と、本当に小さいストリーミング認識器が一つだけ――Nemotron Speech Streaming EN 0.6B――だ。これは英語のみに対応し、話者分離もない別モデルであり、このモデルのミニ版ではない。

その名前の裏側にある4つのファイルと、それぞれがメモリ上で要するコスト

これが、その2つの名称が実際に指し示している比較です。NVIDIAは3つの精度を公開しており、コミュニティが4つ目の配布形式を追加しています。以下のメモリ数値は、単一のベンダー表ではなく、公開されているチェックポイントとコミュニティのリポジトリから得られたものです。

• BF16 — リファレンスチェックポイント。ディスク上で約67～68GB、単一のH100 80GB上で稼働します。これは公開されているベンチマーク数値が算出されたバージョンであり、それらを再現する必要がある場合に使用すべきものです。

• FP8 — 約35GBで、最低要件がL40Sのような48GBカードまで下がります。BF16に対する精度低下はNVIDIA自身の説明では小さいものの、それはNVIDIAの説明であり、独立したFP8評価は公表されていません。

• NVFP4 — 約21GBで、32GBのRTX 5090やRTX PRO 6000に収まるほど小さい。これは、DFlash2ドラフトモデルを接続した単一のRTX PRO 6000で1秒あたり2,238秒分の音声を処理できるというNVIDIAの目玉となるスループット主張を支える精度です。

• GGUF — 19.7GBから35GBの4つのコミュニティ製デコーダーに加え、必須の1.67GB F16エンコーダーファイル。19.7GBのIQ4_NLビルドは24GBカード、CPU推論、Metal、Vulkan向けです。19.7GBのNVFP4ビルドはBlackwell向けで、Q5は約29GB、Q8は約35GBです。オプションの1.15GB DFlash2ドラフターは、CUDAパスで投機的デコーディングを追加します。

• MLX — Apple silicon向けのコミュニティによる4ビットから8ビットへの移植版で、概ね19GBから35GBの範囲、ある作者は4ビットビルドで毎秒約154トークンを報告しています。Mac上での評価には有用ですが、本番配信の経路としては適していません。

何がそれを動かしているのか、そして多くの人がやりがちな、ランタイムに関するたった1つの間違い

GGUFファイルこそが罠です。拡張子が.ggufで終わるからといって、llama.cpp、Ollama、LM Studioを意味するわけではなく、これら3つのどれもこのモデルを実行できません。このモデルには、音声エンコーダーが組み込まれた音声LLMランタイムが必要です。リリース時点で実際に動作する経路は、フォーマット一覧から連想されるよりも狭い範囲に限られています。

• vLLM 0.32.0 — 主要な経路であり、V1 runner とタイムスタンプミドルウェアを通じた単語タイムスタンプを含む、完全な出力サーフェスを公開する唯一の経路です。話者属性付き出力と翻訳はここで提供されます。

• SGLang 0.5.22 上の SGLang-Omni 0.2.0 — OpenAI 互換のオーディオエンドポイント経由でファイル全体を文字起こししますが、単語のタイムスタンプ、話者帰属、翻訳、投機的デコーディングは行いません。

• NeMo Speech — ファインチューニング用ツールキットで、NVIDIAは単一GPUでタスクあたり0.5～2.3 GPU時間と述べている。公開されているLoRAレシピは1枚のカードで動作する。

• NeMo-Speech.cpp と speech.cpp — GGUF ビルダーが対象とする C++ の経路であり、それらの量子化ファイルを読み込む唯一のものです。上記の 19.7GB と 35GB のファイルはどちらもそれ向けに配布されており、何がどこに適合するかについては各リポジトリの README が正直な情報源です。

• Transformers — ソースインストールからのプロセス内利用。評価には十分ですが、スループットには適していません。

間違いは、最小の量子化モデルをダウンロードし、それを llama.cpp に読み込ませて、モデルが壊れていると結論づけることだ。壊れているわけではない。テキスト用ランタイムがまったく想定していないエンコーダを備えた音声 LLM なのだ。ランタイムの対応アーキテクチャ一覧に Nemotron 3.5 Transcribe が記載されていなければ、ファイルがどれほど小さくてもロードはされない。

各ファイルの位置づけをわかりやすく説明

モデルカードから順方向に考えるのではなく、ハードウェアから逆算しよう。カードに示されたベースライン——BF16でのH100 80GB 1基——は、最小構成ではなく最大忠実度を実現する経路である。

• 24GBカード、RTX 4090またはL4クラス — 1.67GBのエンコーダー付き19.7GBのIQ4_NL GGUF。KVキャッシュとオーディオバッファー用の余裕を残すこと。24GBは厳しいが、動作するものとして文書化されている。

• 32GBカード、RTX 5090 または RTX PRO 6000 — 21GBのNVFP4チェックポイント。これはNVIDIAのスループットに関する主張が想定する構成で、投機的デコーディングを行う場合はDFlash2ドラフターを併用します。

• 48GBのカード、L40SまたはA6000 — 35GBのFP8チェックポイント。忠実性とコストの間で、最も無理の少ない妥協点です。

• 80GBアクセラレータ（H100またはA100）— BF16。参照構成であり、公開されているWER表を精度に関する注記なしで再現できる唯一の構成です。

• GPUは一切ありません。これらのファイルにもGPUはありません。C++パスではエンコーダーはCPU上で動作しますが、30B-A3Bデコーダーで1時間分の音声をアクセラレーションなしで処理するのは、サービスではなく、所要時間が数時間に及ぶバッチジョブです。

どの精度設定にも共通して残る制約が一つあります。入力は16kHzモノラルPCMで、上限は1リクエストあたり1時間の音声です。ダウンサンプリングとチャネル選択は、モデルが何かを処理する前に実行され、ステレオの会議室録音は、自分でチャネルを分離しない限りモノラルにミックスされます。これは前処理の判断であり、チェックポイントの判断ではありません。そしてこれを誤ると、BF16からFP8へのステップよりも大きな文字起こし品質の低下を招きます。

リスティングに両方の名前が表示される場合に実行するチェック

重複した名前という状況は実際に起こり、カタログや比較ページでも繰り返し発生するため、短い検証手順のほうが、説明をもう一段落書くよりも価値があります。

• リポジトリID — 唯一の公式アーティファクトは NVIDIA-Nemotron-3.5-Transcribe-30B-A4B です。Nemotron 3.5 Transcribe 30B という名前でもリポジトリIDが異なる行は、量子化されたものか、まったく別のモデルです。

• ライセンス文字列 — 公式リリースでは OpenMDW-1.1、商用利用可。研究専用や非商用と記載されたリスティングは、別のものを説明しています。

• コンテキストとオーディオのウィンドウ — 65,536トークンと1時間。それより長いウィンドウを記載しているリスティングは誤りか、別のチェックポイントについて説明しています。

• パラメータの主張 — 名前では30B-A4B、カードでは34B、アクティブはどちらも4.3B。合計4Bと記載しているリスティングは、アクティブ数を合計と取り違えており、これはウェブ上でこのモデルについて最もよく見られる転記である。

• ファイル一覧 — NVIDIA 提供の BF16、FP8、NVFP4 に加え、DFlash2 ドラフトモデル。ページに「Nemotron 3.5 Transcribe 30B」が単一のダウンロード可能ファイルとして表示され、精度（precisions）の選択肢がない場合、それはベンダー名をまとったコミュニティ製の量子化モデルです。

実際には別個のルーティングに関する問題

ファイルが選ばれ、ランタイムが動き始めた時点で、デプロイに関する問いは終わり、より古い問いが戻ってきます。テキストはどうなるのか、という問いです。トランスクリプトは、要約、固有表現抽出、秘匿化、検索インデックス作成、質問応答のための原材料であり、そうした呼び出しはありふれたテキストモデルのトラフィックであって、ありふれたテキストモデルの問題を抱えています——レート制限、上流の障害、処理量の9割には安価な分類モデルで十分だという点です。

OrcaRouterはNemotron 3.5 Transcribeを提供しておらず、そのカタログにはどちらの名前でもエントリが掲載されていません。このモデルについて2行のエントリがどこかに表示される場合、上記のリポジトリ確認がそれを解決する最速の方法です。このプラットフォームが実際に提供するのは、文字起こしが生成された後のレイヤーです：200以上のテキストおよびビジョンモデルにまたがる1つのOpenAI互換キーをプロバイダーの定価で、マークアップ0%、プロバイダー間の自動フェイルオーバー、および複数のモデルを1回の呼び出しに組み合わせるルーティングDSL。これにより、安価な抽出パスと高価な判断パスを単一のエンドポイントの背後に置くことができます。GPUが文字起こしを行い、ルーティングがその文字起こしの価値を決めます。

そのサフィックスはファイルサイズのラベルであり、2つ目のモデルではありません

両方の名前を頭の中で整理する最も明快な方法はこうだ。Nemotron 3.5 Transcribe が製品、Nemotron 3.5 Transcribe 30B がリポジトリであり、30B はデコーダーのみを数え、モデルカードはシステム全体を数えている。30.8B と 34B の差は NVIDIA が整合させるべき未解決の詳細だが、購入者の判断を変えるものではない。判断はギガバイトと対応ランタイムで行われ、パラメータ数の3桁目で行われるのではないからだ。

カードが扱える精度を選び、ランタイムにアーキテクチャが一覧表示されていることを確認し、二つの名前を別々のモデルとして提示する掲載は、選択肢ではなくカタログ上の誤りとして扱ってください。このリリースにおける本当の分岐点——真の直接対決を正当化するもの——は、一方が0.6Bストリーミング認識器、もう一方がこの30Bオフライン文字起こし器です。その比較はレイテンシとカバレッジに関するもので、行う価値があります。モデルをそのファイル名と比較することには価値がありません。