Nemotron 3.5 Transcribe：NVIDIAの音声LLMがダイアリゼーション・カスケードを凌駕 — 13言語で

NVIDIAはNemotron 3.5 Transcribeを2026年10月28日にオープンライセンスの下で出荷した。このモデルに関するあらゆる見出しに出る数字は40だ。40言語、単一チェックポイント、話者ラベル付き。実際に文字起こしスタックの構築方法を変える数字は15.80である。これはNVIDIA独自のマルチスピーカーベンチマークセットにおけるモデルの平均cpWERで、同社が比較対象とした最良の特化型カスケード——音声認識器と別個のダイアリゼーションパイプラインを、ほとんどの実運用の会議文字起こしシステムが今もそうであるように組み合わせたもの——では16.83だった。NVIDIAはこれがその構成を上回る初の音声LLMだと主張しており、まさにそれが検証する価値のある主張だ。なぜならそれは、言語をリストに追加するのではなく、アーキテクチャからコンポーネントを1つ取り除くものだからである。

40言語という数字は事実だが、見かけほど広いわけではない。カスケードを置き換える部分である話者帰属は、40言語ではなく13言語で学習されている。モデルは録音ファイルのみを読み込み、一度に最大1時間までで、ストリーミング経路はない。しかも小さなダウンロードではない。合計34Bパラメータ、トークンあたり約4.3Bがアクティブで、BF16での提供における公称ベースラインはH100 80GBだ。これら3つの制約が、話者分離の結果を今四半期に使えるものとするか、次の四半期のために留保するものとするかを決める。

NVIDIAが実際に出荷したもの

チェックポイントはNVIDIA-Nemotron-3.5-Transcribe-30B-A4Bとして公開されており、その名称と公表されているパラメータ数との隔たりは、まず最初に解消すべき点です。このモデルは Nemotron 3.5 Lightning 30B-A3B を基盤としており、Mamba-2 と Transformer を組み合わせた Mixture-of-Experts 言語モデルです。NVIDIA のモデルカードには、音声スタックを含めて総計 34B パラメータ、うち約 4.3B がアクティブと記載されています。名称にある 30B を超える分の重みはエンコーダーです。ASR Transformer が約 600M、話者エンコーダーが約 99M で、合わせて約 800M となり、言語バックボーンは約 3.5B がアクティブとして残ります。いくつかの記事ではこれを矛盾として報じていますが、そうではありません。名称は LLM を数え、モデルカードはシステム全体を数えているのです。

アーキテクチャ上、理解する価値があるのは並列エキスパートエンコーダーです。凍結された Nemotron 3 Diarization モデルが話者アクティビティ表現を生成し、それが ASR エンコーダーの出力に注入されるため、言語モデルは単一パスで単語と、それを話している可能性が高い話者の両方を認識します。次に軽量な CTC アダプターが、生成されたテキストを音声に再アライメントし、話者帰属付きの単語タイムスタンプを生成します。第2のアライメント段階も、途中での pyannote 呼び出しもありません。ネイティブなマルチトークン予測は vLLM 内の投機的デコーディングのドラフトとしても機能し、NVIDIA は別途トレーニングされた DFlash2 ドラフトモデルも提供しています。

• パラメータ総数とアクティブパラメータ数 — 合計34B、トークンあたり約4.3Bがアクティブ、うち約3.5Bが言語バックボーン

• コンテキストとオーディオ — 65,536トークン、最大1時間の録音（16 kHzモノラル）、30秒単位の内部チャンクでデコード

• 言語対応範囲 — 文字起こしは40言語、英語との双方向翻訳は32言語、話者属性付き文字起こしは13言語

• ライセンス — OpenMDW-1.1、商用および非商用利用を許可

• サービングのベースライン — BF16でH100 80GBを1台使用。BF16、FP8、NVFP4のビルドが公開されています

• ストリーミング — なし。これはファイル入力・トランスクリプト出力のモデルです

今回のリリースは2つの成果物からなり、多くの報道が両者を混同しているため、これらは区別しておく価値がある。モデルと並んでNVIDIAが公開したGranary v2は、チェックポイントではなく音声データパイプラインのリリースだ。Granary v1の25言語から拡大し、48言語・16のソースコーパスにまたがる463,062時間を収録し、NeMo Curatorで構築され、公開マニフェストとともに提供される。各レコードには3種類の文字起こし形式（テキスト正規化済みの逐語形、非流暢性を含む逆正規化形、非流暢性を含まない逆正規化形）に加え、タスクラベル、音声に基づく質問応答ペア、文脈バイアス用語、レコード単位の品質フラグが含まれる。これはファインチューニングのレシピが想定するデータであり、実行可能な重みではない。元音声は依然として各コーパス固有のライセンスの下でダウンロードする必要がある。したがってGranary v2がオープンなのは、そのマニフェストとパイプラインがオープンであるという意味であり、音声を自由に再配布できるという意味ではない。

ライセンスは重みと同じくらい重要です。OpenMDW-1.1は商用利用を許可しており、これによりこれはオープンウェイトのスペクトルの中で研究用途限定の端ではなく、MistralのVoxtralシリーズと同じ区分に位置づけられます。リリース時点のランタイム対応は、ほとんどの音声LLMリリースより広範です。vLLM 0.32.0が主要な経路であり、全機能を提供する唯一のものです。ただし単語タイムスタンプにはV1 runnerとtimestamp middlewareが必要で、DFlash2はありません。SGLang 0.5.22上のSGLang-Omni 0.2.0は、OpenAI互換のオーディオエンドポイント経由でファイル全体の文字起こしを処理しますが、単語タイムスタンプ、話者属性付き出力、翻訳、投機的デコーディングには対応しません。NeMo Speechにはファインチューニングツールキットが同梱され、Transformersはソースインストールからのインプロセス利用をサポートし、GGMLビルドはRTX 5090およびRTX PRO 6000を含む一部のBlackwell製品をカバーします。

話者分離の結果こそが物語です。

NVIDIAの多話者テーブルはカスケード比較が置かれている場所であり、ローンチ投稿としては異例なほど詳細だ。セット全体の平均cpWERは15.80で、DiCoW v3.3とDiariZenを組み合わせた場合の16.83に対する。条件別の数値は、その差がどこから生じ、どこでは生じないかを示している。近接会話条件のAMIは10.29、AMIの単一距離マイクは17.34、CALLHOME CH109は11.50、Mixer 6のチャネル4は14.80、NOTSOFAR-1の近接会話は14.94、単一チャネルは25.91に達し、AISHELL-4はcpCER 32.91、AliMeetingは34.95だ。広帯域・マルチチャネルの会議ケースは強い。遠距離単一マイクと中国語会議音声はかなり弱く、これはあらゆる話者ダイアライゼーションシステムが苦戦する点を的確に説明している。

NVIDIAが頼りにしている、一見独立した裏付けはVoiceArenaのDiarization-Benchだ。そこではこのモデルが英語のフルセッション全体でcpWER 32.4%を報告し、14システム中首位に立つ。2位はMultitalker ParakeetとNemotron 3 Diarizationを組み合わせたもので34.2%、残りの参加システムは34.7%から71.9%の範囲に及ぶ。NVIDIAはまた、単語削除率が参照語の8.32%であるとも報告しており、これは参加システムの中央値約31%と対比される。文字起こしを実際に納品したことのある人にとって、2つ目の数値のほうが有用だ。cpWERは自信のない単語を落とすことで不正に高く見せることができ、指標で勝ちながら参照語の92%を保持するシステムは、より難しいことを成し遂げている。どちらも第三者ベンチマークに関するベンダー報告の数値であり、モデルに対する独立した評価ではない。

制限となるのは言語数です。話者帰属は13言語（英語、フランス語、ドイツ語、ヒンディー語、イタリア語、韓国語、ポルトガル語、ロシア語、スペイン語、日本語、タイ語、アラビア語、中国語）向けに学習されており、最大8話者をサポートします。録音が英語の会議、またはその他の12言語のいずれかであれば、カスケード置換の論拠は有効です。音声がポーランド語、トルコ語、ベトナム語の場合、話者分離なしの文字起こししか得られず、2つ目のコンポーネントが依然として必要です。

実際の順位はどこなのか：3つのリーダーボード、3つの異なる答え

英語版の数字は、NVIDIAのどのページを読むかによって変わる。より好都合な方を選ぶのではなく、その点を正確に押さえる価値がある。モデルカードの9セット平均単語誤り率は4.71%で、Qwen3-ASR-1.7Bが4.94%で続く。同日のNVIDIAのHugging Faceでの記事は、Hugging Face Open ASR Leaderboardの平均WERとして5.33%、RTFx 462.09を挙げ、Qwen3-ASR-1.7Bは5.4%としている。どちらもベンダー自身の数値で、数時間以内に公表されており、違いは平均にどのテストセットが含まれるかにある。それらを平均しないこと、一方を他方から差し引かないこと、小数を確定したものとして扱わないこと。両方の枠組みで生き残るのは位置づけだ。そのボードでオープンウェイトモデルの中で1位である。

ベンダーが報告した残りのセットも、構成面で一貫しています。多言語の平均WERは7言語で4.62%となり、Qwen3-ASR-1.7Bの6.49%に対してです。長文の平均は10.98%で、Parakeet-TDT-0.6B-v3の13.37%に対してです。スタイル制御はデフォルトで7.56%、指示ありで6.16%を記録し、Canary-Qwenの8.16%および8.36%に対してです。コンテキストプロンプティングにより、ContextASR-Benchはコンテキストなしの3.33%から細粒度コンテキストありの1.71%へ、決算説明会の文字起こしはローカルコンテキストを提供した場合に12.54%から9.58%へ移行します。

独立した検証は、あまり好意的ではない話を伝えており、今週モデルを選ぶなら読むべきなのはそちらだ。10月29日時点で確認されたArtificial Analysisの非ストリーミング単語誤り指数では、Nemotron 3.5 Transcribeは2.8%を示す。同じ指標でVoxtral Small Transcribe 3は2.1%、MAI-Transcribe-2は2.0%であり、Gemini 3.5 Transcribeは2.6%だ。NVIDIAの「オープンウェイトモデルの中で首位タイ」という表現は、名指しした特定のモデルに対しては擁護できる。そのモデルとはVoxtral Smallであり、同じ指標でも2.8%と示され、NVIDIAはこれを、このモデルの約4Bのアクティブパラメータに対して24Bモデルだと説明している。しかし、このモデルがリリースされる前に、リーダーボードはその比較を追い越して進んでいた。より新しいMistralの同系モデルであるVoxtral Small Transcribe 3は、同じ指標で誤り率が約4分の1低い。だからといって話者分離の結果が誤りになるわけではない。Voxtralは1回の処理で話者帰属を行っていないからだ。ただ、正しい表現は「話者帰属ASRにおける最高のオープンウェイトモデル」であり、「最高のオープンウェイト文字起こしモデル」ではないということだ。

言語ごとのテール部分こそ、デプロイが壊れる場所です

カバレッジとパリティは異なる主張であり、NVIDIAのモデルカードは言語ごとの詳細を十分に公開しているため、両者の隔たりが見て取れる。言語マトリクスは41行あり、ノルウェー語はタスクのチェックマークなしで含まれているため、ASR用に実際にマークされている言語は40となる。FLEURS全体では、エラー率は1.41%から63.76%に及び、63.76はノルウェー語である。イタリア語は1.41、スペイン語は2.20、ドイツ語は2.73、フランス語は3.16、英語は3.35、アラビア語は6.35、ヒンディー語は7.47に達し、日本語は4.42 CER、韓国語は2.78 CER、中国語は8.62 CERとなる。多言語リーダーボードの言語別平均では、ヒンディー語は9.15 OIWERで、オランダ語の5.96、ドイツ語の2.81に対してである。

カードが全40言語について主張しているコードスイッチングも、同様に不均一である。ASCEND Mandarin-Englishは混合エラー率18.74%、MUCS Hindi-Englishは19.28%、MUCS Bengali-Englishは35.46%に達し、Monsoon HindiはOIWER 9.40%である。翻訳品質も広い範囲にまたがる。FLEURS-to-EnglishのBLEUは6.40から44.33、English-to-FLEURSは8.70から42.65、CoVoST2-to-Englishは6.95から54.46である。HALASセットでのロバスト性はWER 31.50%であり、これはアクセント付きやノイズの多い現場録音を前提とした計画には慎重さを促すべき数値だ。

実用的な読み方は、「40言語」とは容量計画の基準にできるカバレッジ主張であり、製品計画の基準にできる品質主張ではない、ということです。コミットする前に、気になる特定の言語と特定の録音条件を、自分のクリップ数百件でテストしてください。モデルカード自体のファインチューニングのケーススタディがそのテンプレートです。インドの医療音声ベンチマークでは、初期設定のエラー率が30.8%でしたが、英語とラテン文字を指定するプロンプトで23.8%になり、約245時間のデータで適応させると11.8%になりました。つまり、1台のGB300で14 GPU時間を使って、エラーが約62%減少しました。ホールドアウト話者は22.44%から12.17%へ、相対45.8%の削減となりましたが、LibriSpeech test-cleanは1.54%から1.69%へ悪化しました。これは狭い適応の典型的な兆候です。

運用にかかるコストと、ルーティングの位置づけ

NVIDIAはこのモデルの価格を公表していません。研究ページにもモデルカードにも分単位の料金はなく、重みはOpenMDW-1.1の下で無料であり、提供開始時のホステッドアクセスはNVIDIA自身のNIMエンドポイントに加え、独自の料金を設定する複数のサードパーティプラットフォームを通じて利用できます。つまり、コストの問いはGPUの問いであり、それに関する数値は異例なほど揃っています。

RTX PRO 6000 Blackwell Server Edition 1 台では、DFlash2 ドラフトを使った NVFP4 ビルドが毎秒最大 2,238 秒分の音声を処理します。30 秒の録音なら 0.13 秒で返り、100 時間分の音声を 3 分未満で処理できます。これが最適化された NIM パスであり、NVIDIA はオープンな vLLM 統合は約 2 倍遅いと述べています。BF16 の H100 では、このカードの RTFx 値は、2 トークン投機で 410、8 トークン投機で 270、K=7 の DFlash2 で 340、K=15 で 260 です。その範囲の上限では、H100 1 時間で約 410 時間分の音声を処理できるため、1,000 時間の文字起こしはおよそ 2.5 GPU 時間の計算量になります。それがホスト型の分単位料金を上回るかどうかは、カードをどれだけ飽和状態に保てるかに完全に依存します。月に数百時間なら、アイドル状態の 80GB GPU の方が高くつく選択肢であり、計算が逆転するのはキューが埋まり続けたときだけです。

このクラスの基準では、適応は安価です。NVIDIAは、新しい言語、ドメイン、出力スタイルに対して、単一GPUでタスクあたり0.5～2.3 GPU時間かかると報告しており、これは17タスクにわたる評価によるもので、言語モデルにはLoRAを適用し、エンコーダと投影層を学習させています。これは十分に小さい数値なので、ドメイン適応は研究プロジェクトではなく、デプロイの一部として扱うべきです。上述の医療事例は、エンドツーエンドで14 GPU時間です。

次に続く内容にとって重要なアーキテクチャ上の注記：このモデルはテキストを出力し、文字起こしに続く要約、エンティティ抽出、コンプライアンスタグ付けは通常のLLM作業です。その下流段階こそがOrcaRouterの担う領域です — 200以上のモデルに対応する単一APIをプロバイダー定価に対して0%のマークアップで提供し、プロバイダーがパイプライン途中で機能低下した際の自動フェイルオーバー、そして長い文字起こしや短いスニペットを毎回別途統合することなく異なるモデルへ送るためのルーティングDSLを備えています。当社はNemotron 3.5 Transcribeをホストしていません。これは自社ハードウェア上またはNVIDIAのエンドポイント経由で実行する音声モデルです。ルーティング層は文字起こしが終わる所から始まります。

同じ名前を共有するモデルが2つあり、このモデルはそのうちの1つだけです

今回のリリースについて過去1日に書かれた内容の一部は、別のチェックポイントに関するものです。NVIDIAはまた、nemotron-3.5-asr-streaming-0.6bを公開しています。これはオンデバイスおよびCPU向けランタイム用に作られた小型のストリーミングASRチェックポイントで、その量子化ビルドはアプリケーションに同梱できるほど小さいものです。これは本モデルではなく、話者帰属も行わず、その速度と精度の数値もそのまま当てはまりません。30B-A4B音声LLMは10月28日に発表されたものであり、0.6Bストリーミングモデルはラップトップ上で動作するものです。読んでいる比較が、40言語という主張と併記して1秒未満のレイテンシや1ギガバイトのダウンロードに言及しているなら、それは2つを混同しています。

誰が今すぐ行動すべきで、誰が待つべきなのか

次の条件に当てはまるなら、今すぐ行動してください。録音された会議・通話・インタビューを英語または他の12の話者分離言語で扱っており、ファイルが1時間未満で、すでに80GBクラスのGPU環境または費用を惜しまず利用できるホスト型エンドポイントがある場合です。最も当てはまるのは、現在2モデルカスケードを維持しているケースです。商用利用を許可するライセンスの下で、1つのチェックポイント、1回のパスに話者ラベルと単語タイムスタンプを含める構成です。pyannoteを廃止する前に、自分の音声で評価してください。上記の遠距離音声とアクセントのある音声の数値が、最も失望させやすい項目です。

ライブストリーミングが必要なら待ったほうがよい——ストリーミングの経路が存在しないのだから。あなたの言語がそのFLEURSレンジの末尾に位置するなら。録音が1時間を超えるなら。あるいはGPUがなく、ホスト型の分単位課金に食指が動かないなら。あなたのスタックがすでにArtificial Analysisでより低いエラー値を示す新しい文字起こしエンジン上にあり、話者分離を必要としない場合も待ったほうがよい——ワンパスの話者帰属こそが移行する理由であり、それだけが唯一の理由なのだから。

注目に値する未解決の問いは、範囲が狭く検証可能です。独立したフル精度評価はまだ乏しく、コミュニティの4ビット量子化を実行している人々からの初期報告は、いつもの速度低下と精度低下を述べており、それはモデルよりも量子化について多くを語っています。SGLang-Omniは、非vLLM経路が真の代替となる前に機能パリティに到達する必要があります。そして、13のダイアリゼーション言語という数字が最初に動く可能性が最も高いのは、そこにアーキテクチャ上の主張が集中しているからです。