Nemotron 3.5 Transcribe 対 Voxtral 3：決着にはならない2ポイント差

1つのモデル、3つの単語誤り率。Artificial AnalysisはNVIDIA Nemotron 3.5 Transcribeを非ストリーミングのリーダーボードで3.4%と記載しているが、同じページのFAQでは2.8%と説明している。一方Mistral Voxtral 3——Voxtral Small Transcribe 3として提供されているファミリー——は2.1%で、同ボードの3位、NVIDIAの公表した最良の数値より約0.5ポイント優れている。3.4%を採用すると、差は決定的に見える。2.8%を採用すると、この指標が各サービングエンドポイント間で示してきたノイズの範囲内に収まる。そして、会話音声を対象とするサブスコアを見ると、順位は逆転する。

1つのモデルに2つの数字、そしてどちらも嘘ではない

3.4%と2.8%は、同じ日の同じリーダーボードに由来しています。両者が異なるのは、AA-WER v2 が特定のサービングエンドポイントを通じた特定の評価スライスに対して計算されるためであり、この指標はこれまで、同じチェックポイントを実行するプロバイダー間でほぼ1ポイント近く変動してきました。NVIDIAの2.8%は同社が発表資料で示している数字であり、3.4%は実際にテストしたエンドポイントについてボードが表示する値です。どちらも捏造ではなく、また、両方が同一のハードウェア、同一の精度、同一の音声に対して測定されたかのように、どちらもMistralの2.1%から差し引くべきではありません。

それは差を無意味にするものではない。差を範囲にするものだ。バッチ指標ではVoxtral有利に0.6〜1.3ポイントのどこかであり、真の値はどちらのエンドポイントを使うかによって変わる。顧客サービスへの導入では、WERの1ポイントごとに人間によるレビューの時間が余計にかかるため、それは金銭的価値がある。会議メモ製品では、そもそも人間が出力にざっと目を通すので、そうではない。

その違いは実際どこから来るのか

AAインデックスは、VoxPopuli、Earnings-22、AgentTalkという3つのコンポーネントの平均です。最初の2つは読み上げ音声と決算電話会議で、クリーンで単一話者、録音品質も良く、両モデルが得意とする種類の音声です。AgentTalkは会話的でノイズが多くなっています。その部分では、NVIDIAのモデルはVoxtral Smallの2.3%に対して1.8%を記録したと報じられており、これは実際に逆転していて、この比較で最も興味深い数字です。

• VoxPopuli と Earnings-22 — Voxtral Small が首位。これらのコーパスは、クリーンな長文音声で調整されたモデルに有利に働きます。

• AgentTalk — Nemotronが、実際のサポート通話や発言が重なる会議に似た会話音声において、2.3%に対して1.8%でリードしています。

• 総合指数 — Voxtral Small は 2.1%、Nemotron は 2.8%～3.4%。クリーン音声成分が、その順序を生み出すのに十分な重みを占めている。

そのパターンは2つのアーキテクチャに合致している。Voxtral Smallは文字起こしに優れるよう訓練された転写モデルであり、NVIDIAのチェックポイントは音声エンコーダーを先頭に接続した言語モデルである。そして言語モデルは、音声が乱れていて文脈が会話的な場合に、より良い性能を発揮する傾向がある。これは、NVIDIAが主張する最大の成果がクリーンなWERでは全くない理由も説明している。話者帰属付きの重複音声における平均cpWER 15.80、およびエンティティリストを提供すると12.21%から2.20%に下がる固有表現WERである。

ベンダーのテーブルも重なっていません。

MistralはFLEURS-45のマクロ平均WERを公開している。Voxtral Small Transcribe 3では強制言語指定が4.1%、推定型が4.0%で、4BのMini版は4.6%、Whisper large-v3は16.0%だ。NVIDIAはOpen ASR Leaderboardを公開している。英語9セットの平均が4.71%、多言語7セットの平均が4.62%だ。どちらもベンダーが運用するハーネスであり、コーパスも正規化も異なる。ほぼ同一の数値は偶然であって、直接対決の結果ではない。4.0対4.62を0.6ポイント差の勝利として提示する人は、FLEURSのスコアとOpen ASRのスコアを比較しているのだ。

話者分離の数値には、裏返しの同じ問題がある。MistralはAMI、Switchboard、CallHome、AISHELL-4で、連結最小置換WER 18.4%を報告している。NVIDIAは自社の多話者セットで平均cpWER 15.80を報告している。NVIDIAの数値はより低く、そのセットも異なる。共通コーパスがなければ、擁護できる主張は、両社とも自社が比較対象とした特化型カスケードに勝ったと考えている一方、どちらも相手のデータ上での実行結果を公開していない、ということだけである。

Voxtral 3ができることでNemotronにはできないこと

ミストラルのリリースは単一のチェックポイントではなくファミリーであり、そのファミリーはNVIDIAの単一のオフラインモデルがカバーしない領域をカバーしている。

• 言語対応の広さ — Voxtral Small Transcribe 3 は、EU の 24 の公用語すべてを含む 50 以上の言語に対応しています。NVIDIA は 40 言語に対応し、13 言語で話者ラベルを提供します。

• リアルタイム — Voxtral Mini Transcribe Realtime 3 は 1 分あたり $0.008 で 500ms 未満のレイテンシでストリーミングし、240ms の遅延で WER 7.4%、2,400ms では 5.7% を実現。NVIDIA には、このチェックポイント向けのストリーミングモードがどの価格帯にも存在しない。

• 音声エージェント — Voxtral 3 のリリースでは、LiveKit ベースの Voice Agent SDK が提供され、文字起こし、ツール呼び出しを備えた推論モデル、音声生成を連携させ、バージインと SIP 電話に対応しています。これは、NVIDIA のチェックポイントが対象としていない製品カテゴリ全体です。

• 運用のシンプルさ — 分単位の課金、GPU不要、サービングスタック不要、EU・US・グローバルのエンドポイント。インフラを持たないチームにとって、これは2日で統合できるか、2か月かかるかの違いです。

• コンテキストバイアシング — Earnings-22 において、コンテキストありでキーフレーズ再現率 94.6%、コンテキストなしで 81.4%。NVIDIA のエンティティリスト機構と趣旨は似ているが、別のコーパスで測定したもの。

Voxtral 3 にはできないが Nemotron ならできること

逆リストは短いが、適切な買い手にとってはより重みがある。

• オープンウェイト — OpenMDW-1.1、商用利用可、BF16、FP8、NVFP4、GGUFで公開。MistralのページではAPIアクセスと、Mistralを通じた「自社インフラでのセルフデプロイ」を提供しており、公開時点ではウェイト、ライセンス、チェックポイントのいずれも公開していない。コンプライアンスチームが成果物を監査する必要がある場合、監査できるのはこれらのうち一方のみである。

• 1時間のシングルパス — 65,536トークンのコンテキストと最大1時間の録音。MistralはVoxtral 3の最大録音長やコンテキストウィンドウを公開していません。そのこと自体が、長尺のワークフローを本格導入する前にテストすべき理由です。

• 翻訳 — 英語との間で31言語を双方向に翻訳。Voxtral 3のローンチページには文字起こし、話者分離、コンテキストバイアスが記載されていますが、NVIDIAのチェックポイントのように音声翻訳タスクについては記載していません。

• プロンプトで指示可能な出力 — 単一のフォーマットと後処理ではなく、指示によって選択される5つの文字起こしスタイル。

• 音声理解 — 録音に対する質問応答と音声による指示の実行。このチェックポイントでは英語のみに対応しており、Voxtral 3 の発表資料のどこにも記載されていません。

コスト比較は接戦ではなく、そこが要点だ。

Voxtral Small Transcribe 3 は1分あたり0.0040ドル、音声1時間あたり0.24ドルです。4B Mini は0.0035ドル、1時間あたり0.21ドルです。NVIDIA のホスト型掲載価格は1,000分あたり2.00ドル、1時間あたり0.12ドルです。セルフホスティングはまったく別の計算になります。NVIDIA が主張する、1台の RTX PRO 6000 Blackwell 上で1秒あたり2,238秒分の音声という値では、1,000時間の音声、つまり360万秒は約27分のGPU時間で処理できます。仮にそのスループットが半分、つまりNVIDIA がオープンソース統合で実現すると述べている値でも、1時間未満です。

• 月1,000時間 — Voxtral Small $240、Voxtral Mini $210、Nemotronホスト型 $120、Nemotronセルフホスト型は$2/時間のレンタル料金でGPU時間およそ$2、さらに運用費。

• 月間10,000時間 — それぞれ2,400ドル、2,100ドル、1,200ドル、およびGPU時間で約20ドル。

• 注意点 — セルフホストという選択肢は、GPU、サービングスタック、そしてそれを稼働し続けられる人材がすでに手元にあることを前提としている。RTX PRO 6000 が1台でも5桁台の設備投資であり、月1,000時間では次世代機が出荷される前に減価償却し終えることはない。月10,000時間なら数か月で回収できる。

• もう一つの注意点 — これらのスループット値は NVFP4 と DFlash2 ドラフトモデルの組み合わせに依存しており、その構成では単語タイムスタンプが無効になります。アラインメントが必要な場合、マーケティング資料の表に記載された構成より遅い構成で実行することになります。

料金の議論は、利用量と、音声を自社ネットワークの外に出せるかどうかで分かれます。Mistralの分単位の料金は十分に安いため、月に数百時間未満のほとんどのチームはGPUのことをまったく考える必要はありません。1万時間を超えると、オープンなチェックポイントをセルフホストする方が桁違いに安価な選択肢となり、実質的な問題は運用負担だけになります。

50時間のテスト

上に挙げた数値はすべて、他人の音声を基にしたものです。どちらのモデルを本番運用に投入する前に、両方のモデルで自分の録音を50時間文字起こしし、ユーザーが実際に行うのと同じ基準で採点してください。つまり、固有表現が正しいか、話者ターンが正しいか、数値と通貨金額が正しいか、そして自社の顧客が持つ特有のアクセントに対応できているかです。AAインデックスは、グラスゴーのコールセンターをどちらのモデルがよりうまく処理できるかを教えてくれませんし、どちらのベンダーの評価ハーネスも同様です。

このテストは、ルーターがコスト以外の目的で役立つ場面でもあります。OrcaRouter は、下流のテキスト呼び出し——要約、固有表現抽出、秘匿化、完成した文字起こしの翻訳——を0% のマークアップで 1 つのキーの背後に置き、プロバイダーの定価をそのまま通し、プロバイダー間の自動フェイルオーバー、および 1 つのワークフロー内で異なるステージを異なるモデルに送れるルーティング DSL を提供します。Nemotron 3.5 Transcribe も Voxtral 3 も OrcaRouter のカタログにはないため、ルーターはこれらを呼び出す役には立ちません。ルーターが役立つのは、テキスト層のために 2 つ目のベンダー関係を立ち上げることなく、これらが返すものを処理する場合です。

判定は、あなたの問題をどの文が説明しているかによって変わります。もしそれが「50言語で正確な文字起こしが必要で、GPUを自前で持ちたくなく、レイテンシが重要だ」であれば、Voxtral Small Transcribe 3 のほうが優れた製品であり、その2.1%は確かな理由です。もしそれが「1時間に及ぶ会議の話者属性付き文字起こし、翻訳、そしてコンプライアンスチームが検査できる成果物が必要だ」であれば、Nemotron 3.5 Transcribe はこのリストの中でその3つすべてを満たす唯一の選択肢であり、クリーンな朗読音声におけるWER 1ポイントはその代償です。もしそれが「両方必要だ」であれば、正直な答えは、それらは代替品ではないということであり、この世代を最も活用しているチームは、一方をライブ音声用に、もう一方をアーカイブ用に運用しています。