Granite Speech 5.0 2B 対 Whisper large-v3-turbo：ベンチマークではIBMが勝利、99言語ではWhisperが勝利

多くの人が最初に確認する2つの数値では、Granite Speech 5.0 2BがWhisper large-v3-turboを上回っており、その差は僅かではありません。IBMのモデルは、Open ASR Leaderboardの英語のショートフォームテストセット9件で、570 RTFxで平均5.06%の単語誤り率を記録しています。一方、OpenAIのturboチェックポイントは同じリーダーボードで200 RTFx、平均7.83%です。同じベンチマーク上で、より高速かつより高精度であり、リリース日は約2年離れています。音声が英語でクリーンであれば、比較はこれで全部であり、ここで読むのをやめてかまいません。このようなリリースの背景にある、文書化されたAIの障害やエージェントのインシデントは、OrcaRouter AI Incident Archiveにまとめられており、各項目には独自の出典、重大度、信頼度グレード、異議フラグが付いています。

このページが依然として存在する必要がある理由は、3番目の数字、99にある。Whisper large-v3-turboは99言語をカバーし、Granite Speech 5.0 2Bは書き起こしで6言語をカバーし、さらに2言語への翻訳に対応する。音声がベトナム語であれば、英語でのWER 2.8ポイントの優位性には何の価値もない。つまり本当の問いは、どちらのモデルが優れているかではなく、あなたの言語構成が6言語という箱に収まるかどうか、そして収まる場合に移行コストがいくらかかるかである。

Whisper large-v3-turbo とは実際に何なのか

ここは正確に述べておく価値がある。というのも、この名前は本来指すものではない対象にも付けられてしまうからだ。Whisper large-v3-turbo は OpenAI による large-v3 の枝刈り版である。エンコーダーは変更されておらず、デコーダーは32層ではなく4層になっている。この一点の変更により、モデルは1,550Mパラメータから809Mになり、スループットはおよそ3倍になる一方、精度の低下は比較的小さい。そのため、2024年10月のリリースから数か月で、エコシステム全体で高速ASRのデフォルトチェックポイントになった。

その設計からは3つの特性が導かれ、それらはすべてこの比較で重要になります：

• これはたまたま枝刈りされた翻訳モデルであり、99言語の文字起こしと言語識別を引き継いでいます — しかしturboバリアントは翻訳用に訓練されていません。large-v3とは異なり、文字起こしと言語識別は行いますが、ある言語の音声を別の言語のテキストとして出力することはありません。チームはこれに、その上に構築した後でよく気づきます。

• デコーダは自己回帰型です。トークンを一度に4層ずつ書き出すため、スループットは数千ではなく200 RTFxにとどまります。Whisperの速さは、デコードパラダイムを変えたことではなく、層を削除したことによるものでした。

MITライセンスです。{{1}}これは、一部の法務チームにとって重要なまさに一点において、実務上Apache 2.0よりも寛容です。すなわち、分析すべき特許付与条項がなく、同梱すべき帰属表示ファイルもありません。{{/1}}

Whisperの真の強みは決してベンチマークではなかった。それは2年分のツール群だ — faster-whisper、whisper.cpp、あらゆるクラウドのマネージドエンドポイント、量子化のレシピ、単語レベルのタイムスタンプライブラリ、その上に築かれた話者分離スタック。そのエコシステムは確かな乗り換えコストであり、この比較はそれを正直に考慮しなければならない。

ギャップが実際に存在するのか、それともハーネスによるアーティファクトなのか

5.06% 対 7.83% の比較は同じリーダーボード上で行われているため、大半のベンダー横断の数値よりは妥当性が高い。ただし、同一条件での実行ではなく、その詳細はどちらにも有利・不利に働き得る。

• Graniteの数値は、IBM自身がリーダーボードに提出した評価実行に由来しており、発表ブログでは「2026年10月15日時点で非公式」と説明されています。モデルカードは同じ結果を10月20日時点で「公式」と呼んでいます。どちらの形容詞を選ぶかはご自由に。IBMの外部でこれを再現した者はいません。

• Whisperの数値は、リーダーボードが独自のハーネスで実行して公表した、そのチェックポイントに対する結果であり、IBMのパイプラインとは異なるものです。

• どちらの数値も9つの公開テストセット全体の平均であり、その大半はLibriSpeech、Gigaspeech、SPGISpeech、Earnings-22、AMI、VoxPopuliの英語朗読音声です。このベンチマークにおけるWhisperの弱点は広く文書化されており、構造的なものです。Whisperは680,000時間の弱教師ありウェブ音声で訓練されており、正確なフォーマットと引き換えに広範さを得ています。

• 遠距離場や雑音の多い音声でも、この順位は変わりません。FFASRボード（近距離場、高SNR、中SNR、低SNRの平均）では、whisper-large-v3が18.02%、Granite Speech 5.0 2Bが14.80%となっています。これはturboではなくlarge-v3であることに注意してください。turboは一般的に、難しい音声では親モデルより少し劣ります。なぜなら、誤った音響推定から回復するためのデコーダ層が少ないからです。

つまり、精度差は方向性としてはおそらく実在しており、公平な条件で比べればおそらく2.8ポイントより小さい。疑いようがないのは、それがどこから来るかだ。Whisperのデコーダは4層で、言語識別、文字起こし、句読点、大文字小文字、タイムスタンプの位置合わせを同時にこなすことを求められているのに対し、Graniteのアーキテクチャは音響処理（文字ヘッドとBPEヘッドを備えたCTCエンコーダ）をテキスト生成（1B言語モデル）から分離している。

言語ボックスを定量化する

ここで意思決定が行われるのだから、箇条書きの数字以上の扱いを受けるべきだ。

• Granite Speech 5.0 2Bは、英語、フランス語、ドイツ語、スペイン語、ポルトガル語、日本語を文字起こしし、これら6言語と英語の間で翻訳を行い、さらに英語からイタリア語へ、英語から標準中国語への翻訳も行います。

• Whisper large-v3-turboは99言語を文字起こしし、聞き取っている言語がどれかを識別します。翻訳は行いません。

• {{1}}Graniteの7言語対応の兄弟モデル、Granite Speech 5.0 470M TurboCTCは、{{/1}}文字起こしの対象にイタリア語を追加しました — これにより、このファミリーは6言語ではなく、ヨーロッパの諸言語と日本語を含む7言語をカバーします。

99対7というのがWhisperを支持する論拠のすべてであり、それは強力な論拠だ。しかし実用上の分布はその数より重要だ。音声が英語、フランス語、ドイツ語、スペイン語、ポルトガル語、日本語、イタリア語なら、Graniteで対応できる。ヒンディー語、アラビア語、韓国語、トルコ語、ポーランド語、ベトナム語、インドネシア語、オランダ語、スウェーデン語、あるいはその他の90数言語のいずれかが必要なら、この2つのうち機能するのはWhisperだけであり、英語におけるWERの優位性がどれほど大きくてもその事実は変わらない。

中間のケースこそ、ほとんどのチームが実際に置かれている状況だ。つまり、大半が英語の製品で、数％の頻度でしか到来しないロングテールの言語群がある。階層ごとに1つずつ、2つのモデルを使うのは普通で正しい答えであり、思ったより安く済む。なぜなら、テール部分はボリュームが少ないからだ。

長い音声、タイムスタンプ、そして大規模化で壊れるもの

Whisperのデプロイに関する状況は、どのベンチマークにも現れない形で成熟している。単語レベルのタイムスタンプ、音声活動検出、話者ダイアリゼーション、チャンク分割デコーディングによるストリーミング——そのすべてが存在し、そのすべてが実戦で鍛えられており、その多くはWhisperの30秒ウィンドウとタイムスタンプトークンを前提としている。

Granite Speech 5.0 2Bは異なる形をとります。IBMは最大約2分のセグメントを推奨しており、それより長い録音ではVADで分割します。また、言語モデルは16kのYaRN拡張コンテキスト内で10 Hzの埋め込みを受け取ります。ベースの2Bチェックポイントには単語レベルのタイムスタンプヘッドはありません。4.1世代では話者属性付きASRと単語レベルのタイムスタンプ向けに別個の「-plus」バリアントが出荷されましたが、同等の5.0バリアントはまだ存在しません。

字幕や、話者ラベル付きの会議文字起こし、あるいは特定のフレーズへシークする必要があるものを作っているなら、それは実際の欠落です。5.0 のブログにはタイムスタンプの改善について確かに記載されていますが、それは刷新された granite-speech-4.1-2b-plus に属するもので、5.0 2B ではありません。

• 単語レベルのタイムスタンプが必要なら — 現時点では Whisper large-v3-turbo、Granite ファミリーを希望し、より古い音響モデルを受け入れられるなら Granite 4.1-2b-plus。

• 話者の特定が必要 — 答えは同じ。5.0 2Bはそれをやってくれない。

• 数分を超える長文の精度が必要 — Granite の 2 分セグメントという指針は実用上の限界であり、Whisper の 30 秒チャンク化と previous-text conditioning には周知の失敗モード（無音時に繰り返しループ）がある。どちらが明らかに優れているわけではなく、どちらもその前段に VAD が必要だ。

Graniteが備えていてWhisper turboにはない2つの機能

キーワードバイアス。 Granite Speech 5.0 2B は、プロンプトごとに最大 2,000 語のキーワードリストを受け付け、ヨーロッパおよび日本語の言語グループにわたる 23,600 時間のキーワードバイアス付き音声で学習されています。Whisper には同等のインターフェースがありません。最も近いのは、スタイルと語彙を誘導するプロンプト文字列ですが、その背後に学習はありません。製品名、薬品名、チケット ID、顧客独自の用語集を文字起こしする導入において、これは 2 つのモデル間で最も有用な違いであり、どの WER 平均にも表れません。

Language-IDプロンプティング。Graniteに音声の言語を伝え、翻訳ではなく文字起こしを行うよう指示できます。Whisperは言語を自動検出し、turboバリアントでは文字起こしのみを行います。メタデータから言語がすでに分かっている混合言語コーパスでは、言語を強制指定することでエラーの一大カテゴリを丸ごと排除できます。Whisperは短いクリップを誤識別し、その後、誤った言語で自信を持って文字起こしすることがあります。

移行を、実際にうまくいく手順で

言語に関する懸念が解消されれば、切り替えはエコシステムの隔たりが示唆するほど苦痛ではない。なぜなら、ほとんどのWhisperベースのパイプラインには、必要な接合点がすでに備わっているからだ。

1. VADはそのまま使ってください。どちらのモデルもファイルではなくセグメントを必要とします。Whisper用に音声をチャンク分割している方法は、Graniteでもそのまま使えます。ただし、セグメントあたり30秒ではなく最大2分までです。

2. 置き換えるのはデコード呼び出しであり、配管部分ではありません。Granite は transformers>=4.52.1 の AutoModelForSpeechSeq2Seq と AutoProcessor を介して、または vLLM、Q8_0 の llama.cpp、Apple Silicon 上の mlx-audio を介して読み込まれます。サービスが faster-whisper を外部プロセスとして呼び出しているなら、ローカルモデルの呼び出しを別のものに差し替えているだけです。

3. プロンプトを書き換える。Graniteは指示によって動作し、プロンプトがモードを選ぶ。生の文字起こし、句読点付きの文字起こし、キーワードバイアス、言語IDの固定。これこそチームが見落とすステップであり、その結果、Whisperのデフォルト動作をそのまま入力してしまったためにモデルの方が劣ると結論づけてしまうのだ。

4. WERはLibriSpeechではなく、自分の音声で再ベースライン化すること。これは形式的な作業ではない。リーダーボード上でのWhisperの弱点はフォーマットと長文でのドリフトである。もし自分の音声が30秒のクリーンな英語クリップで、下流ステップがフォーマットを修正する言語モデルなら、測定される差はほぼゼロかもしれない。逆に、自分の音声にアクセントがあり遠距離収音なら、2.8ポイントより大きくなる可能性がある。

5. フォールバック経路を確保する。Granite Speech 5.0 2B の非英語カバレッジは厳格な境界であり、多言語製品ではモデルの前段に言語検出器を置くことは必須です。7言語の外側に外れるものは Whisper にルーティングされます。

ルーティング層が真価を発揮する場面

ステップ5は、この移行がアーキテクチャへと変わる部分です。2つの音声モデルの前段に言語と品質に基づくディスパッチを置き、さらに後から文字起こしを整える任意の言語モデルを加えると、ファイルごとに3回のモデル呼び出しになります。そして、3つの別々のベンダー統合は、シンプルなパイプラインを保守上の問題へと変えてしまうのです。

OrcaRouterはOpenAI互換の単一エンドポイントであり、200以上のモデルをプロバイダーの定価のまま、マークアップなしで利用できます。そのため、後処理の段階——クリーンアップ、要約、フィールド抽出——は音声処理のコードに触れることなく差し替えたりA/Bテストしたりでき、プロバイダー側の障害時にはジョブを失敗させずにフェイルオーバーします。ルーティングDSLはディスパッチルール自体を保持できます。つまり、言語を検出し、対応している7言語はセルフホストのGraniteチェックポイントへ、それ以外はすべてWhisperへ送り、文字起こしをタスクに応じたクリーンアップモデルへ渡します。実際に本日提供できるのはこの最後のホップです。Granite Speech 5.0 2BもWhisper large-v3-turboも当社のカタログには含まれていないため、音声モデルはお客様自身のハードウェア上に留まり、ルーティングはその1段下流から始まりますが、それでも統合作業の大部分を削減できます。

誰が切り替えるべきで、誰がそうすべきでないか

次に切り替えるべきケース:音声が英語とGraniteの6言語で、エコシステムへの慣れよりも精度が重要で、キーワードバイアスや言語の強制指定が必要で、当面は単語レベルのタイムスタンプなしで済む場合。5.06%対7.83%は重要な方向での確かな差であり、570 RTFx対200 RTFxは、切り替えによってGPUコストも同時に削減できる可能性が高いことを意味します。

切り替えないでください。ただし、他の92言語、単語レベルのタイムスタンプ、話者帰属、マネージドエンドポイントのいずれかが必要な場合は除きます。Granite Speech 5.0 2Bは執筆時点でどの推論プロバイダーにもデプロイされておらず、現在利用する唯一の方法はセルフホスティングです。Whisper large-v3-turboは、自前のGPUを実行できない場所を含め、どこでも利用できます。

長い言語テールがあるなら両方を実行してください。ディスパッチは安価で、テールは定義上低ボリュームであり、Whisperに残された唯一の論拠を取り除くことができます。