「Claude Haiku 5.5 vs Gemma 4 12B」用に生成されたヒーローカード。細い罫線で区切られた2つのパネルがあり、左側には「Claude Haiku 5.5」と表示され「Index 43」と「Proprietary API」が添えられ、右側には「Gemma 4 12B」と表示され「Index 14」と「Apache 2.0 weights」が添えられている。フッター行には「Scores per Artificial Analysis.」と記されている。OrcaRouterのロゴが右下隅に合成されている。
Guides & Insights

Claude Haiku 5.5 vs Gemma 4 12B:手元に置ける重みのモデル 対 ベンダーAPI

著者

Gideon Frost

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

Claude Haiku 5.5 と G​emma 4 12B は、実際には同じ枠を争っているわけではない。それを最速で見て取る方法は一行に尽きる。一方は Apache-2.0 の重みとして提供され、ダウンロードして量子化し、自分のハードウェアで実行できる。もう一方は API の背後にしか存在しない。Claude Haiku 5.5 は 2026年10月7日に登場し、小規模ティアが叩き出せるスコアを即座に塗り替えた — 独立系の Artificial Analysis Intelligence Index で 43。G​emma 4 12B は同じランキングで 14 だ。その差は膨大だが、ほとんどのチームが最終的に両者のどちらかを選ぶことになる理由はそこではない。

その選択は通常、ベンチマークが参照される前に迫られます。ベンダーにトークンを送信できない規制下のパイプライン、信頼できる外向き通信のないエッジボックス、ミリ秒単位で測られるレイテンシ予算、あるいはクローズドAPIでは決して満たせないファインチューニング要件です。これらのどれも自分に当てはまらないなら、答えは接戦にはなりません。どれか一つでも当てはまるなら、スコア差は問題にならなくなり、デプロイ上の制約がすべてを決めます。

取締役会が測定した内容と、その時期

以下の独立系の数値はArtificial Analysisによるもので、ベンダー料金はA​nthropicとG​oogle自身のドキュメントに基づいています。これらは2種類の異なる数値であり、全体を通してそのように表示されています。

A generated two-column scoreboard titled 'Claude Haiku 5.5 vs Gemma 4 12B - the scoreboard'. The Claude Haiku 5.5 column reads independent score 43 (AA, #2 of 182), weights Proprietary API, context 1,000,000 tokens, input price $0.10 / 1M, output price $0.50 / 1M and throughput 240.4 tok/s. The Gemma 4 12B column reads independent score 14 (AA, #21 of 142), weights Apache 2.0 12B dense, context 262,000 tokens, input price $0.10 / 1M, output price $0.30 / 1M and throughput 113.1 tok/s. A footer line reads 'Both columns per Artificial Analysis; pricing per each vendor.'

• 独立したスコア — Intelligence Index で Claude Haiku 5.5 が 43 を記録し、182 モデル中 2 位。G​emma 4 12B(Reasoning)は 14 で、同クラス 142 モデル中 21 位。その差は 29 ポイント。

• 100万トークンあたりの入力価格 — Claude Haiku 5.5 は100,000トークンまで$0.10、それを超えると$0.50、G​emma 4 12B は$0.10。

• 100万トークンあたりの出力価格 — Claude Haiku 5.5 は10万トークンまで0.50ドル、それを超えると2.50ドル;Gemma 4 12B は0.30ドル。

• コンテキストウィンドウ — Claude Haiku 5.5 は 1,000,000 トークン、G​emma 4 12B は 262,000 トークン。

• スループット — Claude Haiku 5.5 では毎秒 240.4 出力トークン、Gemma 4 12B では 113.1、初回トークンまでの時間は 2.48 秒。

• 完了した Index タスク 1 件あたりのコスト — Claude Haiku 5.5 で $0.21。G​emma 4 12B はトークン単価が十分に安いため、ボードの混合値は 100 万トークンあたり $0.12 になるが、そこから導き出されるタスクあたりコストは、この比較を決めるべき数値ではない。

• 重み — Gemma 4 12B は Apache 2.0、ダウンロード可能、約120億パラメータの dense モデル。Claude Haiku 5.5 はプロプライエタリであり、重みの公開はなく、予定もない。

• 登場からの期間 — G​emma 4 12B は 2026 年 6 月から公開されています。Claude Haiku 5.5 は本稿執筆時点で公開から 2 日です。

差は29ポイントで、価格差はほとんどない

もう一度、2つの価格行を見てください。入力はどちらも$0.10、出力は$0.30対$0.50です。G​emma 4 12Bのほうが安く、その差はトークン数に埋もれてしまうほど小さいものです。Claude Haiku 5.5は新しいトークナイザーを採用しているため、同じテキストが約30%多くのトークンになります。そのため、G​emma側の出力レートで40%という生の優位性も、実際の請求額ではほぼ相殺されます。

つまり、Index スコアで29ポイント劣るモデルにほぼ同じ料金を払っているか、29ポイント上回るモデルにほぼ同じ料金を払っているかは、どちらの列を先に読むかで変わるということだ。これが正直な捉え方であり、率直に言うべきだ。両方のモデルが実行できるあらゆるタスクにおいて、Claude Haiku 5.5 は定価でより良い買い物であり、小さい方のモデルにどれだけプロンプトエンジニアリングを施しても埋まらない差で優れている。

したがって、興味深い問いは「どちらが優れているか」ではない。それは「私のキューにあるタスクのうち、Gemma 4 12B が失敗するのはどれか」であり、その答えだけがこの比較を決める。

APIにはできない、ウェイトがもたらしてくれるもの

A screenshot of the Artificial Analysis page for Gemma 4 12B (Reasoning), showing an Intelligence Index of 14 at rank 21 of 142, speed rank 19 of 142, input $0.10 and output $0.30, 113.1 output tokens per second, a summary noting text, image, speech and video input with text output and a 262k-token context window, and the note that the score places it well above the median of 8 for comparable models.

ダウンロードしたモデルは別種の資産であり、その利点は漸進的なものではなく構造的なものである。

• データ境界 — G​emma 4 12B では、ベンダーが一切介在しません。医療、法務、防衛、金融のワークロードにおいて、多くの場合、重要な要件はそれだけであり、どれほどスコアが高くても API が受け入れ可能になることはありません。

• 変動費ではなく固定費 — 12Bのdenseモデルを4ビットに量子化すれば、最新のアクセラレータ1基に余裕をもって収まる。そうなれば、トークンあたりの限界費用は電気代になり、ワークロードはメーターではなくマシンを基準にサイジングできる。

• 外部送信なし、ネットワーク遅延なし — オンプレミスの12Bモデルは、何もこの筐体から出ないためミリ秒で応答します。ベンダーAPIは往復遅延と、エッジ配備にはまったく存在しないコールドスタートのテールを負担します。

• ファインチューニングと蒸留 — 自分のデータで G​emma 4 12B を適応させ、アダプターを出荷し、それを凍結できます。A​nthropic が Haiku 級モデルのファインチューニングをいつか許可するかどうかは、それを前提にロードマップを組めるようなものではありません。

• ロードマップの下支えとなる最低ライン — 重みがあなたの足元から非推奨にされることはない。Anthropic は、2027年10月7日より前に Claude Haiku 5.5 を廃止しないことを約束している。これは寛大だが、日付の付いた約束は、やはり日付の付いた約束にすぎない。

• モダリティは、奇妙なことに — ボードには Gemma 4 12B がテキスト、画像、音声、動画を入力として受け取り、テキストを出力すると記録されている。これは Claude Haiku 5.5 のテキストと画像よりも広い入力範囲だ。別途文字起こしサービスなしで音声を取り込むローカルパイプラインにとって、それは API 側にはない実際の機能である。

A screenshot of the Hugging Face model card for gemma-4-12B, showing the Google uploader, the 'Any-to-Any' and 'Transformers / Safetensors' tags, the gemma4_unified_image-text-to-text identifier, 'Eval Results', 'Model card', 'Files and versions' and 'Community' tabs, a licence line reading 'License: Apache 2.0, Authors: Google DeepMind', and the opening of the card describing the Gemma 4 12B Unified model as sharing the multimodal functionality of Gemma 4 E2B and E4B with native audio and vision understanding and no separate encoders.

12Bが接触で生き残れない場面

29ポイントの差を測るのと同じボードは、小規模な密なモデルがうまくできない事柄も記録しており、それらを飛ばすのは不誠実だろう:

• 長いコンテキスト — 1,000,000 に対して 262,000 トークン。コードベースや1年分の記録を1つのプロンプトに詰め込むパイプラインは、G​emma 4 12B では見込みがなく、それを検索ループに分割すると、より大きなウィンドウなら避けられたはずのエンジニアリングが追加される。

• エージェント型およびコンピュータ利用作業 — 小規模モデルの失敗が静かで高くつくタスクのクラス。Anthropic自身のベンダー報告によるClaude Haiku 5.5の数値では、OSWorld 2.1が72.4%であるのに対し、前世代のHaikuは15.7%でした。Indexが14の12Bモデルはその仕事に適したツールではなく、ここでのベンダー数値は、独立した実行がそれらを再現していないという事実を考慮しても、有用なシグナルです。

• 共有フリートでの秒間スループット — ホスト型インスタンスで毎秒113トークンなら問題ありませんが、セルフホストする理由は速度ではなく、単一Gのデプロイではさらに遅くなります。

• 誰もあなたのフォールバックにはならない — 本番環境で G​emma 4 12B を実行するなら、自社ハードウェアの停止はあなたの停止であり、自分で構築しない限りフェイルオーバー先となる第2のプロバイダーは存在しない。

それらのどちらかを1つのエンドポイント経由で実行する

OrcaRouterは本日、Gemma 4 31BとGemma 4 26B-A4Bをカタログに掲載しており、Googleの定価、マークアップ0%で提供しています。ただし12Bは含まれていません。これを暗示するのではなく、はっきりと述べておく価値があります。12Bはベンダー自身の配布チャネルや複数のサードパーティプラットフォームから入手できます。Claude Haiku 5.5も同様にまだカタログには掲載されていません。AthropicのAPIや主要なクラウドから利用可能です。

ルーターが実際に提供するのは、この比較が本当に求めている形です。安価なローカルモデルと高価な API モデルの賢明な配備は分岐ではなく、ルートです。G​emma 4 12B またはホスト型の G​emma 4 バリアントが簡単な大多数に応答し、品質または長さの条件に引っかかったリクエストは A​nthropic のレッグへエスカレーションします。Claude Haiku 4.5、Claude Sonnet 5.5、Claude Opus 5.5 が現在カタログに揃っています。そのため、小規模ティアのレッグが利用可能になる前にさえ、エスカレーション経路を構築し負荷テストできます。OrcaRouter では、その構成はルーティング DSL 式と自動フェイルオーバーであり、保守するサービスではなく、プロバイダーの定価が 0% のマークアップでそのまま渡されるため、どのレッグの価格変更も発生した当日に反映されます。

そのルール

制約によって除外されない限り、Claude Haiku 5.5 を選んでください。ほぼ同じ定価で、Gemma 4 12B を Index ポイントで 29 ポイント上回り、100万トークンのコンテキストを扱え、両方が試せるあらゆるタスクでより強力なモデルです。この比較で 12B が実力で勝つパターンはありません。

制約そのものが要点となるとき、つまりトークンが自社環境の外に出られないとき、予算が従量メーターではなくマシンそのものであるとき、ファインチューニングが必要なとき、あるいは料金表や提供終了日ではなく重みを手元に置く必要があるときは、G​emma 4 12B を選びましょう。それらは好みではなく要件であり、要件に対して29ポイントの差は単に決め手となる数字ではありません。