「SubQ Snap 1.1 vs Gemma 4 12B」というタイトルで、サブタイトルが「オープンな汎用モデルに対する専門特化型ジャッジ」の生成済みヒーローカード。向かい合う2枚のカードにはそれぞれのモデル名が付され、左側には「固定回答セット」「重みなし」、右側には「テキストを生成」「Apache 2.0」という注記がある。
Guides & Insights

SubQ Snap 1.1 vs Gemma 4 12B:オープンな汎用モデルに対する専門特化の判定モデル

著者

Gideon Frost

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

の両方に尋ねてくださいSubQ Snap 1.1とGemma 4 12B、500件のサポートチケットのうちどれが返金依頼か。そうすればどちらも実用的な答えを出します。ただし、チケットごとにどれだけ確信しているかも教えてくれるのは一方だけであり、自分が所有するハードウェアにダウンロードして実行できるのも一方だけです。これが比較のすべてであり、勝者が決まらない理由は、この2つのモデルが実際には同じ製品カテゴリにないからです。Snap 1.1 は Subquadratic が2026年10月22日にリリースした意思決定モデルで、固定された選択肢群をスコアリングし、テキストは生成しません。Gemma 4 12B は Google DeepMind のオープンウェイトの汎用モデルで、Apache 2.0 の下で提供される約120億パラメータの高密度モデルであり、テキスト、画像、音声、動画を読み取り、文章を書き戻します。

これらを代替物として扱うと、次の2つの誤りのどちらかを犯すことになる。ラップトップで実行できる分類器にAPI料金を払うか、棄権するようには訓練されていないモデルから構造化ルーティングを引き出そうとするかだ。同じパイプラインの2つの層として扱えば、両者はかなりうまく噛み合う。

それぞれが実際に何なのか

Gemma 4 12BはGemma 4ファミリーの中間モデルで、オンデバイス向けのE2BおよびE4Bモデルと、26B-A4Bおよび31Bの階層の間に位置します。際立ったアーキテクチャ上の主張はエンコーダフリーであることです。画像パッチと音声波形は、別個の視覚エンコーダや音声エンコーダを通すのではなく、言語バックボーンへ直接投影されます。推論構成と非推論構成の両方で動作し、Apache 2.0の下で提供され、誰の許可も得ずにファインチューニング、量子化、組み込み、出荷ができるためチームが選ぶタイプのモデルです。正確なリリース日については追跡サイトの間で見解が一致しておらず、Artificial AnalysisとBenchLMは2026年6月3日、llm-statsは5月23日としています。これは、オープンなリリースに関する地味な事実でさえ、誰が数えているかによって異なる形で語り直されるという小さな reminder です。

SubQ Snap 1.1 は意図的により狭い範囲に特化している。最大384Kトークンのテキストと画像、さらにアプリケーション定義の回答セット(1〜16個の質問、質問ごとに2〜255個の選択肢)を受け取り、確率付きの選択結果を返す。解析すべき自由記述の出力も、強制すべきJSONスキーマもなく、モデルが提示されていない質問に答える方法もない。Subquadraticの主張は、これが生成とは異なる計算処理であり、疎なアテンションアーキテクチャなら300Kトークンの文書全体に二次のアテンションを支払うのではなく、トークンあたり一定の計算量で実行できる、というものだ。

仕様を並べて比較

・コンテキスト — SubQ Snap 1.1 は1回のパスで384Kトークンを受け付けます。Gemma 4 12B は256K(262,144)です。

• 入力モダリティ — Snap 1.1 はテキストと画像に対応; Gemma 4 12B はテキスト、画像、音声、動画に対応。

• 出力 — Snap 1.1 はリストから選択肢またはスコアを確率付きで返し、Gemma 4 12B は任意の長さのテキストを生成します。

• 価格 — Snap 1.1は入力100万トークンあたり$0.04で出力は無料、Gemma 4 12Bのプロバイダー間の中央値は入力100万トークンあたり$0.10、出力100万トークンあたり$0.30です。

• 重み — Snap 1.1 は一切公開していません。Gemma 4 12B は Apache 2.0 ライセンスの重みを提供しており、ダウンロード、量子化、セルフホストが可能です。

• キャリブレーション — Snap 1.1 は、期待キャリブレーション誤差 0.014 と、答えられない質問に対する 86% の回答保留率を報告しています。Gemma 4 12B は、比較可能なキャリブレーション指標を公開していません。

• ベンチマークの基準 — Snap 1.1 は Artificial Analysis Decision Index v1.0 で 65 を記録し、同率首位。Gemma 4 12B は Artificial Analysis Intelligence Index で 14 を記録しており、これは同サイズクラスにおける推定値です。

A generated two-column scoreboard titled 'SubQ Snap 1.1 vs Gemma 4 12B — the scoreboard'. SubQ Snap 1.1 column: Context 384K, Output chosen label, Calibration ECE 0.014, Weights none, Price $0.04 in / $0 out, Decision Index 65. Gemma 4 12B column: Context 256K, Output generated text, Calibration not published, Weights Apache 2.0, Price $0.10 / $0.30, Intelligence Index 14. Footer notes the two indices are not comparable.

最後の2行は比較可能ではなく、警告なしに隣り合わせに配置すべきではありません。Decision Index は固定解答タスクにおける意思決定の質を測定し、Intelligence Index は一般的な推論を測定します。65と14は異なる問いに答えています。

双方が実行できるタスクと、それに要するコスト

現実的なルーティング呼び出しを考えてみましょう。8,000トークンのチケットスレッド、5つの候補キュー、1つの回答です。Snap 1.1は入力トークン100万あたり$0.04を請求し、出力は無料なので、この呼び出しのコストは約$0.00032です。Gemma 4 12Bはプロバイダー価格の中央値で、同じ8,000入力トークンに対して$0.0008を請求し、さらに出力分がかかります——ラベルだけならおそらく5トークン、つまり$0.0000015ですが、回答前に思考する推論構成では200〜400トークンを容易に消費し、それでさらに$0.00006〜$0.00012かかります。

したがってAPI料金では、Snapは1回の呼び出しあたり2〜3倍安く、文書が長くなるほどその差は広がります。Gemmaの入力価格がSnapの2.5倍だからです。100Kトークンでは、Gemmaが何も書き出す前の時点で比較は$0.004対$0.010です。

さあ、すでに手持ちのGPUでGemma 4 12Bをセルフホストしましょう。呼び出しあたりの限界費用は電気代まで下がり、比較は完全に逆転します。この対決において最も重要なのはまさにこの点です。Snap 1.1が安いのは、推論をトークン単位で購入している場合に限られます。アイドル状態のキャパシティがあるなら、Gemmaは限界的に無料であり、Snapがそうなることは決してありません。

Gemma 4 12B が勝る点

明白な答えはオープン性だが、有用な答えはもっと具体的だ。Apache 2.0 なら、利用しているエンドポイントをベンダーが勝手に非推奨にすることも、深夜2時のバッチジョブがレート制限で抑制されることも、データがネットワーク外に出ることもない。規制対象のワークフロー—請求トリアージ、臨床コーディング、契約レビュー—では、最後の点が通常、価格の話になる前に議論の決着をつける。

Gemmaはまた、Snapが構造上できないことも行います。ルーターがエスカレーションすると判断した後に、エスカレーションの要約を書きます。スキャンしたフォームを読み取り、通話録音を文字起こしし、その両方についての質問に1回のパスで答えます。自社のラベル付きデータでファインチューニングでき、狭い分類タスクでは、あらゆる汎用モデルのゼロショット挙動をしばしば上回ります。ベンダーが公表している数値では、MMLU-Proで77.2、GPQAで78.8、LiveCodeBench v6で72.0を記録しています——フロンティアモデルとしては控えめですが、単一のアクセラレータに収まるものとしては十分に立派です。

A screenshot of the Artificial Analysis model page for Gemma 4 12B (Reasoning), captured October 23 2026, showing an Intelligence Index of 14, output speed of 118.7 tokens per second, pricing of $0.10 per 1M input and $0.30 per 1M output, a 262k token context window, 12B parameters and an Apache 2.0 licence.

その弱点も同じくらい具体的だ。ツールなしのHumanity's Last Examで5.2、MRCRv2の長文脈検索で43.4、そして一般的なプロバイダー速度での最初のトークンまでのレイテンシが約2.4〜2.6秒で、これはエージェントループ内のルーティングホップとしては遅い側だ。

SubQ Snap 1.1 が優れている点

重要な順に3つ。第一に、較正された棄権。Snap 1.1は、正しく答えられない質問に対して「わからない」と答える割合が86%であると報告している。これは、ベンダーの全知プロキシにおける自社の1.0リリースの0.7%に対するもので、この改善がこのバージョンの目玉だ。汎用LLMに確実に棄権させるには、プロンプトエンジニアリング、信頼度ヒューリスティック、または最初のモデルを評価する2番目のモデルが必要だが、それらのどれも、棄権を明示的な目標として訓練されたモデルほどクリーンではない。

第二に、コンテキストです。256Kに対して384Kを単一パスで処理でき、さらに重要なのは、チャンキング戦略を設計する必要がないことです。256Kの一般モデルは技術的にはその文書を保持できますが、その中間から正しい文を取得できるかは別問題であり、MRCRv2におけるGemmaの43.4というスコアは、正直な答えが「ときどき」であることを示唆しています。

第三に、出力の形です。5つのキューに対する確率は、そのままルーティングのしきい値として使えます。生成された文はそうではなく、一方を他方に変換するグルーコードこそが、本番の分類バグのほとんどが潜む場所です。

A screenshot of Subquadratic's SubQ Snap 1.1 announcement page, captured October 23 2026, showing the October 22 2026 date, the claim of 65 on the Artificial Analysis Decision Index, native 384K context and the $0.04 per 1M token price with output free.

Snapに欠けているのは、1.1に関する独立した検証だ。存在する第三者評価はプレビューモデルをテストしたものであり、そのうちの一つ——95pctaiによる、SnapをGemma 4 31Bと比較した文書関連性評価の調査——では、Snapは実行速度が約2倍で1回あたりのコストは半分だったものの、Gemmaベースラインが捉えた21件の回答を逃していた。この調査の著者は、判定側もベースラインもGoogleのモデルであり、Gemmaに有利に働いた可能性があること、またSnapは1回しか実行されなかったことを指摘している。

デプロイメントの現実

Gemma 4 12BはOrcaRouterのカタログにはありません。当社では同ファミリーの26B-A4Bおよび31Bティアを提供しており、12BはGoogle自身のチャネルおよび複数のサードパーティプラットフォームで利用可能です。Snap 1.1も同様に当社のものではありません。これはconsole.subq.aiのSubquadratic APIを通じて動作します。

ほとんどのチームにとって現実的な問題は、どちらに標準化するかではなく、判断レイヤーと生成レイヤーが依存関係を共有すべきかどうかです。両者は異なる形で障害を起こします。ルーターがダウンすれば、作業が始まる前にパイプラインが止まります。ジェネレーターがダウンすれば、作業の途中で止まります。2つを別々のベンダーに分ける——OrcaRouterで200以上の生成モデルに1つのキー、プロバイダー定価に対するマークアップ0%、自動フェイルオーバー付き、判断モデルには別の契約——ことは、どちらかのベンダーで障害が起きてもパイプラインが停止するのではなく、性能が低下するだけで済むことを意味します。

1回のパスで決定する方法

判断が固定された選択肢へのラベル付けで、文書が長く、重みをホストできない場合は、Snap 1.1 を選び、このバージョン用の評価ハーネスは誰も公開していないため、独自に構築するための予算を計上してください。

判断がラベルであっても、同じ呼び出しでテキストも生成する必要がある場合、データを自社ネットワークの外に出せない場合、または余剰のGPU容量がある場合は、Gemma 4 12Bを数千件の自社事例でファインチューニングすれば、特定のタスクにおいて汎用の判断モデルを通常は上回ります。

本当に判断がつかないなら、安上がりな実験は、同じ2,000件のラベル付きケースで両方を走らせ、精度ではなく、それぞれが犯すエラーのコストを比べてみることだ。Snapのほうがより多く回答を控える。Gemmaはより多く答え、そうとは言わずにより頻繁に間違える。そのどちらがより悪いかは、どちらのモデルの性質ではなく、あなたのビジネスの性質だ。