SubQ Snap 1.1は、回答を控えることを学習することでDecision Indexで首位に並んだ。

最新モデルが首位に立つArtificial Analysis Decision Index v1.0で、首位に立つのは最も多くの回答を正解するモデルではない。SubQ Snap 1.1は、Subquadratic が 2026年10月22日にリリースし、65点を記録してd1-ultraとElephant 9Bと並んで首位となった。Jev 1.14は57点だ。インデックスの下にある細かい注記を読むと、同点の理由は生の正答率ではまったくない。Artificial Analysis の記事では、Snap 1.1 の正答率を20%としており、d1-ultra は32%、Elephant 9B は12%だ。Snap 1.1 が両者より優れているのは、回答を拒否することだ。

それはベンチマークの小細工ではなく、実際のエンジニアリング成果だが、誰が注目すべきかを変える。決定モデルはチャットモデルではない。文書と、許可された固定の選択肢群——このキューまたはあのキューにルーティングする、このツールを呼ぶか断る、はい／いいえ／エスカレーション——を受け取り、キャリブレーションされた確率を付けた選択を返す。10日前にプレビューが出荷されて以来のSubquadraticの主張は、このワークロードには、一般的なLLMが「refund」という単語を生成するために出力トークンを消費するのではなく、専用のアーキテクチャが必要だというものだった。Version 1.1は、キャリブレーションの主張が検証できるほど具体的になった最初のリリースだ。

Snap 1.0 と 1.1 の間で実際に何が変わったのですか

これは新しいモデルではなく、ポストトレーニングのリリースだ。Subquadratic Sparse Attention バックボーン、384Kトークンのウィンドウ、テキストと画像を組み合わせた入力経路はすべて、10月12日に提供開始された Snap 1.0 から変わっていない（入力トークン100万個あたり0.05ドル）。変わったのは、モデルが不確かなときの振る舞いだ。ベンダーによると、1.1 は明示的な不確実性キャリブレーションを追加し、思考の連鎖を生成してから回答を確定するのではなく、多段階推論を単一のフォワードパスに蒸留する。

その変更についてSubquadraticが報告している数値は異常なほど具体的で、これは良い点であると同時に精査に値する。ホールドアウトされた確率ベンチマークにおける期待キャリブレーション誤差は0.108から0.014に低下した。答えられない質問に対する確信度の高い誤りは600件中294件から600件中57件に減少した——ローンチ報道が繰り返し引用している81%の削減である。分布外入力に対する過信ハルシネーションは99.3%から12.5%に低下した。ベイズ最適決定ルールとの一致率は83%から90%に上昇した。ベンダーの16ベンチマークからなるエンタープライズスイートでは、1.1はJev 1.14を平均7.2ポイント上回り（95%信頼区間は6.5～7.8）、12勝3分1敗で、Snap 1.0を平均5.5ポイント上回る。

それはすべてベンダーによる報告です。Subquadraticの外部で1.1の実行結果を公開した者はまだいません。存在する独立系リポジトリはプレビューモデルをテストしており、それらについては後述します。

精度20%のモデルがなぜ首位タイに並ぶのか

Decision Indexは精度だけを単独で評価するものではない。不確実性下での意思決定の結果を評価する。つまり、モデルが答えられない質問に対して回答を控えることは、自信のある推測より価値が高く、自信のある誤った推測よりはるかに価値が高い。Artificial Analysisは、Snap 1.1の非ハルシネーション率、つまり正しく答えられなかった質問に対して「わからない」と答えた頻度を86%と報告している。Elephant 9Bはより高く93%、d1-ultraはわずかに低く85%だ。Snap 1.1の20%という精度はその3製品の中で中間であり、そのインデックススコアは両者と同一だ。

そのトレードオフが正しいかどうかは、誤った答えが下流でどれだけのコストになるかによって完全に決まります。サポートチケットルーターでは、自信を持った誤ルーティングが請求に関する苦情をエンジニアリングのキューへ送ってしまい、顧客は2日待つことになります。一方、判断保留なら、30秒かかる人手によるトリアージ工程へ回されます。人間が介在しない大量コンテンツ分類ジョブでは、判断保留はラベルなしの行にすぎず、重要なのは精度の数値です。この指標が示しているのは、Snap 1.1が最初のケース向けに作られているということです。購入できる中で最も精度の高い分類器だと言っているわけではありません。実際そうではないからです。

値下げと、誰も口にしない分母

1.1でのもう一つの変更は価格です。入力トークン100万あたり0.04ドルで、プレビュー版の0.05ドルから20%減、出力トークンは無料です。この後半部分が請求額を作り変える部分です。生成モデル上に構築された分類器は、答えに対して支払います——通常は短い答えですが、推論モデルは何を出力するかを決めるのに数百トークンを使うことがあります。Snapには支払うべき出力がないため、100Kトークンを読む呼び出しのコストは約0.4セントだけで、それ以外はかかりません。

Artificial Analysisは同じ数値をトークンあたりではなくタスクあたりで示している。Snap 1.1では100万タスクあたり約30ドル、d1-ultraでは32ドル、Elephant 9Bでは8.4ドルだ。このタスクあたりの数字が有用であり、また、トークンあたりの定価が意思決定モデルを他の何かと比較するには不適切な方法だということも思い起こさせる。請求額は入力長に応じて増えるため、4Kトークンのルーティング呼び出しと300Kトークンの契約書レビューは、同じレートでもまったく異なるコスト帯に収まる。

ベンダーの数字では決着がつかないもの

ローンチ投稿とは別に押さえておくべき点が2つある。1つ目は懐疑的な見方だ。Subquadraticのリリースに関するコミュニティの報道——「AIの何でも屋」として流布したBlockBeatsの報道を含む——は、一連の主張のうちどれだけが独立に再現可能かを疑問視しており、モデルはオープンウェイトではないため、外部の者が実行できるチェックポイントは存在しない。2つ目は、実際に存在する独立系テストが1.1ではなくプレビュー版に対して行われたということだ。jcarlosrodicioによる再現可能な比較では、Snapは30Kトークン未満でJevにわずかに後れ（93.9%対94.7%）、360Kトークンのログでは大きく後れていた（Jevをチャンク分割した場合、58.8%対Jevの77.1%）。別のソフトウェアエンジニアリングベンチマークsnap-vs-jev-sweでは、SnapはSWE-bench Verifiedのファイル特定でランダムベースライン10.6%に対して87.5%を記録し、選択肢の順序を逆にすると5.0%の項目で回答の反転が測定された。

それらの結果は1.1によって否定されてはいない——キャリブレーション作業はまさにそれらを動かす種類の変更ではある——が、その証拠でもない。公表された数値には小さな内部不整合もある。ローンチ時の報道ではWhen2Callスコア96.2が引用されている一方、同じベンチマークのSubquadratic自身によるチャンス補正済み多肢選択版では91.0と記録されている。異なるタスク形式について両方が真であり得るが、96.2を競合他社の数値と比較する購入者は、自分がどちらの版の数値を持っているのかを知るべきだ。

それが壊れるところ

ベンダー自身の16ベンチマークスイートの「敗北」列は示唆に富む。フィッシング検出セットであるPhishNChipsは、Jev 1.14に22ポイント遅れをとっており、Subquadraticはそれをランキング品質ではなく閾値調整に帰している——ROC-AUCは0.91対0.92でほぼ同水準だ。これは、閾値を調整する意欲のあるチームにとっては修正可能な問題だが、ドロップインを求めるチームにとっては修正不能な問題である。知識・推論サブエリアは5つのうちJevが55.1対50.9で完全にリードする唯一の領域だ。Snap 1.1は、回答セットが明示的で根拠が文書内にある場合に最も強い：ツールと自動化（85.3対74.6）、検索と分類（67.0対63.1）、言語理解（71.6対63.3）。

誰が動くべきで、誰が待つべきか

{{1}}判断が長い文書に対して行うルーティング、ツール選択、エスカレーション、関連性判定であり、自信のある誤答がエスカレーションよりも高いコストになるなら移行してください。{{/1}} {{2}}384Kウィンドウが運用上の理由です。完全な契約書、チケットスレッド、ログバンドルを単一パスで処理でき、構築すべきチャンキング層も、同期を保つべき検索パイプラインもありません。{{/2}} {{3}}プレビューをすでに運用しているチームが最も明確な根拠を持っています。価格が下がり、API変更なしにキャリブレーションが改善したからです。{{/3}}

生成テキストが必要な場合、ベンチマークの出題構成における20%という精度が許容下限を下回る場合、あるいはホットパスで100ms未満のレイテンシが必要な場合も、待つべきです。Subquadraticは1.1についてレイテンシの数値を一切公表しておらず、プレビューの第三者測定では8Kトークンの呼び出しに約0.75秒かかっていました。セルフホストが必要な場合も同様です。重みは存在しません。

スタック内での位置づけについて、実務的な補足を1つ。SubQ Snap 1.1 は Subquadratic 自社の API とコンソールを通じて提供されており、OrcaRouter のカタログには含まれていません。そうでないふりはしません。当社が担うのは、意思決定の背後にあるレイヤーです。Snap が「モデルを使う」という呼び出しを解決するとき、そのモデルはOrcaRouter で単一のキーから利用できる 200 以上のモデルの一つであり、プロバイダーの定価でマークアップ 0%、プロバイダー間の自動フェイルオーバー付きです。意思決定レイヤーと実行レイヤーは独立して障害が発生するため、両方を同じベンダーに預けないことには価値があります。

未解決の問いは、1.1のキャリブレーション数値が本物かどうか——それらは検証されるほど具体的だ——ではなく、別のハーネスでも通用するかどうかである。公開Snapベンチマークでは、プロンプトの文言によって精度が11〜14ポイント動いた。これはインデックス上で任意の2モデル間の差よりも大きい。ベンダー自身のプロンプトテンプレートの下でしか成り立たないキャリブレーション改善なら、ローンチが示唆するものよりはるかに小さな話になるだろう。