「ある数値が後退したアップグレード」と題された生成タイトルカード。サブタイトルは「Microsoft-Decision-1.1 対 Microsoft Decision 1 — Decision Index v2.1」。4つのラベルチップは「67.78 対 62.07」「123 ms 対 274 ms」「49.4% 対 21.7% の棄権」「6.29% 対 8.64% HLE」。キャプションは「6週間の隔たり、同じトークン価格」。Speed と Knowledge というラベルの付いた2つの灰色の棒ブロックがある。OrcaRouter のロゴが右下隅に合成されている。
Guides & Insights

Microsoft-Decision-1.1 対 Microsoft Decision 1:数字が1つ後退したアップグレード

著者

jinhao.song

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

Microsoft-Decision-1.1 について公表されているすべての数値は、1つを除いて Microsoft-Decision-1 の数値を上回っており、その例外こそが興味深い点です。Artificial Analysis Decision Index v2.1 では、新モデルは 67.78 対 62.07 を記録し、タスクあたり 123 ms 対 274 ms で 2.2 倍高速であり、回答を控える信頼性もはるかに高くなっています。AA-Omniscience-Decision での非ハルシネーション率は 49.4% 対 21.7% です。しかし、旧モデルが正解した質問では、新モデルのほうが正解数は少なくなっています。HLE-MultiChoice v1.1 の生の正解率は 6.29% 対 8.64%、AA-Symmetry の質問のうち一貫して回答できたのは 47.5% 対 51.7% です。Microsoft-Decision-1.1 は厳密に優れた Microsoft-Decision-1 ではありません。異なるキャリブレーションが施されたモデルであり、そのトレードオフの方向性こそが移行判断の分かれ目になります。

2つのモデルは6週間隔てて登場した。Microsoft-Decision-1は2026年10月8日に一般提供を開始し、Qwen3.5-9Bからポストトレーニングされたテキスト専用スコアラーだった。Microsoft-Decision-1.1は2026年11月17日にIgniteでGemma 4 26B A4B上で登場した。これはMicrosoftが、判断に十分なアクティブパラメータを持ちながら、A100、H100/200、GB200/300ハードウェア全体で提供できるほど小さいと説明する専門家混合(MoE)ベースだ。価格は同じ。32Kの上限も同じ。3つの質問タイプも同じ。バックボーンが異なり、レイテンシクラスが異なり、強みのセットも測定可能なほど異なる。

ベースモデルの変更がリリースです

Version 1は90億パラメータの高密度モデルでした。Version 1.1は260億パラメータのMixture of Expertsで、GoogleがGemmaシリーズで用いている形でA4B接尾辞を読むなら、トークンあたり約40億がアクティブです。これは段階的な再トレーニングではなく、異なるアーキテクチャ、異なるファミリー、そして異なるサービング特性の集合です。Microsoftのローンチ投稿は、この差し替えがコストと知能に関する判断だったと明言し、トークンごとの生成ではなくスコアリング向けに構築されたカスタム推論エンジンと組み合わせています。

その交換で得られたもの、買い手が気づく順に:

• レイテンシ — タスクあたり274.25 msから123.25 msに短縮(インデックス全体で測定)。最速の単一コンポーネントであるWhen2Callでは、新モデルは平均94 ms、旧モデルは230 msです。

• キャリブレーション — ブライア penalty を適用した精度である Decision Score は、5つすべての意思決定コンポーネントで上昇しました。Omniscience は54.89から60.46へ、HLE は39.42から46.11へ、Paperclip は51.82から58.67へ、EvalSafe は86.82から88.85へ、When2Call は87.95から95.08へと上昇しました。

• 拒否挙動 — Omniscience における非ハルシネーションは2倍以上に増加し、21.74%から49.40%になった。HLE では15.05%から38.36%に上昇した。その目的のすべてがしきい値で判定されることにあるモデルにとって、これはリスト上で最も重大な変更である。

• モダリティ — 画像はテキストやJSONと同様に受け入れ可能な入力に加わった。音声と動画は依然として拒否され、モデルは依然として説明も根拠も出力トークンも生成しない。

• コンテキスト — 32,768トークンのまま変更なし。ここでは何も変わっていません。そして、この点ははっきりと述べておく価値があります。なぜなら「1.1」という表記は、すべてが改善されたという思い込みを誘うからです。

1.1が劣る点と、マイクロソフト自身のフレーミングがそれを予測する理由

リグレッションはランダムではありません。それらは、モデルに何かを決定させるのではなく、何かを知ることを求める2つのコンポーネントに集中しています。

HLE-MultiChoice v1.1では、素の正答率が8.64%から6.29%に低下した——難しい問題に正しく答えられた割合が相対的に27%減少した。それでもDecision Scoreは39.42から46.11に上昇した。なぜなら、モデルが実際に示した回答への自信が、その回答が正しかったかどうかと非常によく一致するようになったからだ。言い換えれば、当て推量は下手になり、自分が当て推量をしていることをはるかによく認識できるようになった。複合指標は後者を評価し、前者をほとんど問題にしない。

AA-Symmetryでは、全体像はより微妙で、あまり芳しくありません。Symmetryは、同じ質問を言い換えたとき——選択肢の順序を入れ替える、ラベルを交換する、はい/いいえを反転する——に、同じ確率で同じ回答を生み出すかどうかを測ります。バージョン1は全合格レベルで言い換えの51.7%に合格しました。バージョン1.1は47.5%に合格しています。そのSymmetry スコアはそれでも改善し、70.42から75.72になりました。なぜなら、ドリフトするときのドリフト幅が今は小さくなったからです。完璧な実行は減り、外れも小さくなりました。これはスコアラーとしては擁護可能な形ですが、意思決定モデルが保証すべき唯一の特性——言い回しが回答を変えないこと——における後退です。

Microsoftの基調講演は、暗黙のうちに思われていたことを公然と口にした——これらのモデルは「基礎科学研究や非常に長い時間軸にわたるエージェント作業のような、より難しい問題向けには明示的にまだチューニングされていない」。なぜなら、そうした能力向けにチューニングすれば、あらゆる定型業務の価格が上がるからだ。決定1.1は、その方針が実行に移されたときの姿である。知識ベンチマークは意図的に、少なくとも異議なく悪化した。

A screenshot of the Artificial Analysis page for Microsoft-Decision-1, dated October 2026, headed 'Release, Decision Index Score, Performance & Price'. The summary states the model is below average on the Decision Index and somewhat expensive, notably slow, supports text input only and carries a 33k-token context window. It scores 62 against a board median of 66, runs at 274 ms per task against a 206 ms median, prices at $0.042 per million input tokens and costs about $143 per million tasks, ranked 20 of 25 on cost. Component rows for Decision Index, AA-Paperclip, EvalSafe-O*NET-AA, When2Call, AA-Omniscience-Decision v1.1 and HLE-MultiChoice v1.1 sit below.

変わらなかったもの:価格カードと32Kの壁

両バージョンとも、Global Standardでは入力トークン100万あたり$0.042、US Data Zoneでは$0.046、EUおよびAPAC Data Zoneのデプロイでは$0.05と記載されており、出力は存在しないため出力への課金はありません。Microsoftの表現は「同じコストで2倍以上高速」であり、トークン価格はそれを正確に裏付けています。

タスクあたりの測定コストは、少し違うことを示しています。バージョン1はインデックス上で100万タスクあたり142.56ドル、バージョン1.1は139.64ドルです。2%の改善であり、2倍ではありません。理由は、タスクあたりのコストがトークン価格に入力消費量を掛けたものであり、新しいモデルはトークンを半分消費しているのではなく、半分の時間で回答しているからです。制約が実時間の予算やリクエストパス内のルーティングステップであるなら、アップグレードは大きく明確です。制約が支出額であるなら、1.1は請求額を変えませんし、Microsoftもそうなると主張したことはありません。

もう一つの変わらない数字は上限です。両モデルとも32,768トークンを読み込み、Microsoftの1.1向けドキュメントは、v1ページの「最大32Kトークンの入力」という表現をほぼそのまま繰り返しています。どちらにもキャッシュサポートは文書化されていません。つまり、200問のルーブリックは、両バージョンで、どのボリューム階層でも、呼び出しごとに全額支払うことになります。これはこのカテゴリの経済性における最大のレバーであり、どちらのリリースもそれに触れていません。

A generated two-column scoreboard headed 'Microsoft-Decision-1.1 vs Microsoft Decision 1 — the scoreboard'. The 1.1 column reads Decision Index 67.78, speed per task 123 ms, non-hallucination 49.4%, HLE accuracy 6.29%, symmetry pass rate 47.5% and context 32,768 tokens. The Decision 1 column reads Decision Index 62.07, speed per task 274 ms, non-hallucination 21.7%, HLE accuracy 8.64%, symmetry pass rate 51.7% and context 32,768 tokens. A footer reads 'All figures per Artificial Analysis Decision Index v2.1, read 19 November 2026.' The OrcaRouter logo is composited in the bottom-right corner.

盲信せずに移行する方法

APIの形状は、移行が主に設定で済むほど十分安定していますが、完全にそうとは限りません。Microsoft は v1.1 の呼び出しを、stateと型付き質問のマップ — noul、choice、score — を/providers/microsoft/v1/systemone に対して Foundry リソース上で POST するものとして文書化しており、modelフィールドにはモデル名ではなくデプロイ名が入ります。応答は基になるモデルをそのまま返すため、ワークロードにちなんだ名前のデプロイでも、どのバージョンが応答したかを知ることができます。

デプロイ名を差し替えてダッシュボードを眺めるのではなく、順番に実行する価値のある3つのステップ:

1. ラベル付きセットの精度ではなく、信頼度分布を再記録してください。非ハルシネーション率が21.7%から49.4%へ上昇したということは、同じしきい値において1.1がより実質的に大きな割合の質問を辞退することを意味します。パイプラインが回答の欠落をルーティングシグナルではなくハード障害として扱う場合、このアップグレードは、すべてのベンチマークが改善だと示していても、本番環境ではリグレッションに見えます。

2. しきい値を再調整する。バージョン1の信頼度スケールで選んだカットオフが、移動後の分布に適用されている。Microsoft自身のガイダンスでは、ゲートを自動化する前にラベル付きの事例でしきい値を検証することが推奨されており、これは従来と変わらぬ助言でありながら、今や重要な支えとなっている。

3. 自分の言い回しで対称性回帰をテストする。プロンプトが選択肢の順序が変わるテンプレートから生成されているなら — ほとんどのルーティングプロンプトはそうだが — 気にすべき数字は複合スコアではなく、47.5% の全合格率だ。質問を20個複製し、選択肢を並べ替えて、argmax がどれくらい頻繁に変わるかを測定する。

その第3ステップが安価なのは、棄権にいく先があるからだ。判断を辞退する決定モデルは、その辞退先が答えを返せて初めて有用になる。そしてそれが、パイプラインのうちOrcaRouterが担う部分だ。つまり、200以上のモデルにまたがる1つのキーと自動フェイルオーバーにより、信頼度の低い選択結果を、人間を呼び出す代わりに汎用モデルへルーティングできるのである。そしてルーティングDSLはその2つを単一の呼び出しシーケンスに組み合わせることができる。Gemma 4 26B A4B — Decision 1.1の内部にあるベースモデル — は100万入力トークンあたり$0.06、100万出力トークンあたり$0.33で当社のカタログに掲載されており、プロバイダーの定価で0%のマークアップがそのまま適用されるため、疑わしい判断に対する可能な限り最も安価な健全性チェックは、その自身のバックボーンへの実際の呼び出しとなる。

A screenshot of the OrcaRouter model page for google/gemma-4-26b-a4b-it, headed 'Gemma 4 26B A4B' with a 262K-token context badge and input modalities listed as text, image and video plus vision, tools, JSON and reasoning tags. The provider line reads Google, 2026-04-05, and the description identifies it as an instruction-tuned mixture-of-experts model from Google DeepMind with 25.28 total parameters and 3.8B active per token. Pricing reads $0.06 input and $0.33 output per million tokens, with zero data retention available and 76.0M tokens of usage.

そもそも移動するかどうか

バージョン1に留まる理由は存在し、それは限定的ではあるが現実的だ。ワークロードが、誤答が無回答より悪い難しい知識問題——HLEプロファイル——であるなら、バージョン1の方がそれらにより多く回答した。プロンプトが選択肢を並べ替える形でテンプレート化されているなら、バージョン1は言い換えに対してより安定していた。また、しきい値をすでに調整し、ラベル付き本番データで検証済みなら、新しい信頼度分布はその作業を無効にする。

他のすべての人にとっては話は明快だ。同じトークン単価でスループットは2倍、ドキュメント通過率は20.9%から36.8%へ上昇、以前には存在しなかった画像入力、そして誤ったコミットメントが高くつくまさにその状況で「わからない」と答える頻度が2倍になるモデル。これらこそ、意思決定レイヤーが求められる理由となる特性だ。それが犠牲にした知識ベンチマークは、誰もこのモデルを買ってまでやらせたかったことではなかった。

移行を一言で言えば、レイテンシと棄権(abstention)のために1.1へ移行し、同じ週にしきい値を再調整し、バージョン1の数値は引き出しにしまっておくこと——いつか誰かが、なぜ新しいモデルは以前のモデルが答えていた質問に答えなくなったのかと尋ねる日のために。