「Karpo Decision 31B vs Microsoft-Decision-1」という見出しの生成されたタイトルカードに、「一方にはリーダーボードスコアがあり、価格はない。もう一方には Azure の価格表があり、公開されたスコアはない。」という一文が添えられている。以下に2枚のカード:「Karpo Decision 31B」には「73.86 フルスコア」「価格未公開」「Apache-2.0 の重み」が記載され、「Microsoft-Decision-1」には「Artificial Analysis で 62.07」「Azure API のみ」「ベンチマーク表なし」が記載されている。
Guides & Insights

Karpo Decision 31B vs Microsoft-Decision-1:一方には価格があり、もう一方にはスコアがある

著者

Gideon Frost

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

置くKarpo Decision 31Bの隣にMicrosoft-Decision-1と、最初に気づくのは、どちらの企業も両者を選び分けるために必要なものを提供していないということだ。Karpo Decision 31Bは、MachinePulseが2026年11月5日にローンチ投稿なしでHugging Faceに公開した313億パラメータのGemma 4ファインチューンで、リーダーボードの数値はあるが価格はない。Microsoft-Decision-1は、2026年10月8日からMicrosoft Foundryで提供されており、価格、Azure契約、責任あるAIパケットはあるが、公開されたベンチマーク表は一切ない。一方は測定可能だが販売不能。もう一方は販売可能だが、ベンダー自身の選択により測定されていない。

その逆転こそが比較のすべてであり、算術で解消したくなる衝動には抵抗する価値がある。Karpoが示す73.86と、Artificial AnalysisがMicrosoft-Decision-1に割り当てる62.07は、同じ一つのものを二通りに読んだ値ではない。それらは異なる評価ボード、異なるタスク構成、異なる採点式、そして意思決定モデルが何のためにあるかについての異なる考え方から来ている。有用な問いは、どちらの数値が大きいかではない。あなたのデプロイが実際に吸収できるのは、二つのギャップ — 欠けている価格か、それとも欠けているスコアか — のどちらかだ。

Microsoftが正確に何を売っているのか

Microsoft-Decision-1は、散文ではなく選択肢に対する分布で回答する、ポストトレーニング済みのQwen3.5-9Bです。その契約は狭く、最大32,768トークンのテキストに対するはい/いいえ、多肢選択、評価尺度、分類セット、またはルーブリックです。画像なし、音声なし、説明フィールドなし、生成トークンなしです。Microsoftは、自由回答形式の質問、翻訳、要約向けではないと明言しており、信用、雇用、住宅、保険、教育、医療に関する決定の唯一の根拠として使用することは推奨していません。

それが実際にもたらすのは、オープンチェックポイントにはできない部分です。Direct from AzureポートフォリオにおけるFoundryのデプロイ、サーバーレスまたは統合エンドポイント、Standard SKU、Azure認証、請求書1枚、意図的にオフにされたバッチ推論、そして重みのダウンロードもファインチューニングの経路もないこと。銀行や病院グループにとって、この最後の事実群はリーダーボードの20ポイント以上に値することがよくあります。なぜなら、それはプラットフォームチームが承認できるモデルと、プラットフォームチームがそのためにサービングスタックを構築しなければならないモデルの違いだからです。

価格は実在するが、引用するのは厄介だ。モデルページにはトークンあたりの料金が記載されておらず、Azureの料金ページへリンクしている。Artificial Analysisが同モデルについて追跡しているのは、入力レートで100万タスクあたり143ドルで、GoogleのGemini Decision 1の100万タスクあたり345ドルと対比される。Karpoには比較可能な数値がない。なぜならKarpoにはいかなる種類の料金表もないからだ——ホストもコンソールもトライアルもなく、GPUあたりのコストも公開されていない。

取締役会が測定したこと、そして測定しなかったこと

A generated two-panel diagram titled 'Two numbers, two instruments'. The left panel is headed 'Karpo Decision 31B — Decision Index 0.4.1' and lists 'Full score 73.86 — private tests, board-computed', 'Same-skills 70.94', 'New-domains 61.5' and 'Public index 75.05 — vendor run, all 140,178 requests, 11 refused'. The right panel is headed 'Microsoft-Decision-1 — Artificial Analysis Decision Index v2.1' and lists 'Composite 62.07', 'When2Call 88.0', 'AA-Paperclip 51.8 — 20.9% document pass' and 'HLE-MultiChoice 39.4 — 8.6% raw'. The footer reads 'The two panels are different instruments and are not subtractable.'

Karpoの数値はコミュニティによるものだ。TypeSafeのJevの再現を追跡するオープンボードであるDecision Indexは、edition 0.4.1でこれを73.86 Fullとしている。ボードが公開したダンプでは307行中首位タイで、GLiDE 27B(73.37)と同点だ。これはボードが首位から0.9ポイント以内のものをすべて同グループにまとめるためだ。そのFullスコアは、重要な意味で第三者によるものだ。ボードの運営者がベンダーの目に触れなかった非公開テストを実施しており、その内訳はおおよそ60%が同一スキル、40%が新規ドメインだった。Karpoの内訳は、馴染みのあるスキルで70.94、馴染みのないスキルで61.5となっており、既知のスイートに対して厳しくチューニングされたモデルによく見られる形だ。

モデルカードに記載された75.05はそれとは別物であり、カードはその点について正直だ。これはMachinePulse自身による公式スコアリングキットの実行結果で、スコアリング対象リクエスト140,178件のうち11件がウィンドウ超過により拒否され、キットによる再スコアリングが主張と同等の結果となった後に取締役会で採用された。公開され再現可能ではあるが、依然としてファーストパーティのものだ。取締役会自身の行はこの採用を確認し、提出された行とのプライベートテストの一致率が827行全体で100%であったと注記している。

Microsoft-Decision-1にはこれらのどれも備わっていない。そのカタログページには「ベンチマーク」タブがあり、そこには方法論の段落だけが載り、数値はない。公開およびコミュニティの意思決定ベンチマーク、ホールドアウトされた社内セット、精度とキャリブレーション誤差、選択肢の順序の変更、対応のある統計検定の適用。Microsoftは、モデルは「主要な意思決定モデルと同等で、同じ方法論で評価された他のオープンな意思決定モデルより優れている」と述べ、その後、評価結果の提示を拒んでいる。現在このモデルについての性能に関する主張はすべてベンダーによる報告であり、再現されていない。

{{1}}これを採点した唯一の評価ツールはArtificial Analysisで、Decision Index v2.1に基づくものであり、総合スコアよりも各構成要素の方が示唆に富む。{{/1}} {{2}}Microsoft-Decision-1はWhen2Callで88.0と首位に近く、EvalSafe-O*NETでは86.8を記録する。{{/2}} {{3}}AA-Paperclipでは51.8で、全か無か方式の文書合格率は20.9%、AA-Omniscience-Decisionでは54.9で非ハルシネーション率は21.7%、HLE-MultiChoiceでは39.4で素の正答率は8.6%だ。{{/3}} {{4}}パターンとしては、職場での判断を評価する能力は高いが知識行動が弱いモデルであり、留保して考えるべきは回答拒否の数値だ。知識に関する質問の78%に回答を控えるモデルは、有用であることを犠牲にしてキャリブレーションを守っている。{{/4}}

リクエストの形状を並べて表示

A generated two-column comparison titled 'The request shapes, side by side'. The Karpo Decision 31B column reads '31.3B bf16 plus fp32 readout — about 62.5 GB', 'text, JSON and images', '32,768 tokens, split by question, refuses overflow', 'choice up to 255 options, noul, score', '94 ms median per request' and 'Apache-2.0 weights'. The Microsoft-Decision-1 column reads '9B dense, API only, no weights', 'text only', '32,768 tokens, no way to raise it', 'yes/no, multiple choice, rating, classification, rubric', '274 ms per task' and 'no published rate on the model card'. A footer line reads 'Latency figures are not the same measurement: per request for one, per task over a document set for the other.'

• パラメータ — bf16 の Karpo 31.3B と 255 × 5,376 の fp32 リードアウトで、ディスク上は約 62.5 GB。Microsoft-Decision-1 は 9B の dense ベースで、API としてのみ提供されていた。

• 入力 — Karpo はテキスト、JSON、画像を受け取り、スクリーンショットはstate.viewport_screenshotとして渡されます。Microsoft-Decision-1 はテキストのみを受け取り、32,768 トークンにシリアル化します。

• コンテキスト — どちらも32,768トークンだが、失敗時の挙動に重要な違いがある。Karpoは長いリクエストを質問ごとに分割し、それでもなお収まらないものは拒否する。一方、Microsoftの上限は入力とオプションセットの合計であり、それを引き上げる方法はない。

• 問題タイプ — Karpo の選択は最大 255 個の選択肢、真偽には noul、順序付きレベルには score、Microsoft のはい/いいえ、多肢選択、評価、分類、ルーブリックに対応し、「判断できない」などの棄権オプションをセット内でサポートします。

• バッチ処理 — Karpoは1つの状態と多数の質問を単一のシーケンスにエンコードするため、1つの請求書に関する100件の質問でも、その請求書をおよそ1回処理するコストで済みます。一方、Microsoftが公開している契約は、1回の呼び出しにつき1つの状態とその質問セットであり、幅はグループ化によって確保します。

• レイテンシー — トラッカーのリファレンスハードウェア上で、Karpo は GPU 1 基、1 回に 1 リクエストで、リクエストあたり中央値 94 ms。AA の測定による Microsoft-Decision-1 はタスクあたり 274 ms で、これはリクエストあたりではなく文書セット全体に対するタスクあたりの数値。

• ライセンスとアクセス — Karpo については、Apache-2.0 の重みに Gemma 4 の条件が併記されています。Microsoft-Decision-1 については重みが一切なく、Azure の条件の下で API 専用です。

• 価格 — Karpoには公表された料金がありません。AAの追跡におけるMicrosoft-Decision-1では100万タスクあたり143ドルで、トークン単位の入力料金はモデルカードではなくAzureの価格ページに記載されています。

キャリブレーションは、双方に言い分がある軸だ

出力全体が確率であるモデルにとって、導入を左右する数値は精度ではなく、その確率が言うとおりの意味を持っているかどうかです。Karpoのカードはキャリブレーション誤差4.8ポイントを報告しています。採点対象の34,411件の応答全体では、平均信頼度が87.96%だったのに対し精度は83.19%で、最も信頼度の高いバケット——全応答の68.5%——では、98.7%と主張しながら実際に正しかったのは95.7%でした。これはしきい値を設定して運用できるモデルであり、上端に既知のドリフトがあります。

Microsoftは期待較正誤差もBrierスコアも信頼性曲線も公開していない。AAのコンポーネントスコアが示唆するのは、確信度が保守的に使われるモデルだ。OmniscienceとHLEにおける高い非ハルシネーション率は、不確かなときには回答するのではなく棄権することを意味しており、それはガードレールが求める挙動であって分類器が求める挙動ではない。その0.8がMicrosoft自身の評価の外でも0.8を意味するかは不明であり、Microsoftのドキュメントも独自の形でそう述べていて、統合者に対して代表的なデータで検証し、自らのエラーのコストから閾値を設定するよう促している。

その非対称性には実務上の帰結があります。Karpoでは、公開済みのキャリブレーション曲線を継承し、何かを実行する前に開始時のしきい値を設定できます。Microsoft-Decision-1では、方法論と約束を継承し、最初の2週間は測定プロジェクトになります。どちらも除外理由にはならず、単に種類の異なる作業なのです。

誰のタイトルにも言及されていないバージョン

Microsoft-Decision-1 はもはや自ファミリー内の現行モデルではない。Microsoft-Decision-1.1 は2026年11月17日に Ignite で、Gemma 4 26B A4B mixture-of-experts ベース上で登場し、価格と32Kの上限は同じで、Artificial Analysis のスコアは67.78——バージョン1より5.7ポイント高く、タスクあたり274 msではなく123 msで、Omniscience での非ハルシネーション率は21.7%から49.4%に上昇した。また、スコアラーが安定しているべき事柄では悪化した。HLE-MultiChoice の生の正解率は8.64%に対して6.29%、AA-Symmetry の問題ファミリーで一貫して回答できた割合は51.7%に対して47.5%だった。

したがって、11月下旬にKarpoを「Microsoftの意思決定モデル」と比較している人は、置き換え済みのバージョンと比較していることになる。だからといってこの対決が無意味になるわけではない——バージョン1は今なお、非常に多くのFoundry導入のサイジング基準となっている——が、Microsoft側で超えるべき数字が67.78であることは確かであり、二次的な問いは、知識の正確さを回答を控える規律と引き換えにするモデルが、そもそもあなたのパイプラインに適した形なのかどうかである。

どちらの側もあなたに与えられないもの

Karpoはあなたに契約を提示できません。エンドポイントも料金表もサポート窓口もSLAもなく、モデルカードとREADME以外にベンダーの声明もありません。組織が自社ハードウェア上で62.5 GBのチェックポイントを実行できなければ、スコアに関係なく比較はそこで終わりです。通常のチャットモデルとして読み込んでも、その回答を再現することはできません。ブランチアテンションと255コードの読み出しの両方が必要であり、PythonパッケージとPOST /v1/systemoneサーバーが存在するのは、汎用の推論スタックでは事足りないからにほかなりません。

Microsoft-Decision-1 は、あなたが信頼して受け入れたものではない数値を提示することはできず、あなた自身の意思決定データでファインチューニングすることもできず、スクリーンショットを読み取ることもできず、オフラインで実行することもできません。また、Decision Index はオープンな再現の登録簿であり、クローズドな API モデルには再現すべき重みがないため、Karpo と同じ計測手段であなたがベンチマークすることもできません。この2つのモデルはすれ違い続けるでしょう。一方のボードに Microsoft のスコアラーが掲載されることは決してなく、Artificial Analysis には Karpo の行がありません。

どちらの列よりも有用な第三の位置があります。実際に必要なのが生成パイプラインの隣にある意思決定レイヤーであれば、生成器はすでに標準化できる側です。OrcaRouterはKarpo Decision 31BもMicrosoft-Decision-1もホストしておらず、どちらもチャット補完ルートの背後に置くべきものではありません。それが実際にホストするのは、この比較が繰り返し取り上げる2つのモデルです:Gemma 4 31B、Karpoのファインチューニング元となったベースモデル、および TypeSafeのJev 1.14、つまりオープン再現ボードが追い求めるために存在するモデルです。両者は1つのOpenAI互換キーの背後で、200以上の他のモデルと並んで、プロバイダーの定価のままマークアップなしで提供されています。そのため、ベンダーの値下げは当日にこちら側へ反映され、自動フェイルオーバーがスコアリングループを稼働させ続けます、いずれかのプロバイダーが不安定になっても。

どちらを選ぶべきか

A generated decision card titled 'Which one to reach for'. The left card is headed 'Microsoft-Decision-1.1' with the subtitle 'when the estate is Azure' and the rows 'approval trail, one invoice', 'text that fits in 32K', 'budget a calibration study first' and '67.78 on Artificial Analysis'. The right card is headed 'Karpo Decision 31B' with the subtitle 'when you own the hardware' and the rows 'screenshots and JSON inputs', 'Apache-2.0 weights', 'published 4.8-point calibration error' and '73.86 Full score, private tests'. A wide strip underneath reads 'Do not choose on 73.86 versus 62.07. Different boards, different suites, no shared grading.'

Microsoft-Decision-1、より賢明には Microsoft-Decision-1.1 を選びましょう。意思決定レイヤーを Azure 環境内に置かなければならず、リーダーボード順位よりも承認履歴を重視し、入力が 32K に収まるテキストである場合です。キャリブレーション調査の予算を確保してください。Microsoft はそれを提供していないからです。また、棄権しきい値は、ベンダーによるエラーの説明ではなく、エラーのコストに基づいて設定してください。

GPUを持っていて、スクリーンショットやJSON状態が作業の一部で、出荷予定の製品にとってApache-2.0が重要で、第三者による非公開テストのスコアと公開されたキャリブレーション曲線がチームの受け入れる証拠なら、Karpo Decision 31Bを選べ。その代わりに、今やベンダーはあなた自身であることを受け入れよ:サポートなし、SLAなし、予算を立てるための価格なし、そして11月16日時点でもリポジトリがまだ編集されていた、2週間前のモデルだ。

73.86対62.07という数値の強さだけで、どちらかを選んではいけません。これらの数値は、同じ論文を採点したことのない組織が、非公開テストの比率も採点方式も異なるスイートで算出したものであり、正直に解釈すれば、どちらのモデルももっともらしく、どちらが他方より優れていると証明されたわけではありません。決着をつけるはずの検証、すなわちKarpoがMicrosoftのモデルも採点する独立系の評価ボードに登場すること、あるいはMicrosoftが方法論の節で説明している結果表を公開することは、まだ実現していません。それが実現するまでは、判断は調達、ハードウェア、入力モダリティに懸かるべきであり、そもそも最初からそうなるべきでした。