「Karpo Decision 31B」という見出しと、サブ見出し「307モデルのボードの首位に立つ31BのGemma 4ファインチューニング。その名を冠したローンチ投稿はなし」を持つ生成済みタイトルカード。そこには「重み: 2026年11月5日」「総合スコア: 73.9」「告知: なし」と記された3つのチップ、横並びの4点タイムライン「11月5日 リポジトリ」「11月6日 スコアリング実行」「11月12日 6モデルファミリー」「11月16日 README編集」、そして「価格なし」「エンドポイントなし」「Artificial Analysisの行なし」と記された枠線付きカードがある。
Guides & Insights

Karpo Decision 31B、ローンチ投稿を一切出さずに307モデルのボードで首位に

著者

jinhao.song

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

2026年11月12日、TypeSafeのJe​vのオープンな再現を追跡するコミュニティリーダーボード「Decision Index」は、Karpo Decision 31Bを総合スコア73.9で首位に置いた。これは307件のエントリーの中で最高である。同じ週、このモデル——GoogleのオープンなGemma 4 31Bのファインチューン——がGoogle自身のGem​ini Decision 1を上回るという主張が広まり始めた。この2つの記述のうち、今日の読者が確認できるのは片方だけであり、その違いこそが物語のすべてだ。Karpoを1位に置いたボードは公開されており、日付もあり、ラボが公開した45 MBの結果ファイルから再現できる。Gem​ini Decision 1との直接対決は一度も行われていない。両モデルは単一のリーダーボードを共有しておらず、スコアを付けられた計測器も同じではない。

前半を奇妙にしているのはスコアではない。その周囲の静けさだ。Karpoを手がけるシンガポール企業MachinePulse Pte. Ltd.は2026年11月5日にHugging Faceリポジトリを作成し、同日にGitHubで推論リポジトリを公開し、11月12日には5つの小型兄弟モデル——12B、9B、4B、2B、0.8B——を投入した。これを書いている時点で、製品ページもブログ記事も価格設定もモデル発表もAPIも存在しない。同社のサイトは、それらがあるはずのあらゆるパスで404を返す。Karpoは重み、README、Pythonパッケージ、そしてリーダーボードの1行として存在している。本稿は、それら4つが何を伝えられ、何を伝えられないのかについての記事だ。

A capture of the community Decision Index leaderboard, headed with the multimodalart jev-decision-index attribution, listing Karpo Decision 31B at 73.86 in first place ahead of GLiDE 27B at 73.37, REAX 1.3 at 72.64, Logits Sigma-1 Duo at 72.28, Copernicus-31B at 72.11, KnowLine 31B Gen1.5 at 71.91, Copernicus-57B at 71.8, FlexDM-LoRA 2.1 at 71.66, Sieve 31B v3 at 71.10, OneJev1.6g-31B at 70.86 and Turion Jev 31B at 70.47.

その日付と、それがいつも以上に重要な理由

リポジトリ作成のタイムスタンプは2026年11月5日15:33 UTCです。GitHubの推論コードは22分後に作成されました。Decision Index実行データセット、つまり73.9を監査可能にするものは、11月6日05:18 UTCにアップロードされました。READMEは11月16日にもまだ編集されており、最後の2つのコミットは著作権表示の行とライセンス声明以外は何も変更していませんでした。

それは、リポジトリが活発に動いているのに正式ローンチがない、2週間前のモデルだ。リークではなく、古い何かの改名でもない。重みは新しく、ライセンスファイルも新しく、6モデルのファミリーはひとつの午後にまとめてプッシュされた。要するに、マーケティングより先に成果物を公開することを選んだラボだ。

73.9が正確に何を測定しているのか

A single-column scoreboard titled 'Karpo Decision 31B — the scoreboard' with six rows reading 'Full score: 73.9, third-party private tests', 'Public index: 75.05, vendor run, board-adopted', 'Rank: joint first of 307', 'Artificial Analysis: no row', 'Price: none published' and 'Licence: Apache-2.0, Gemma 4 terms alongside', footed 'Full score computed by the Decision Index maintainers; public index from a 140,178-request vendor run adopted by the board.'

現時点でのDecision Indexはエディション0.4.1です。そのFullスコアはボードのメンテナーによって非公開テストで計算されます。タスクのおよそ60%は公開スイートと同じスキルから抽出され、40%は公開スイートが対象としないドメインから出題されます。Karpoの行はFull 73.9と表示され、同一スキル部分では70.7、新規ドメイン部分では78.6です。この最後の2つの数値は異例の順序で並んでいます — モデルは通常、チューニング対象のスキルよりも不慣れな領域の方が成績が悪くなります — そしてカードはそれについて何のコメントもせずに報告しています。

ボードは首位から0.9ポイント以内のモデルに同じ順位を1つ公表するため、Karpoが単独で1位を占めることはない。73.4のGLiDE 27Bが#1の座を分け合っている。その背後には72.6のREAX 1.3、72.3のLogits Sigma-1 Duo、72.1のCopernicus-31B、71.9のKnowLine 31B Gen1.5が続く。これは大接戦のトップであり、独走ではない。

カード上の2番目の数値、75.05は由来が異なり、別の読み方をされるべきだ。それは公開インデックスであり、MachinePulse自身が公式スコアリングキットを実行した結果に由来する——採点されたリクエストは140,178件、うち9件は、1つの質問とその状態が32,768トークンのウィンドウを超えたため拒否された。ボードはその実行結果を採用した。一般的なベンダーの数値よりも信頼できる理由は、実行ディレクトリが公開されていることだ:results.jsonl.gz、リクエストごとのスコアファイル、環境マニフェスト。誰でもキットを再実行して比較できる。ボード自身による採用がレビューのステップである。これはほとんどのローンチ時の主張が満たす基準よりも厳しいが、それでも独立したラボが独自のハードウェアでモデルを採点するのとは同じではない。

では、ラベルは二つあり、これらを一つにまとめてはならない。Full score は非公開テストから第三者によって算出され、public index は公開スイートからファーストパーティによって算出され採用されている。どちらも通常の意味でのベンダーベンチマークではない。どちらも Artificial Analysis ではない。

なぜ「beats Gemini Decision 1」はまだ実測された主張ではないのか

Gem​ini Decision 1には数値がある。Artificial Analysisは、Decision Index v2.1でそれを65.98と採点した。これは、文書判断、ツール呼び出し、知識、推論、不変性にわたって重み付けされた6つの評価を合成した指標である。そのボード上では、AAが順位付けする判断モデルの11位に位置し、74.85のd1.2-ultra、72.62のDrex Max v1.1、72.58のSubQ Snap 1.2を下回り、62.07のMicrosoft-Decision-1を上回る。採点はAAによるもので、AAのハードウェア上で行われ、実行には100万タスクあたり$345かかる。

Karpoはそのボードにはまったく掲載されていません。Artificial Analysisにはそれ用のページも行もありません。また、Karpoを扱っているDecision IndexトラッカーにもGemini Decision 1は掲載されていません——そのボードはオープンな再現の登録簿であり、Googleのモデルは再現できる重みを持たない、API専用のクローズド製品です。

つまり、皆がしているこの比較は、異なるタスク構成、異なる非公開テストの割合、異なる採点式を持つ2つのスイートについて、2つの組織が出した2つの数値からの推論にすぎません。方法論と向き合ってなお通用する意味では、73.9は65.98より大きいわけではありません。明日、両方を同じキットで実行すれば、Karpoが十分に勝つ可能性はあります。カテゴリ別のプロファイルは強いからです。しかし、誰もそれを実行しておらず、現時点の見出しは、結果の衣装をまとった仮説にすぎません。

さらに知っておく価値のあるややこしい点が一つある。それは主張を支えるどころか、むしろそれに反する。トラッカーの5つのカテゴリー別内訳では、Karpoの最も弱い領域は知識と推論で、チャンス補正済みスキルは65.5。最も強いのはツールと自動化で88.4だ。AAのボードでは、Gemini Decision 1がほぼすべてを上回る唯一の構成要素は知識の項目で、AA-Omniscienceで66.3となり、ここで確認した4モデルの中で最高値である。Googleのモデルが最も得意とする領域は、Gemmaのファインチューンが相対的に最も弱い領域だ。直接対決があればそこは楽勝ではなく真剣な勝負になるだろうし、まさにそれが、実施されていない比較を勝利として報告すべきでない理由である。

ランキングよりも興味深いカードの部分

A capture of the Hugging Face model card for MachinePulseAI/karpo-decision-31B showing the Text Classification tag, the gemma4 image-text-to-text tag, the apache-2.0 licence, the line 'Ranked #1 on the Decision Index, with the highest Full score, 73.9', the description of a multimodal decision model that returns a probability for every option of every question in one forward pass without generating text, 'Fine-tuned from google/gemma-4-31B', 'Parameters: 31.3B in bf16, plus a 255 x 5,376 readout in fp32', the screenshot input at state.viewport_screenshot, and the base-model link to google/gemma-4-31B.

KarpoはJSONモードを備えたチャットモデルではありません。これは読み出し機構です。質問内の各選択肢には選択肢コードが割り当てられ、線形ヘッドが固定スロットで255個のコードをスコアリングし、そのうえで質問が実際に提示した選択肢に対してソフトマックスをかけます。何も生成されないため、答えは常にあなたが提供した選択肢のいずれかになり、出力コストは構造上ゼロです。

このアーキテクチャは一段落で語る価値がある。レイテンシの理由を説明してくれるからだ。リクエストとは、ひとつの状態に任意の数の質問を加えたもので、単一のシーケンスとしてエンコードされる。まず質問群、次に状態、そして質問ごとにひとつのブランチが続く。ブランチアテンションにより、各ブランチは共有ブロックと自分自身を参照でき、他のブランチを参照することは決してない。状態は一度だけ計算される。したがって、ひとつの請求書に関する100の質問にかかるコストは、請求書をおよそ一度処理する分だけで、100回分ではない。

• パラメータ — bf16で31.3B、加えてfp32の255 × 5,376の読み出し層。ディスク上で約62.5 GB。

• コンテキスト — シーケンスあたり32,768トークン;長いリクエストは質問単位で分割され、各部分は完全な状態を引き継ぎ、それでも収まらない質問は切り詰められるのではなく拒否される。

• 入力 — テキスト、JSON、画像。スクリーンショットは state.viewport_screenshot として、またはデータ URL として渡すことができます。

• 質問タイプ — 選択式最大255個の選択肢を持つnoulは真偽用、スコアは順序付きレベル用です。

• インターフェース — System One 形式の Python API と HTTP サーバー、POST /v1/systemone。

• ライセンス — 重みとコードは Apache-2.0、Gem​ma 4 自体のライセンスもリポジトリ内に併記されています。

トラッカーの参照ハードウェア上で、GPU 1基、一度に1リクエストという条件で測定されたレイテンシは中央値94 msです。これは、1ターンあたり20回の小さな呼び出しを行うエージェントのステップごとのループ内で認識されないほど高速ではありませんが、会話あたり数回しか発火しないツール呼び出しゲートの背後に置くには十分高速です。このカードはキャリブレーション誤差が4.8ポイントであることも報告しており、デプロイが実際に依存するのはこの数値です。精度は最上位の回答がどれくらいの頻度で正しいかを示し、キャリブレーションはそれに付随する確率を閾値処理できるかどうかを示します。

確認されていないこと、率直に言えば

価格はありません。「ローンチまで非公開」ですらない——料金表も、ホスト型エンドポイントも、コンソールも、トライアルもありません。今日 Karpo Decision 31B を使いたければ、62.5 GB をダウンロードし、リポジトリ付属のローダーを使って自分の GPU で実行するしかありません。チェックポイントを通常のチャットモデルとしてロードしても、その回答は再現できません。ブランチ・アテンションとリードアウトの両方が必要です。

独立したスコアは存在しません。Decision Index は非公式で、コミュニティによって維持管理されています。慎重で、十分に文書化されており、手法について異例なほど透明性が高いものの、Artificial Analysis ではなく、自前のハードウェアでこのモデルを採点するよう依頼されたこともありません。最も強力な第三者要素は、その維持管理者がベンダーの見たことのないテストで Full score を計算したことです。

README自体の説明以外に、このモデルが何のために構築されたかについてのベンダーによる声明はない。エージェントが各ステップで行う小さな判断——ツールを呼ぶか先に確認するか、ページ上のどの要素をクリックするか、返品がポリシー上対象となるか——のことだ。その説明はラボによる枠付けであり、独立に検証された範囲ではない。

発表は何もない。静かな告知も、変更履歴の項目もない。モデルの重みが公開されてから2週間後、その会社の対外的な顔は採用ページと別の製品ラインだけだ。

これを試してみたいチームがどうなるか

正直にまとめると、Karpo Decision 31Bは過去2週間で最も興味深いオープンな意思決定モデルであり、最も裏付けの乏しいモデルでもある。その首位は本物だが同点でもあり、公開インデックスは再現可能で、非公開テストのスコアは真に第三者によるものであり、中心的なマーケティング主張——Gemmaのファインチューニングが今やGoogle自身の意思決定モデルを上回るという主張——は測定されていない。

すでに意思決定レイヤーを運用しているチームにとって、現実的な道筋は移行ではなくシャドウデプロイです。本番トラフィックを担っているモデルはそのままにし、同じリクエストに対してKarpoをオフラインで実行し、ラベルではなく確率を比較してください。4.8ポイントのキャリブレーション誤差とは、およそ20件に1件の回答が、示された確率から期待される以上に自信過剰なまま誤っているということであり、それを人によるレビューキューにするかインシデントにするかを決めるのがしきい値ポリシーです。スタックの残りを単一のエンドポイントに標準化しようとしているなら、今週実際に手が届くモデルはカタログに載っているものだけです——Gemma 4 31Bそのもの、これがKarpoのベースであり、200以上のモデルをプロバイダー定価でマークアップなしに提供する単一のAPIを通じて利用できます。また、TypeSafeのJev 1.14——このオープン再現ボード全体が追いかけるために作られたモデルです。Karpoも他のモデルたちと同じように、呼び出し可能であることでその枠を勝ち取らなければなりません。

注目すべきは73.9ではない。MachinePulseが今後1か月以内に製品ページ、価格、そしてAAへの提出を出すかどうかだ。ウェブサイトより先にモデルの重みを公開するラボにはたいてい理由があり、その理由は通常、ホスト型エンドポイントか方向転換のどちらかとして現れる。いずれにせよ、AAボード上の最初の独立した数値は、2週間のリーダーボード計算では決着しなかったことを1週間で決着させるだろう。

この記事で比較したモデル1

この記事から検出 · ベンチマーク:Artificial Analysis · 毎日更新