
Karpo Decision 31B vs Kev 27B:より充実したドキュメントを持つモデルが14ポイント差で敗れる
- OrcaNEWOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 100万トークンあたり · 184 tok/s
- tencentNEWTencent: Hy4 Flash2026-11-16$0.02 / $0.07 100万トークンあたり · 223 tok/s
- GoogleNEWGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 100万トークンあたり · 87 tok/s
- AnthropicNEWAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 100万トークンあたり · 96 tok/s
- orcaNEWOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 100万トークンあたり · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 100万トークンあたり · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 100万トークンあたり · 77 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 100万トークンあたり · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 100万トークンあたり · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 100万トークンあたり · 69 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 100万トークンあたり · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 100万トークンあたり · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447知能
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 100万トークンあたり · 209 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929知能
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 100万トークンあたり · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733知能
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 100万トークンあたり · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740知能
これは、両モデルが同じ人々によって同じ評価手段で採点された珍しい対戦だ。Karpo Decision 31B と Kev 27B はどちらも Decision Index に載っている。これは TypeSafe の Jev のオープンな再現実装を採点するコミュニティ掲示板で、両者の差は小さくない。MachinePulse のモデルが 73.9 Full であるのに対し、Jared Palmer の Kev 27B は 59.6 で、同一の非公開テストにおける差は14ポイントに広がる。Karpo はこの掲示板で首位。Kev は307台中74位。
その結果は厄介だ。なぜなら Kev 27B ははるかに厳密に文書化されたモデルであり、しかも意思決定モデルが実際に求められる唯一の特性——その確率の誠実さ——において、それを上回るモデルよりも測定可能なほど優れているからだ。これらの主張はどちらも同じ2つの情報源に由来しており、なぜそれらが互いに矛盾しないのかを理解することが、この比較で最も有用な点である。
スコアの前に、各モデルとは何か
Kev 27B は、以下のモデルの全重みファインチューンです:Qwen3.8-27B。Jared Palmer によって Apache-2.0 の下で公開されています。2026年9月30日にリリースされた第2版は加重平均です。すべてのバックボーンテンソルは、ファインチューン済み重みの 0.85 倍に前バージョンの重みの 0.15 倍を加えたもので、ポインターヘッドは新しい実行から保持されています。提供されるチェックポイントは、バックボーンが 25.6B、ヘッドが 2.6M パラメータで、bf16 で 51.3 GB です。また、単一のキャリブレーション温度 1.32 がヘッドファイルに焼き込まれています。状態は 65,536 トークンまで実行でき、質問あたり少なくとも 8,192 トークンです。この数値は名目値ではなく検証済みであり、カードには 8k から 64k までの各バケットにおける 8k ベースラインとのペア精度差が信頼区間付きで公開されています。
Karpo Decision 31BはGemma 4 31Bのインストラクションチューニング済みモデルをファインチューンしたもので、MachinePulseが2026年11月5日に公開し、ライセンスもApache-2.0です。31.3Bパラメータをbf16で保持し、さらに255 × 5,376のfp32リードアウトを備え、ディスク上では62.5 GBです。トークンに対するポインタヘッドではなく、選択肢コードに対する線形ヘッドを通じて回答します。コンテキストはシーケンスあたり32,768トークンで、リクエストがオーバーフローした場合は質問ごとに分割し、単一の質問が収まらない場合は切り捨てではなく明確に拒否します。
同じ仕事、異なるエンジニアリング。Kevは長い文書を読み、分布を生成する。Karpoはやや短い文書を読み、より速く分布を生成する。
14の項目と、それを生み出したもの

両方の行は同じボードに由来するため、このセクションは直接の減算が正当化される数少ない箇所の一つです。
• 総合スコア — Karpo 73.9、Kev 59.6。
• 公開インデックス — Karpo 75.05、Kev 56.69。
• Full scoreでランク付け — Karpoは1位(GLiDE 27Bと73.4で同率)、Kevは307人中74位。
• 知識と推論 — Karpo 65.5 偶然補正済みスキル、Kev 45.7。
• ツールと自動化 — Karpo 88.4、Kev 72.7。
• 芸術と人間の嗜好 — Karpo 68.2、Kev 42.7。
• レイテンシ中央値(GPU 1基、1回につき1リクエスト)— Karpo 94 ms、Kev 135 ms。
損失の形状はあらゆるカテゴリで一貫しており、最大の絶対ギャップは知識カテゴリで、ほぼ20ポイントに達している。文書判断にKevを使うことを計画している人なら誰でも懸念すべきなのはこの点だ。モデルは文書および開発者ツール関連の作業で重点的に訓練されており、145,840件の訓練記録のうち24,000件はライセンス済みのタスクファミリーに由来し、さらに7,617件は寄せ集めの長文文書であるにもかかわらず、依然としてKarpoの知識スキルの3分の2に達している。
Kev自身のカードは、進む方向について率直だ。独自の広さスイートでTypeSafeのJevと比較して測定すると、Kevは指数52.3、信頼区間[49.2, 55.4]を報告しており、Jevは54.0 [51.2, 57.0]だ。これはKevが率直に述べ、取り繕わない敗北である。自らの負けを示す区間を公表するチームは、他の数値にも疑いを挟まず信じるに値する。まさにそれこそが、59.6を恥ずかしいものではなく信頼できるものにしている。
逆方向に進む数字
ここが意外な点です。キャリブレーション誤差——表明された確率が観測された的中率からどれだけ乖離するか——はケヴに有利で、しかも僅差ではありません。
トラッカーは、Kev 27Bの予想キャリブレーション誤差を2.18ポイント、Karpo Decision 31Bを4.77ポイントと記録している。平たく言えば、Kevが0.8と言うとき、約80%の確率で正しく、平均して2ポイント外れる。Karpoが0.8と言うときは、平均の外れ幅は5ポイントに近い。Kevのカードは独自の側面からこれを裏付けており、パネル別のECE値が0.014から0.053の間であること、および5分割交差検証により適合誤差が4.8%から3.8%に低下することを公表している。
つまり、回答が苦手なモデルのほうが、自分の回答がどれだけ優れているかを把握するのは得意だ。これは逆説ではなく、正確さとキャリブレーションの違いであり、どのモデルをどこに配置すべきかを決めるものである。
• 意思決定がしきい値で自動化される場合、キャリブレーションが支配的な特性となります。0.9 に設定されたゲートが Karpo の 0.9 の回答で発火する場合、Kev の回答に同じゲートを適用する場合と比べて、誤りは約 2 倍の頻度になります。Kev の精度が低いことはスループットを犠牲にします — より多くのケースがしきい値を下回りレビューに回るからです — が、キャリブレーションが優れているため、基準をクリアしたケースはより安全です。
• 判断がレビューまたは採点される場合、正確性が支配的です。人間または下流プロセスは最上位の回答と確率を見ており、14ポイントの正確性は正しく行われた作業の14ポイントです。誰も閾値処理をしていなければ、Kevのキャリブレーションの優位性は何の価値も生みません。

両モデルは同じ3種類の質問タイプを提供します — choice(最大255個の選択肢)、true/false用のnoul、順序付きルーブリック用のscore — さらに両方ともSystem One形式のHTTPエンドポイントを公開しているため、コード上で選択を可逆にできます。良い知らせは、それについて議論するのではなく、自分のデータを使って午後には測定できるということです。
ドキュメントの長さこそが、仕様が実際に分岐するポイントです。
Karpoの32,768トークンの上限はシーケンスごとで、分割ルールは「質問単位で、各部分が状態全体を保持する」です。20kトークンの契約書に対する100件の質問なら、1回のパスで済み、何の問題もありません。40kトークンの契約書に対する1件の質問なら、リクエストは拒否されます — MachinePulse自身の実行における140,178件のリクエストのうち9件が、まさにこの形で失敗しました。
Kevは65,536トークンの状態を提供し、バケット単位で検証されます。また、その長文ドキュメントパネルは、実際の契約書を扱う人にとってカード上で最も有用な機能です。CUADの商用契約では、2,194問に対して精度0.874を報告しており、バケットごとの数値は8k未満から32k~64kトークンまで0.867~0.880の範囲に収まっています。精度は長さによって崩れません。変わるのはキャリブレーションです。その長文ドキュメントパネルでの誤差は0.053で、短文ドキュメントの数値の約3倍です。長い状態では、Kevの確信度が緩くなります。
長さについての正直なトレードオフはこうだ。KevはKarpoが拒否する文書を受け付け、その文書には短い文書に答えるよりやや低い信頼性で答える。どちらのモデルも黙って切り詰めることはなく、これはどちらの数値よりも重要だ。尋ねた条項を静かに落とす判断モデルは、ノーと言うモデルより悪い。
デプロイ、重み、ライセンスはどちらも共有しています
両モデルとも重みとヘッドはApache-2.0で、どちらも独自のローダーが必要であり、チャットモデルとして扱うとひどく失敗する。Kevには80 GBクラスのGPU——64kトークンの状態はH200で87.1 GBに達した——または約96 GBのMacが必要だ。Karpoには62.5 GBのbf16重みを保持できるGPUが必要だ。どちらも発行元によるホスト型エンドポイントはなく、Kevは自身のリポジトリのサーバーによって、Karpoは自身のパッケージによって提供される。どちらもコミュニティによる量子化を集めており、これは人々がそれらについて読んでいるだけでなく実際に動かしているという通常のシグナルだ。
135 ms 対 94 ms の差は、同一ではないハードウェア上でのリクエストあたりの値なので、方向性を示すものとして扱ってください。方向性ではなく明確なのは運用上の形です。Kev の全シーケンスに対する非因果的アテンションは、状態が長くなるほどトークンあたりのコストが増えます。一方、Karpo はリクエストごとに1つの共有状態を計算し、そこから質問を分岐させます。ワークロードが短い状態に対する多数の質問なら、Karpo はまさにそのために作られています。長い文書に対する1つの質問なら、Kev です。
どれを実行しますか?
Kev 27Bは、モデルに64kトークンの契約書を渡す必要がある場合、確率でしきい値を設定し、そのしきい値が表示どおりの意味を持つことを重視する場合、そして自社の損失に関する信頼区間を公表するベンダーを評価する場合に選ぶべきです。両モデルが競ったベンチマークでは約14ポイントの精度を受け入れることになりますが、その精度が何をカバーし、何をカバーしないかについて、この分野で最良の証拠を得られます。
状態がスクリーンショット、チケット、ページのいずれかで、短く、質問が多く、レイテンシに敏感であり、かつボードのFullスコアを重視する証拠とするなら、Karpo Decision 31Bを選んでください。5ポイントのキャリブレーション誤差と32kの上限を受け入れる代わりに、現行リーダーを94 msで手に入れることになります。
どちらも提供してくれないのは本番エンドポイントです。意思決定レイヤーが、ツール呼び出しのたびに発火するゲートの背後に置かれなければならないなら、こうしたモデルのどれかを自前で動かすか、ホストされたものを呼び出すことになります。TypeSafeのJev 1.14は当社カタログに掲載されています。まさにその役割向けであり、両チェックポイントが追いかけるために作られたモデルです。シャドーテストの対照として有用です。なぜなら、サードパーティのリーダーボードで対象モデルを上回るオープンな再現モデルは、あなたのトラフィックでも対象モデルを上回るはずだからです。カタログでは両ベースモデル、Gemma 4 31BとQwen3.8-27Bも取り扱っており、その提供経路は200以上のモデルをプロバイダー定価でマークアップなしに利用できる単一APIを通じてです。これは、GPUを購入する前に、意思決定レイヤーをそもそも自前で持つ価値があるかどうかを見極める最も安価な方法です。
この対戦が残す未解決の問いは、ボードには答えられないものだ。Karpoの14ポイントのリードが実際のワークロードに触れても維持されるのか、それとも競合よりプライベートテストセットに近い分布でチューニングされたことによる種類のリードなのか。Kevのカードは学習ミックスをレコード数に至るまで記録しているが、Karpoのカードは記録していない。その非対称性は何かの証拠ではなく、どちらの数値も信じるのではなく測定すべき理由である。

