
Karpo Decision 31B 対 Nimble v3:ライセンスはリーダーボードより先に答えを出す
- OrcaNEWOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 100万トークンあたり · 184 tok/s
- tencentNEWTencent: Hy4 Flash2026-11-16$0.02 / $0.07 100万トークンあたり · 215 tok/s
- GoogleNEWGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 100万トークンあたり · 87 tok/s
- AnthropicNEWAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 100万トークンあたり · 97 tok/s
- orcaNEWOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 100万トークンあたり · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 100万トークンあたり · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 100万トークンあたり · 76 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 100万トークンあたり · 109 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 100万トークンあたり · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 100万トークンあたり · 68 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 100万トークンあたり · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 100万トークンあたり · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447知能
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 100万トークンあたり · 209 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929知能
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 100万トークンあたり · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733知能
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 100万トークンあたり · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740知能
ほとんど告知もなく同じ秋に2つの意思決定モデルが出荷され、しかもそれらは購入を通常左右する一つの問いに対して正反対の側に立つ。Nimble v3 — Bespoke-Nimble-9B-v3 として提出され、2026年9月30日に Hugging Face にアップロードされた — は CC BY-NC 4.0 の下の 9B LoRA アダプターで、カードでは「商用目的には使用できない」と言い換えられている。Karpo Decision 31Bは、2026年11月5日に MachinePulse が作成した、Apache-2.0 の下の 31.3B Gemma 4 ファインチューンで、Gemma 4 自体の条項も併記されている。この対決の他のすべて — 22ポイントのリーダーボード差、重みサイズの3倍差、2.5倍異なるキャリブレーション誤差 — はその分岐の下流にあり、ほとんどのチームはベンチマークで勝者を選んだ後に初めてそれに気づく。
まずライセンスを見てください。この比較で、確定していてしかも決定的なのはそこだけだからです。次に、数値から何が分かり、何が分からないのかを見てください。その面では、ほとんど何も確定していないからです。
各リポジトリに実際に含まれている内容
Nimble v3 は 5 つのファイルで構成されています。README、adapter_config.json、adapter_model.safetensors、schema_config.json、そして.gitattributesです。これは PEFT アダプターであり、単体のモデルではありません。ベースとして Qwen/Qwen3.5-9B を想定しており、リポジトリはそれを複製していません。カードにはコンテキストと型付きの質問 — 選択肢の中からの選択、またははい/いいえ — が説明されており、各選択肢の確率を返します。Bespoke Labs は v3 について、コンテキスト長、選択肢の上限、温度、変更ノートを公開していません。ファミリーの以前のチェックポイントはその一部を文書化していましたが、これはしていません。
Karpo Decision 31Bはフルチェックポイントで、bf16の31.3Bパラメータにおける62.5 GBの重みに加え、255 × 5,376のfp32リードアウトヘッドを備える。テキスト、JSON、画像を読み取り、質問ごとに最大255個の選択肢を受け付け、シーケンスを32,768トークンに制限し、より長いリクエストは質問ごとに分割し、それでも収まらないものは切り詰めるのではなく拒否する。System One形式のPythonパッケージとHTTPサーバー、すなわち{{2}}POST /v1/systemone{{/2}}を提供する。POST /v1/systemone汎用のchat-completionsスタックではこれを実行できない。ブランチアテンションとリードアウトのどちらも不可欠であり、チェックポイントを通常のチャットモデルとしてロードしてもその回答は再現しないからだ。
リポジトリの違いには実用的な利点がある。Nimble v3 の README は、正しくサーブする方法を教えてくれないが、Karpo のカードは教えてくれる。片方はオーナーズマニュアル付きのチェックポイントで、もう片方はライセンス行付きのチェックポイントだ。
そのギャップ、そしてそれを信じるために信頼しなければならない装置
Decision Index(TypeSafeのJevの公開再現を追跡するコミュニティ掲示板、現在エディション0.4.1)では、Fullスコアの2つの数値は73.86と51.06です。これは22.8ポイントの差です。Fullの数値が最も信頼に値するのは、メンテナー自身が実行したからです。その約60%は公開スイートと同じスキルを対象としたテストから、40%は誰も公開していないドメインから来ており、どちらのベンダーも事前にどちらの半分も見ていませんでした。Karpoの内訳は同一スキルが70.94、新規ドメインが61.5です。Nimble v3は52.34対38.2です。
各カードに記載された公開数値は、各ベンダー自身による公式キットの実行結果であり、それぞれ別個に読むべきものです。Karpo は採点対象となった 140,178 件のリクエスト全体で 75.05、Nimble v3 は 56.88 ——これは同カードが旧 0.2.1 スイート上で表示している数値で、ボードによる再実行では現行スケールで 57.19 となります。いずれもボードによって採用されたものであり、これは実際のレビュー工程ではありますが、独立系ラボが自前のハードウェアでモデルを動かすこととは同じではありません。どちらのモデルも Artificial Analysis には掲載されていません。これら2つのリポジトリの外でどちらかを採点した者はいません。
実際に意味するのは、22.8ポイントはほとんどのベンダー比較より信頼でき、両方のモデルを同じ測定器で読んだ単一の測定値よりは信頼できないということです。これは1つの組織が1つのスイートで1つの計算式を用いて生成したもので、オープンな意思決定モデルに利用できる最良のケースであることは確かです — ただし、そのスイートは非公式で、同点幅は0.9ポイントであり、非公開の半分はあなたが検査できません。方向性は現実のものとして、大きさは概算として扱ってください。
9Bモデルが、サイズの差から示唆される以上に差を詰めている点

ボードの5つのカテゴリスコアを分けて見ると、話は一方的な楽勝ではなくなる。ツールと自動化では、Nimble v3が84.24、Karpoが88.39 —— 4ポイント差で、しかも3分の1のサイズのモデルによる、ツール選択とエージェントゲーティングを扱うカテゴリでの結果だ。それはBespoke Labsがこのファミリーを構築したユースケースであり、サイズ差があってもほぼそのまま維持されている。あなたの判断レイヤーが「このエージェントはツールを呼ぶべきか、そしてどれを呼ぶべきか」に答えるために存在するなら、9Bアダプターは31Bチェックポイントと同じ議論の土俵にいる。
それ以外のあらゆる分野では、差は予想どおりのものになる。言語理解は60.68対76.78、検索は55.48対76.42、知識は40.96対65.46、芸術および自由回答型の判断は44.05対68.21で推移する。Karpoの優位性は、31Bモデルの追加容量が報われるべきまさにその場所、すなわちより長い文脈、より多くの世界知識、高密度な状態のより良い読み取りに集中している。
レイテンシもサイズ差には従わない。トラッカーのリファレンスハードウェア(GPU 1基、一度に1リクエスト)では、Nimble v3 が中央値 73.9 ms、Karpo が 94.3 ms を記録する。20ミリ秒はモデルを選ぶ理由にはならないが、マージ済みの 9B アダプターは運用する対象として別物だということを思い出させる。Q4 ならラップトップに収まり、数秒でロードでき、GPU 予算の相談なしにステップごとのエージェントループ内に置ける。
キャリブレーション。そこでは、より小さなモデルは単に弱いだけでなく、より不正直である
精度は、最上位の回答がどれくらいの頻度で正しいかを教えてくれる。較正は、それに付随する確率が閾値を担えるかどうかを教えてくれ、意思決定モデルにとっては、それが運用上唯一重要な数値なのだ。
Karpoのカードは、34,411件の回答で4.8ポイントの期待キャリブレーション誤差を報告している。平均信頼度は87.96%で、実際の正解率は83.19%だ。全回答の68.5%を占める最上位バケットでは、98.7%と主張しながら、実際に正しいのは95.7%の確率である。上位端では約3ポイント過信しており、それ以外では曲線はおおむね追従している。
Nimble v3 の値は、34,833 件の回答全体で 12.29 ポイントです。信頼度 87.26% に対して精度は 74.97%。最上位バケットは回答の 67% を占め、98.6% と主張して実際に正しいのは 89.1% です。これは、閾値が実際に存在する帯域での 9.5 ポイントの過大申告です。その下の中間帯のバケットはさらに悪く、主張値 0.85 でモデルが正しいのは約 59% の場合にすぎません。これはキャリブレーションの小さなずれを抱えたモデルではありません。再スケーリングなしでは信頼度をゲートとして使えないモデルであり、ファミリー自身のドキュメントもそうでないことを約束したことはありません。
その2つの段落を並べて読むと、正直な結論はリーダーボードが示唆するよりも狭い。Karpoは意思決定に優れ、自分の意思決定がどれほど良いかを把握する点でも優れている。Nimble v3は実行コストが低く、エージェント作業で最も重要なあの1カテゴリーでは僅差だ。だが、0.9を超えたら自動承認し、下回ったらエスカレーションするつもりなら、最初の1週間は、Karpoならカードで示してくれる補正をNimbleに合わせ込むことに費やすことになる。
ライセンスの分岐を、曖昧にせずに述べる
Nimble v3はCC BY-NC 4.0です。それは曖昧ではありません。カードには商用目的で使用できないと明記されています。以前のNimbleチェックポイントはすべてApache-2.0で、ベースモデルもApache-2.0ですが、それは何も変えません — 許容的なベースモデルが非商用アダプターを緩和するわけではなく、動作が宿るのはアダプターです。プロジェクトのトレーニングおよびキュレーション用コードを保持するGitHubリポジトリは、GitHubのAPIを通じてライセンスをまったく報告していません。これは、その上に構築しようと計画している人にとって、別の、おそらくより深刻な問題です。
Karpo Decision 31Bは、重みとコードがApache-2.0で、Gemma 4の条件がリポジトリ内に併記されています。これはオープンの中でも許容的な側面であり、下流での再配布にもそれらの条件を引き継ぐ必要があるという、Gemmaにいつもの注意点が付きます。
研究ノート、社内評価、論文では、その区別は見えず、Nimble v3 がより安価な入口となる。収益に関わるもの——商用製品内のルーティングゲート、有料パイプライン内のトリアージモデル、さらには営利企業の社内ツールでさえ——については、22.8ポイントが検討される前にライセンスが比較の決着をつける。Bespoke Labs にはホステッドAPIの経路と、旧公開スイートで65.33を報告する27Bバリアントのプレースホルダーがあるが、どちらも9Bアダプターの条件を変えるものではない。
どちらを提供するにせよ、それはモデリングの問題である前にルーティングの問題だ。

決定モデルは構造上、適用範囲が狭い。渡された問いに答えるだけで、文章を書いたり、説明したり、用意されていない選択肢を返したりはできない。だからこそ、2モデル構成のうちの小さい側、そして自社内に保持するのが最も容易な側となる。単一のエンドポイントがその価値を発揮するのは、生成を担う側だ。
OrcaRouter はこれらのチェックポイントのどちらも実行しておらず、どちらも chat-completions ルートの背後に置く意味はありません。実際に提供している 2 つのモデルは 1 層下にあります:TypeSafe の Jev 1.14、つまりこのボード全体が再現するために存在するターゲットであり、Karpo のファインチューニング元である Gemma 4 31B チェックポイント。1 つのキーで両方をカバーし、価格はプロバイダーのリストに従い、上乗せは一切ありません。そのため、ベンダーの変更はその日のうちにあなたのもとへ届きます。意思決定ヘッドに適しているのは、その前段にあるルーティング層です — 各リクエストクラスを、応答すべきモデルへ送るルーティング DSL、その背後にフェイルオーバーを備えており — 夜間の再スコアリングジョブとライブのガードレールが 1 つの契約を共有しつつ、意思決定モデル自体はそのライセンスが許す場所にとどまります。
この読み方を変える3つのこと

最初はライセンス変更です。Qwen3.5-9Bをベースにした商用利用可能なNimbleアダプターが、コンテキスト契約と明示されたtemperatureを備えていれば、9Bオプションはエージェントのゲーティングにおいて真に競争力を持つでしょう——84.24というツールスコアは、その能力がすでに備わっていることを示しています。Bespoke Labsの公開資料には、それが実現しそうだという示唆は何もありません。Apache-2.0からCC BY-NCへの移行は逆方向でした。
二つ目は、コンテキストとプロンプトの仕様です。Nimble v3のカードにはどちらも記載されていないため、これを実行する人は誰でも、以前のリリースが同梱していたプロンプト形式を推測することになります。入力がユーザーによって再構築されるモデルは、数値を再現するのが難しいモデルであり、12.3ポイントのキャリブレーション誤差は、質問をどのように枠組みするかによって良くも悪くもなる類の数値です。
第三は、両方を読み取る独立した計測器の有無だ。Decision Indexは慎重で、手法について透明性があり、タイバンドについても正直だが、それでも一つのコミュニティボードにすぎない。どちらか一方のモデルがハイパースケーラーのスコアラーと並んでArtificial Analysisに掲載される日が来れば、その比較は2枚のベンダーカードにまたがる算術ではなくなり、測定になる。それはどちらのモデルにも起きておらず、それが起きるまでは、擁護できる立場は地味なものだ。動かせるならApache-2.0かつ31Bでよりよく較正されており、動かせないなら非商用かつ9Bで安価であり、スコアラインだけを理由に選ぶ理由はない。
