「Karpo Decision 31B vs Drex Max 1.1」という見出しと、「2つのボードにそれぞれ1つの数字 — 直接対決なし」というサブ見出しが付いた生成タイトルカード。横に並んだ2つの角丸パネルがあり、一方には「Decision Index」というラベルで「Karpo Decision 31B 73.9」、もう一方には「Artificial Analysis v2.1」というラベルで「Drex Max 1.1 72.62」と表示されている。両者の間の隙間には、「共通の指標なし」と記された小さな縦長チップがある。
Guides & Insights

Karpo Decision 31B vs Drex Max 1.1:2枚のボード、それぞれ1つの数字

著者

Elias Hawthorne

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

Karpo Decision 31BとDrex Max 1.1は、サイズ、形状、役割が十分に近く、仕様書を見ると2社から出た同じ製品のように見える。どちらも約30Bのデンスモデルで、ある状態についての型付き質問に、テキストを生成せず1回のフォワードパスで答えるよう微調整されている。どちらも255方向の読み出しヘッドを備え、画像入力を受け付け、大きすぎる質問を切り詰めるのではなく拒否する。違いはアーキテクチャにあるのではない。各ベンダーが第三者に何を測定させることを許してきたか、そしてその後ウェイトで何をすることが許されるかにある。MachinePulseのKarpoには第三者によるFullスコアがあり、価格はない。Nace.AIのDrex Max 1.1には独立したArtificial Analysisの数値、公開料金、商用利用を制限するライセンスがある。

どちらの取引も明らかに正しいとは言えない。これが取引のそれぞれの側に実際にかかるコストだ。

数字がどこから来ているのか、というのは、それらは同じ場所から来ているわけではないからです

まず気まずい点から言うと、今日はどの単一のリーダーボードでも、両方のモデルがスコアを持っていることはありません。

Karpo Decision 31Bは、TypeSafeのJevのオープンな再現を追跡するコミュニティボードであるDecision Indexに掲載されている。そのFullスコアは73.9で、ボードのメンテナーが非公開テストで算出したものであり、現在は73.4のGLiDE 27Bと同率首位に並んでいる。その公開インデックス75.05はMachinePulse自身による公式キットの実行に由来し、ボードに採用された。140,178リクエストの結果ファイルは誰でも再実行できるよう公開されている。Artificial AnalysisにはKarpoの行がまったくない。

Drex Max 1.1 は鏡像だ。Artificial Analysis は Decision Index v2.1 で 72.62 と評価している — 25 の意思決定モデル中 2 位で、Liquid AI d1.2-ultra の 74.85 に次ぎ、SubQ Snap 1.2 の 72.58 を上回る。その数値は AA のもので、AA のハードウェア上で AA の非公開文書セットを用いて測定された。Karpo にあって Drex Max 1.1 にないもの:Je​v トラッカーには Drex Max v1 の行が 66.60 Full であり、v1.1 の行はまったくない。

つまり、利用可能な唯一の同一計器による比較は、Karpo Decision 31Bの73.9対Drex Max v1の66.6だ — 1つのボード上での7.3ポイント差で、しかもNaceモデルの異なる2バージョンにまたがる比較であり、これはまさに、自分がたまたま支持する側を有利に見せる類の比較にほかならない。線引きを逆にすれば、Drex Max 1.1には72.62がある一方、Karpoには何も記載されていない。どちらの文も真実だ。どちらも直接対決ではない。

スペックを、次元ごとに

A generated two-column scoreboard titled 'Karpo Decision 31B vs Drex Max 1.1 — the scoreboard'. The Karpo column reads 'Params: 31.3B, 62.5 GB bf16', 'Context: 32,768 tokens', 'Score: 73.9, Decision Index', 'Price: none published', 'Licence: Apache-2.0' and 'Hosting: self-host only'; the Drex Max 1.1 column reads 'Params: dense 27B, 49 GB bf16', 'Context: 16,384 default, up to 131,072', 'Score: 72.62, Artificial Analysis', 'Price: $0.03 per million input', 'Licence: Nace.AI Open RAIL-M' and 'Hosting: served by Nace.AI'. The footer reads 'Karpo figures per the Decision Index and its model card; Drex figures per Artificial Analysis and Nace.AI.'

• {{1}}パラメータ{{/1}} — {{2}}Karpo 31.3B{{/2}}は{{3}}bf16{{/3}}に{{4}}255 × 5,376{{/4}}の{{5}}fp32{{/5}}リードアウトを加えた構成で、ディスク上は約{{6}}62.5 GB{{/6}}。{{7}}Drex Max 1.1{{/7}}は密な{{8}}27B{{/8}}モデルで、{{10}}bf16{{/10}}なら約{{9}}49 GB{{/9}}、{{12}}バックボーン{{/12}}を{{13}}8-bit{{/13}}にすると{{11}}26 GB{{/11}}。

• ベースモデル — Gemma 4 31BはKarpo向けに指示チューニング済み、Qwen3.8-27BはDrex Max 1.1向けです。事前学習コーパスもトークナイザーも異なり、下流のあらゆる要素も異なります。

• コンテキスト — Karpo はシーケンスあたり 32,768 トークンを扱い、長いリクエストを質問ごとに分割し、各部分が完全な状態を保持します。Drex Max 1.1 はリクエストあたりデフォルトで 16,384 トークンで、ベンダーのドキュメントでは質問あたり 131,072 トークンまで引き上げられます。

• マルチモーダル — どちらも画像をネイティブに読み取り、どちらもスクリーンショットを1つの質問だけでなく、リクエスト内のすべての質問に対して表示できるようにします。

• 設問タイプ — 同一のサーフェス: choice は最大 255 個の選択肢、true/false には noul、順序付きレベルには score。

• インターフェース — Karpo は System One を POST /v1/systemone で提供します(独自の Python パッケージから)。Drex Max 1.1 も同じ形で、Apple silicon と CPU 向けの llama.cpp および Ollama のフォークも備えています。

• ライセンス — Karpoの重みとコードにはApache-2.0、Drex Max 1.1にはNace.AI Open RAIL-Mを採用。これは利用制限が付帯するオープンウェイトです。

• ホスティング — Karpoにはありません。Drex Max 1.1はNace.AIによって100万入力トークンあたり$0.03で提供されており、AAボードでは期間限定のローンチ価格として表示されています。

A capture of the community Decision Index leaderboard, headed with the multimodalart jev-decision-index attribution, listing Karpo Decision 31B at 73.86 in first place ahead of GLiDE 27B at 73.37, REAX 1.3 at 72.64, Logits Sigma-1 Duo at 72.28, Copernicus-31B at 72.11, KnowLine 31B Gen1.5 at 71.91, Copernicus-57B at 71.8, FlexDM-LoRA 2.1 at 71.66, Sieve 31B v3 at 71.10, OneJev1.6g-31B at 70.86 and Turion Jev 31B at 70.47.

コンテキスト行は、人が流し読みして飛ばしてしまう行だ。32,768トークンのハード上限と明示的な拒否は、環境変数で131,072まで引き上げられる16,384トークンのデフォルトとは別のエンジニアリング制約だ。あなたのステートが請求書とサポートチケットなら、どちらの数も重要ではない。あなたのステートが契約書なら、Naceモデルには10件渡せるが、Karpoには1件も渡せない。

パイプラインで11ポイントのキャリブレーション差がどのように見えるか

正解率は人が口にする数字であり、この種のモデルでは最も重要でない数字だ。決定モデルの要点は、その出力が閾値の作用しうる確率であることにある。つまり問われるのは、その確率が誠実かどうかだ。

Karpoのカードは較正誤差4.8ポイントを報告している。モデルが0.9と言ったとき、実際に正しいのは平均で約5ポイント分、90%をやや下回る程度だ。Drex Max 1.1のAAプロファイルは、全質問セットでブライアスコア0.16を示しており、これは別の統計量で直接比較はできないが、同じボードには信頼度ラダーも示されている。0.98の信頼度バケットでは、モデルは97.5%の確率で正しい。つまり、最も高い信頼度の回答を額面どおりに信頼できるモデルだ。

Drex Max 1.1 の興味深い分裂は、知識評価に表れている。AA-Omniscience では決定スコア 60.3 を記録しているが、この合成スコアは、生の正答率 28% と非ハルシネーション率 65.3% から成り立っている。これらを合わせて読むと、知識に関する質問の約4分の1に正しく答え、残りの大部分については回答を控えるモデルだということになる。この指標は、捏造するよりも回答を控えることを評価しており、それは意思決定レイヤーとしては意図された挙動だが、実際の回答を必要とするものには不向きである。

Karpo でも同じ本能が別の場所に現れます。140,178 件中 9 件のリクエストは、質問とその状態がウィンドウをあふれたため、完全に拒否されました。黙って切り詰めるより拒否するのが正しいデフォルトです。それはまた、迂回して対処しなければならない障害モードであり、32,768 トークンの上限によってより頻繁に起こるものになります。

レイテンシとデプロイメントの形態

Karpo の記録中央値は、トラッカーのリファレンスハードウェア上で、GPU 1台、同時に1リクエストという条件で、リクエストあたり94 msです。AA は Drex Max 1.1 をタスクあたり283 ms、現在の発売価格で100万タスクあたり$102.7のコストと測定しています。この2つの数値は同じ測定ではありません — リクエストあたり対タスクあたりであり、AA の文書セットにおけるタスクは1つの長い文書に対する複数の判断です — そのため、この差は正確なものではなく方向性を示すものとして扱ってください。

方向性としては、それは実際に意味のあることを言っている。単一の共有状態パスを持つ31BのGemma由来の読み出しは、非因果的アテンション層がシーケンス全体を書き換える27Bモデルよりも、より軽量なオブジェクトである。より軽量であることが重要かどうかは、その呼び出しがどこに位置するかによる。ツール呼び出しのたびに発火するゲートは、ターン予算内に収まる必要がある。千件のチケットを毎晩再スコアリングする処理は、200 msを気にしない。

調達部門が尋ねてくるまで、誰も尋ねないライセンスの疑問

Karpo Decision 31B は重みもコードも Apache-2.0 で、Gem​ma 4 自体のライセンスもリポジトリ内に併記されています。これはオープンの中でも最も寛容な側に位置します。

Drex Max 1.1 は Nace.AI Open RAIL-M ライセンスの下にあります。Open RAIL-M は真にオープンであり、ダウンロード、実行、改変、再配布が可能ですが、下流のユーザーにも及ぶ使用制限を伴い、同じ制限を引き継ぐことを義務付けています。研究用ノートブックでは、その区別は見えません。モデルが顧客向けパイプラインの内部にある製品では、それは法務レビューとなり、レビューでは、それをファインチューニングして派生モデルを出荷すると何が起こるのかが問われます。答えは「制限はそのまま付いてくる」です。

意思決定レイヤーが社内ツールなら、ライセンスは脚注にすぎない。それが販売するものに組み込まれるなら、Apache-2.0 はクリティカルパスから会議を1つ取り除く。

実際に合うのはどれ?

自分で計算しなくて済む数値、予算に計上できる価格、そして長時間続く状態が欲しいなら、Drex Max 1.1 を選んでください。それは今日測定可能で、今日ホストされており、その上端における信頼度ラダーこそが、自動しきい値を正当化できる特性です。コストはライセンス制限と、AA が一時的だと明示的に指摘しているローンチ価格です。

Karpo Decision 31B を選ぼう。ホストされたエンドポイントがないことが問題でなく、GPU を持っているかバッチジョブがあり、Apache-2.0 の寛容さが重要で、ボードの Full スコアが信頼する証拠なら。コストは 62.5 GB の重み、32,768 トークンの上限、そして価格も製品ページも告知も公開していないベンダーだ。

第3の立場があり、今月ほとんどのチームにとって正しいのはこれだ。どちらでもない。Karpoは登場から2週間で首位は並んでおり、独立したスコアはない。Drex Max 1.1は期限付きの割引価格で提供されている。両方を自社のラベル付きサンプルに対して実行し、見出しの数字ではなく「自信がありながら誤っている率」を比較しよう。そのシャドーテストにおける現行モデルについては、入手できる最も安価な参照はTypeSafe自身のモデルだ——Jev 1.14は当社のカタログに掲載されている。したがって閾値ポリシーは、すべてのオープンな再現が追いかけている対象に対して、これらのチェックポイントの基になった2つのベースモデル、Qwen3.8-27BやGemma 4 31Bに使うのと同じキーで検証できる。両方のベースはマークアップなしのプロバイダー定価で200以上のモデルを提供する単一APIを通じて提供される。これはまさに、モデルを差し替えてコードを残しておきたい意思決定レイヤーに有用だ。

この対決に決着をつける唯一のものは、1つの数字、すなわちKarpo Decision 31BがAA boardに登場することだ。それまでの比較は、同じ論文を一度も採点したことがない2つの組織によって出された、十分に記録された73.9対十分に記録された72.62である。

A capture of the Artificial Analysis Decision Index v2.1 page showing the six weighted evaluations — AA-Paperclip at 30%, EvalSafe-O*NET-AA at 15%, When2Call at 10%, AA-Omniscience-Decision at 15%, HLE-MultiChoice at 15% and AA-Symmetry at 15% — the methodology note that all evaluations are conducted independently by Artificial Analysis, the 'Update Oct 30, 2026' stamp, and the worked example of a support-ticket state scored by a decision model.