「Karpo Decision 31B vs Laya」という見出しの生成タイトルカード。サブ見出しは「ラップトップで実行できる421Mエンコーダーに挑む31Bの主力モデル」。3つのチップは「Karpo: 31.3B、62.5 GB、32,768トークン」「Laya: 421M、808 MB、512トークン」「総合スコア 73.9 vs 9.2」。さらにフラットアイコンのペア — 「GPUが必要」とラベルされたデータセンターのGPUラックと、「ラップトップで動作」とラベルされたラップトップ。
Guides & Insights

Karpo Decision 31B vs Laya:ノートPCで実行できる421Mエンコーダーに挑む31Bのリーダー

著者

Gideon Frost

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

Karpo Decision 31B を Laya の隣に置くと、正直な第一反応は、誰かが単位を間違えたのではないか、というものだ。Karpo は 313億パラメータの Gemma 4 ファインチューンで、62.5 GB の重みとデータセンター向け GPU を必要とする。Laya は Convai Innovations による 4.21億パラメータの ModernBERT エンコーダーで、Apache-2.0、ディスク上で 808 MB、ラップトップ上で動作し、約33ミリ秒で応答を返す。両方が掲載されているコミュニティボード、Decision Index では、Full スコアの差は73.9対9.2——この比較バッチ全体で最大の開きだ。

それでもなお、Laya は保守されている pip パッケージ、MCP サーバー、ONNX と Core ML のビルド、そして実際のワークフローセットで 0.362 から 0.766 への文書化された精度向上を伴うファインチューニング経路を提供しているモデルだ。Karpo は README とリポジトリを提供している。興味深い問いは、どちらのモデルが優れているかではない。それぞれが実際何のためにあるのかだ。なぜなら、スコアの差と使いやすさの差は逆方向を指しており、一度に重要なのはそのうち片方だけだからだ。

その2つの数字が何を意味するのか、そしてなぜその比較が設計上偏っているのか

トラッカー上のLayaの9.21 Fullスコアは偶然性を補正した技能指標であり、同じスイート全体での生の精度は37.7%、カバレッジは0.76だ。つまり、スイートのリクエストのおよそ4分の1はまったく回答されなかったことになる。トラッカーはその理由も記録している。320件のリクエストが未サポートとされており、その圧倒的多数は、指示がLayaのネイティブバジェットより長かったために、モデルが切り詰めるのではなく拒否したことが原因だ。32kトークンの状態を受け入れるモデル向けに作られたスイートでは、512トークンのエンコーダーは競争しているのではなく、既定の動作に従っているだけだ。

Karpoは同じスイートに99.87%のカバレッジと83.2%の生の精度で回答します。9件のリクエストが拒否され、そのすべては、質問とその状態を合わせて32,768トークンを超えたためでした。

直接スコアを比較すると、512トークンのウィンドウで短い分類を行うために設計されたモデルが、長文書の意思決定モデル向けに設計されたベンチマークで低い成績を出すことが分かります。これはLayaへの批判ではなく、スイートについての記述です。有用な比較はタスク単位であり、Layaのカードにはそれが1つあります。MASSIVEの意図分類では英語で0.783、XNLIでは0.860を、ウィンドウ内に収まる入力で記録しています。Karpoには、短い単一分類タスクについて同等の公開数値がありません。そのカードはタスクレベルの結果をまったく公開していないからです。

仕様と、それぞれが意味するもの

A generated two-column scoreboard titled 'Karpo Decision 31B vs Laya — the scoreboard'. The Karpo column reads 'Params: 31.3B, 62.5 GB', 'Context: 32,768 tokens', 'Full score: 73.9', 'Coverage: 99.87%', 'Latency: 94 ms median' and 'Licence: Apache-2.0'; the Laya column reads 'Params: 421M, 808 MB', 'Context: 512 tokens', 'Full score: 9.21', 'Coverage: 0.76', 'Latency: 5.8 ms median' and 'Licence: Apache-2.0'. The footer reads 'Full score and coverage per the Decision Index; Laya latency per the tracker and its model card.'

• パラメータ — Karpo 31.3B と 255 × 5,376 のリードアウト、bf16 で 62.5 GB;Laya 421M、ダウンロード済み約 808 MB。

• アーキテクチャ — 線形読み出しを備え、prefill-only で実行する因果言語モデルのバックボーンに対し、各選択肢を自身の [MASK]トークンでスコアリングする双方向エンコーダ。

• コンテキスト — Karpo はシーケンスあたり32,768トークンで、質問ごとに分割され、状態は繰り返されます。Laya は出荷時の構成で合計512トークンで、うち192トークンはオプション用プロンプトに予約されており、状態用に約320トークンが残ります。

• マルチモーダル性 — Karpo は画像とテキストを読み取りますが、Laya はテキストのみを読み取ります。英語チェックポイントには視覚経路がありません。

• レイテンシ — リファレンスGPU上でKarpoは中央値94 ms、Layaは自身のカードで測定して39.5 ms、トラッカーはそのハードウェア上で中央値5.8 msを記録しています。

• ライセンス — 重みとコードの両方に Apache-2.0、利用制限なし。

• ホスティング — どちらも提供元によるホスト済みエンドポイント上にはありません。Laya に必要なのは pip install laya。

コンテキスト行が意思決定のすべてです。状態に使える320トークンは、サポートチケット1件、メール1通、チャットメッセージ1件、商品タイトル1つ、ログ1行分です。明細付きの請求書や40ページのポリシーではありません。状態が1段落より長い場合、Layaにその質問を尋ねることはできません。下手に尋ねることも、ゆっくり尋ねることもできず、そもそも尋ねること自体ができません。

小型モデルが本当に正しい答えとなるのはどこか

Karpoを使うのが不合理な種類の意思決定があり、Layaの設計はまさにそこを狙っている。エージェントが各ステップで、ツールの結果が意図を満たしているように見えるかどうかのYes/No、クエリを6つの検索ソースのどれに送るべきか、ユーザーメッセージにチャーンシグナルが含まれるかどうかを必要とする状況を考えてみよう。これらは1文のコンテキストに対するマイクロ秒単位の問いであり、1つの会話に50個あることもある。

94 ms、常駐モデル 62.5 GB では、50 回の呼び出しで会話あたりほぼ 5 秒の GPU 時間を消費し、そのハードウェアはトラフィックでは正当化できないほど高コストです。5.8 ms 中央値、アプリケーションと同じマシンで動作する 800 MB モデルなら、同じ 50 回の呼び出しは 3 分の 1 秒で済み、データセンターの費用項目も不要です。これはステップごとのループにおけるわずかな差ではなく、リリースできる機能とそうでない機能の差なのです。

Laya のカードは失敗モードも正直に文書化しており、その点はきれいな仕様書以上に価値がある。英語のチェックポイントは非ラテン文字体系で崩壊する——クメール語では信頼度 0.952 と述べながら精度 0.000——これはまさに意思決定レイヤーが持ってはならない「自信満々で間違う」失敗である。出荷済みのRouterは、純粋な Python で半ミリ秒未満に文字体系を検出し、順伝播の前に多言語チェックポイントへルーティングする。高カーディナリティの質問も劣化する。256 トークンの予算で 77 個の選択肢は各ラベルに 3~4 トークンしか与えず、Banking77 の精度は Jev の 0.870 に対して 0.425 まで落ちる。カードは、デフォルト設定が機能すると装うのではなく、ヘッドの予算を上げるよう指示している。

A capture of the Hugging Face model card for convaiinnovations/laya showing the Text Classification tag, the Laya_system-one, calibrated-decisions and reinforcement-learning tags, the apache-2.0 licence, the summary describing a multilingual non-autoregressive System 1 decision model that returns calibrated probabilities in a single forward pass of about 33 ms across 100+ languages, the 'pip install laya' line with its onnx, mcp, langchain and serve extras, and the 0.4B-parameter file listing.

その組み合わせ——公表された失敗モードと、それぞれに対する文書化された修正策を備えた小型モデル——は、タスクレベルの内訳のないより良いスコアよりも運用上有用だ。

31Bモデルが62 GBの価値を発揮する場面

Karpoの利点は、内部に本物の言語モデルを備えていることから生まれるものです。スクリーンショットを読み取ります。ポリシー文書と顧客レコードを同じ32,768トークンの状態に保持し、両方について100件の質問に1パスで答えます。状態は一度だけ計算され、各質問は他の質問の選択肢を見ることなく共有ブロックから分岐するからです。255択をトークン枯渇なしで処理できます。読み出しが固定の予算に選択肢テキストを埋め込むのではなく、コードをスコアリングするからです。

カテゴリ別プロファイルも、大規模モデルが何をもたらすかを明快に対応づける形で、この点を裏付けている。Karpoの知識・推論スキルは65.5に対しLayaは2.9——この数値は主に、スイートの長文脈知識問題を反映したもので、Layaにはそれを出題することすらできない。ツールと自動化のスキルは88.4に対し5.8。これらは比較可能な2つのモデルの間の微妙な違いではなく、まったく別クラスの計器なのだ。

Karpoには運用面の足場が一切ない。ONNXエクスポートも、Core MLビルドも、MCPサーバーも、ワークフローの記述を渡して午後のうちにファインチューニングできるpipインストール可能なエージェントもない。コミュニティはすでにその量子化を始めており、IQ3_M GGUFとNVFP4ビルドが2週間以内に登場したが、本稿執筆時点では公式の小フットプリント経路も価格も存在しない。

ファインチューニングのギャップ——リーダーボードよりも多くの導入を左右するもの

Layaのカードで最も重要な数字は、ベンチマークスコアではありません。それは0.766対0.362、つまり4つのワークフローにわたる2,000件の判断における、ベース英語モデルに対するファインチューニング済みチェックポイントの精度です。ファインチューニングにより、重要なワークロードでは精度が2倍以上になりました。

これが421Mモデルを支持する主張を一行で表したものです。自社のラベル付き判断データで1時間で再学習できる小型モデルは、まったく再学習できない31Bモデルに、自社のトラフィックで、自社のスキーマで勝ちます。Karpoの73.9は非公開スイート全体の平均であり、あなたの分布はそのスイートではありません。Layaのベーススコア0.362も他社の判断の平均であり、データがあなたのものになれば両モデルとも動きます——しかし、その動きを実現するための文書化された道筋が付いているのは、そのうち片方だけです。

Karpo は、公開されたトレーニングレシピもアダプターもない 31B チェックポイントの完全なファインチューニングです。ファインチューニングは原理的には可能ですが、モデルカードがサポート、文書化、想定しているものではありません。

両方を実行すること――それがどちらか一方よりも多くの場合に答えとなる

2つのモデルは代替というより補完の関係にあり、その振り分けは機械的だ。短い状態はエンコーダーへ、長い状態は31Bへルーティングする。RouterパターンはLaya側ではすでに出荷済みのデフォルトであり、Karpo側では同等のものはディスパッチ前に状態のサイズをチェックすることだ。

ルーティング層が価値を発揮するのは第三のケース、つまり両者の中間の階層です。ステートが512トークンから32,768トークンの間にあるなら、どちらも適切ではありません — Layaは拒否し、Karpoは過剰で高価です。その中間帯こそ、提供される判定モデルが理にかなう場面であり、Jev 1.14が当社のカタログに掲載されており、そのために他のすべてと同じキーで呼び出せます。しきい値ポリシーを単一のルーティングエンドポイントの前に置くこと — 短いステートは自社でホストするエンコーダーへ、長いステートは提供されるモデルへ、不確実な出力はレビューキューへ — は、62.5 GBのチェックポイントを運用するよりも小さなエンジニアリング作業であり、モデルの差し替えをアプリケーションコードの外に保ちます。カタログの200以上のモデルは、プロバイダーの定価でマークアップなしで請求され、またKarpoの微調整元であるGemma 4 31Bも含まれており、GPUを投入する前に微調整が実際に何をもたらしたかを確認する安価な方法です。

一つだけ勧めるとすれば、まずLayaから始めることだ。費用はかからず、1分でインストールでき、エージェントが各ステップで行う短く大量の意思決定においては、妥協ではなく正しい道具である。状態が段落に収まらなくなったらKarpo Decision 31Bに移行し、その時点でGPU、62 GBのダウンロード、そして価格も発表も独立したスコアもないモデルを買うことになると受け入れよう。リーダーボードの64ポイントの差は現実のものであり、入力がそれを必要とするほど長くなって初めて意味を持つ何かを測っている。

A capture of the Hugging Face model card for MachinePulseAI/karpo-decision-31B showing the Text Classification tag, the gemma4 image-text-to-text tag, the apache-2.0 licence, the line 'Ranked #1 on the Decision Index, with the highest Full score, 73.9', the description of a multimodal decision model that returns a probability for every option of every question in one forward pass without generating text, 'Fine-tuned from google/gemma-4-31B', 'Parameters: 31.3B in bf16, plus a 255 x 5,376 readout in fp32', the screenshot input at state.viewport_screenshot, and the base-model link to google/gemma-4-31B.