
Karpo Decision 31B 對決 Laya:31B 領先者對上可在筆記型電腦上執行的 421M 編碼器
- Orca新OrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 每百萬 tokens · 184 tok/s
- tencent新Tencent: Hy4 Flash2026-11-16$0.02 / $0.07 每百萬 tokens · 223 tok/s
- Google新Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 每百萬 tokens · 87 tok/s
- Anthropic新Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 每百萬 tokens · 96 tok/s
- orca新Orca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 每百萬 tokens · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 每百萬 tokens · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 每百萬 tokens · 77 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 每百萬 tokens · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 每百萬 tokens · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 每百萬 tokens · 69 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百萬 tokens · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百萬 tokens · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447智能
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 每百萬 tokens · 209 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929智能
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 每百萬 tokens · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733智能
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 每百萬 tokens · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740智能
把 Karpo Decision 31B 和 Laya 放在一起比較,最誠實的第一反應是:有人把單位搞錯了。Karpo 是 Gemma 4 的 31.3 億參數微調版本,需要 62.5 GB 的權重和資料中心等級的 GPU。Laya 則是 Convai Innovations 推出的 4.21 億參數 ModernBERT 編碼器,採用 Apache-2.0 授權,磁碟占用 808 MB,能在筆電上執行,約 33 毫秒就能回傳結果。在兩者都列名的社群排行榜 Decision Index 上,Full score 的差距是 73.9 對 9.2——這是整批比較中差距最大的一組。
然而,Laya 是那個提供維護中的 pip 套件、MCP 伺服器、ONNX 與 Core ML 版本,以及微調路徑的模型,而且在真實工作流程集上,有文件記載其準確率從 0.362 躍升至 0.766。Karpo 則只提供一份 README 和一個儲存庫。有趣的問題不是哪個模型更好,而是它們各自實際上用途為何,因為分數差距與可用性差距指向相反方向,而一次只有其中一個要緊。
這兩個數字代表什麼,以及為什麼這項比較在設計上就是不對等的
Laya 在追蹤器上的 9.21 Full 分數是經機會校正的技巧指標,而它在同一套件上的原始準確率為 37.7%,覆蓋率為 0.76——這表示該套件約有四分之一的請求完全沒有被回答。追蹤器記錄了原因:有 320 個請求被標記為不支援,絕大多數是因為某項指令的長度超過 Laya 的原生預算,而模型選擇拒絕而非截斷。對於一個為可接受 32k-token 狀態的模型所建立的套件而言,512-token 編碼器不是在競爭,而是在預設狀態下運作。
Karpo 在相同測試套件上達到 99.87% 覆蓋率與 83.2% 原始準確率。有九個請求遭到拒絕,全都是因為問題加上其狀態超過 32,768 個 token。
直接分數比較會告訴你,一個為 512 token 視窗內的短文分類而設計的模型,在為長文件決策模型設計的基準測試上表現很差。這不是在批評 Laya;這是在陳述這套測試套件的性質。有用的比較是按任務進行的,而 Laya 的模型卡就有這樣的比較:在 MASSIVE 意圖分類上,它在英文拿到 0.783,在 XNLI 上拿到 0.860,且這些輸入都落在其視窗內。Karpo 沒有針對短篇單一分類任務的對等已公布數字,因為它的模型卡根本沒有公布任務層級結果。
這些規格,以及每一項所代表的含義

• 參數 — Karpo 31.3B 加上 255 × 5,376 的讀出層,bf16 格式下為 62.5 GB;Laya 421M,下載約 808 MB。
• 架構——以僅預填方式執行、搭配線性讀出層的因果語言模型主幹,對比一個雙向編碼器,後者在其各自的 [MASK] 詞元上。
• 背景 — Karpo 每個序列 32,768 個 token,並依問題拆分、重複狀態;Laya 在出貨配置中總共 512 個 token,其中 192 個保留給選項提示,約留下 320 個給狀態。
• 多模態——Karpo 可讀取圖像與文字;Laya 僅能讀取文字。英文檢查點中沒有視覺路徑。
• 延遲 — Karpo 在參考 GPU 上的中位數為 94 毫秒;Laya 在其自家顯示卡上測得 39.5 毫秒,而追蹤器在其硬體上記錄的中位數為 5.8 毫秒。
• 授權條款 — 權重與程式碼兩者皆採用 Apache-2.0,無使用限制。
• 託管 — 兩者皆未位於其發佈者提供的託管端點上。Laya 只需要 pip install laya。
上下文列就是整個決策。狀態可用的 320 個 token,代表一則客服工單、一封電子郵件、一則聊天訊息、一個產品標題、一行日誌。它不是含有明細項目的發票,也不是四十頁的政策。如果你的狀態超過一個段落,就根本無法向 Laya 提出這個問題——不是問得不好、不是問得慢,而是完全無法問。
小型模型真正是正確答案的情況
有一類決策是 Karpo 完全不適用的,而 Laya 的設計正是直指這類決策。設想一個代理在每一步都需要判斷:工具結果看起來是否符合意圖(是/否)、查詢應該送往六個檢索來源中的哪一個,或使用者訊息是否含有流失訊號。這些都是針對一句上下文的微秒級問題,而一段對話中可能就有五十個這樣的問題。
在 94 毫秒與 62.5 GB 常駐模型下,五十次呼叫每次對話幾乎要花五秒的 GPU 時間,而這樣的硬體成本已超過流量所能支撐的價值。以 800 MB 模型達到 5.8 毫秒中位數,且模型與應用程式跑在同一台機器上,同樣五十次呼叫只花三分之一秒,也沒有資料中心相關的帳單項目。這在逐步迴圈中不是微小的差異;而是功能能否上線的差別。
Laya 的卡片也誠實記錄了失敗模式,這比一份乾淨的規格表更有價值。英文檢查點在非拉丁文字上崩潰——高棉語準確率為 0.000,卻聲稱信心度為 0.952——這正是決策層絕不能有的「自信地出錯」失敗。已發布的 Router 在純 Python 中不到半毫秒就偵測出文字系統,並在前向傳遞前路由到多語言檢查點。高基數問題也會退化:在 256 個 token 的預算下給 77 個選項,每個標籤只有三到四個 token,而 Banking77 準確率降到 0.425,Jev 的則是 0.870。卡片告訴你要提高 head 預算,而不是假裝預設值可用。

這種組合——一個已公開失效模式、且每個模式都有文件化修正方案的小型模型——在實際運作上,比沒有任務層級細分的高分更有用。
31B 模型如何證明它值得 62 GB
Karpo 的優勢來自於它內部擁有一個真正的語言模型。它會讀取螢幕截圖。它能在同一個 32,768 個 token 的狀態中同時保存政策文件與客戶紀錄,並在一次處理中回答關於兩者的上百個問題,因為該狀態只計算一次,而每個問題都從這個共享區塊分支出去,且不會看到其他問題的選項。它能處理 255 選一的選擇而不會出現 token 飢餓,因為讀出機制是對代碼評分,而不是把選項文字嵌入固定預算中。
這份分類概況也印證了這一點,而且正好清楚對應到大模型能為你帶來的優勢。Karpo 的知識與推理能力為 65.5,Laya 則為 2.9——這個數字主要反映該測試套件中的長上下文知識題,而這些題目根本無法向 Laya 提出。其工具與自動化能力為 88.4,對比 5.8。這些並非兩個可相比擬模型之間的細微差異,而是兩種截然不同等級的工具。
Karpo 缺少的是任何操作基礎架構。沒有 ONNX 匯出、沒有 Core ML 建置、沒有 MCP 伺服器,也沒有可透過 pip 安裝的代理程式,讓你只要指向工作流程描述,就能在一個下午內完成微調。社群已經開始對它進行量化——一個 IQ3_M GGUF 和一個 NVFP4 建置在兩週內出現——但截至本文撰寫時,仍沒有官方的小體積方案,也沒有定價。
微調差距,比排行榜更能左右部署決策
Laya 的模型卡上最重要的單一數字不是基準測試分數。而是 0.766 對 0.362:在四個工作流程的 2,000 個決策上,微調檢查點相對於基礎英文模型的準確率。微調讓真正重要的工作負載準確率提升超過一倍。
這就是用一句話概括支持 421M 模型的論點。一個你能在一小時內用自己標註的決策重新訓練的小模型,會在你自己的流量上、用你的結構描述,擊敗一個你完全無法重新訓練的 31B 模型。Karpo 的 73.9 是某個私有測試套件的平均值;你的分佈並不是那個測試套件。Laya 的 0.362 基礎分數同樣是別人決策的平均值,而一旦資料屬於你,兩個模型都會改變——但只有其中一個附有完成這種改變的有文件記載途徑。
Karpo 是對一個 31B 檢查點進行的完整微調,沒有公開的訓練配方,也沒有轉接器。原則上可以對它進行微調,但這並非該模型卡所支援、記載或預期的事。
同時執行兩者,這比單獨執行任一者更常是答案。
這兩個模型更像是互補而非替代,而且拆分方式是機械性的。將短狀態路由至編碼器,長狀態則交給 31B。Router模式在 Laya 端已是出貨預設;在 Karpo 端,等效做法是在派送前對狀態進行大小檢查。
路由層真正值得存在的地方是第三種情況:介於兩者之間的中間層級。如果你的狀態落在 512 個 token 到 32,768 個 token 之間,這兩者都不太匹配——Laya 會拒絕,而 Karpo 則是大材小用又昂貴。那個中間地帶正是以服務形式提供的決策模型合理發揮作用的地方,而Jev 1.14 已在我們的目錄中可供使用,並可透過與其他所有服務相同的金鑰呼叫。在單一路由端點前設置閾值策略——短狀態交給你自己託管的編碼器,長狀態交給託管模型,不確定的輸出送入審核佇列——比操作 62.5 GB 檢查點所需的工程工作更小,而且能讓模型替換不必進入你的應用程式碼。目錄中的200 多個模型,按供應商定價計費,不收取加成,也包含Gemma 4 31B,也就是 Karpo 微調所基於的基礎模型,這是一種低成本方式,可在投入 GPU 之前檢查微調究竟帶來了什麼。
如果只能給一個建議:先從 Laya 開始。它不花任何錢,一分鐘就能安裝好,而對於代理在每一步所做、簡短且大量的決策來說,它是正確的工具——不是妥協。當狀態不再能塞進一段文字時,就改用 Karpo Decision 31B,並接受你屆時等於要買一張 GPU、下載 62 GB,以及一個沒有定價、沒有公告、也沒有獨立評分的模型。排行榜上 64 分的差距是真的,而它衡量的東西,只有在你的輸入長到真的需要它時才會有意義。

