pplx-decider-flash vs Laya：兩種決策模型，一種錯誤的比較

目前流傳的這些數字整齊漂亮，卻毫無用處。有一個比較指數給 Laya 打了 69.5 分，並給 pplx-decider-flash-v1.2 打了 68 分，幾乎打成平手。另一個指數給 Flash 73.7 分，並在 48 個模型中排名第一。第三個指數給 Flash 504 分中的 451 分，而 Laya 多語言版本是 240 分。三個來源、三種結論，因為每個來源都是在不同的任務集上衡量不同的模型——而且三者中至少有兩者在衡量某個 Laya 變體，卻沒說明是哪一個。這才是真正重要的比較，而第一句誠實的話是：至今還沒有人真正好好地跑過這項比較。

真正可比的是這兩個系統的整體形貌：它們被打造來做什麼、運行它們的成本是多少，以及各自在產出可用的機率之前會對你提出什麼要求。在這些面向上，它們並非旗鼓相當的對手。它們是不同的產品，只是恰好共用同一個職稱。

每項各一段

pplx-decider-flash-v1.2是 Perplexity 推出的 4B 等級多模態決策模型，建構於 Qwen3.5-4B 主幹上，並配備獨立的 255 路讀出頭。你給它一個狀態——文字、JSON，或最高 1.6 百萬像素的影像——以及帶類型的問題，它就會在一次前向傳遞中回傳經校準的機率。它專為零樣本運作而設計：儲存的溫度值為 1.554，而模型卡報告在 1,497 題開發集上達到 88.8% 準確率，期望校準誤差為 0.021。它採用 Apache-2.0 授權，BF16 格式約 9 GiB，在 Perplexity 的 API 上每百萬輸入 token 收費 $0.01，輸出免費。

Laya 是 Convai Innovations 推出的非自迴歸決策編碼器系列，於 2026 年 9 月 18 日發布，同樣採用 Apache-2.0 授權。英文檢查點是 4.21 億參數、經微調的 ModernBERT-large，上下文長度為 512 個 token；多語言模型則是 3.22 億參數的 mmBERT-base，支援 1,024 個 token；第三個檢查點 laya-typed-decisions 正是締造亮眼成績的那一個。它透過逐選項遮罩 token，在單次前向傳播中回答通話中的所有問題，既無生成步驟，也不需影像輸入。

為什麼比較表會不一致

這種不一致始於各家廠商各自建立的基準測試。Perplexity 以其 Decision Index 0.3 為模型評分，該指數是涵蓋知識、語言、檢索、工具與藝術的綜合指標。Convai 則用一套包含 400 個案例、2,000 項決策的類型化決策基準測試來為 Laya 評分，而該基準測試也由 Convai 公布。目前尚未有任一模型在公開情況下於另一方的測試框架上運行過。

第三方指數對那個缺口的填補很差。Anchor Terminal 的綜合評分把 Laya 排在第四（69.5），Flash 排第六（68），這 1.5 分的差距完全落在無人能稽核的綜合評分雜訊範圍內。Ollaya Bench 回報 Flash 總分 73.7、在 48 個中排名第一，巨觀準確率 82.4%，但未公布測試框架。一套由 Jev 撰寫的任務套件給 Flash 451/504、Laya multilingual 240 的分數——這是一場壓倒性勝利，而且還是在競爭模型維護者所寫的套件上。PublicAI 的頁面竟記錄了 Flash 擊敗 Laya 322M 與 Laya multilingual，同時又以 3–0 輸給一個未具名的「Laya」。

最後那一條正是整個問題的縮影。「Laya」並不是單一模型。把 Flash 拿來跟一個 421M 的英文編碼器、一個 322M 的多語言編碼器，以及一個經過微調、專攻基準測試的模型相比，會得出三種不同的答案，而其中只有一個才是你真正會部署的東西。

我們能守住的計分板

這些是兩套系統真正出現分歧的層面，並附上雙方各自公布的數據，以及所註明的資料來源。

• 參數 — pplx-decider-flash-v1.2 屬於 4B 等級（API 文件寫 4B，模型卡標頭則寫在 BF16 下為 5B），而 Laya 則是英文 421M、多語言 322M。

• 上下文 — 在 Flash 上為 262,144 個符元，訓練至約 32,000 個，相較於 Laya English 的 512 個符元與多語言的 1,024 個。

• 模態 — Flash 接受文字、JSON 與最高 1.6 MP 的圖片，而 Laya 僅接受文字。

• 零樣本使用 — Flash 出貨時即已校準，附有已儲存的溫度值，以及相對於 Laya 基礎檢查點所公布的誤差指標；卡片本身稱其為「一個可快速特化的基礎，而非零樣本決策引擎」。

• 延遲 — Laya 在 T4 上處理一個問題為 32.8 毫秒，處理十個問題為 72.3 毫秒，批次處理時每秒可處理 103–332 個問題，在 CPU 上為 193–464 毫秒，相較於 Flash，Perplexity 並未公布服務等級數據；供應商唯一公布的數字，是一項文件測試中約 248,000 個輸入 token 耗時 16 秒。

• 價格 — Flash 在 Perplexity 的 API 上為每百萬輸入 token 0.01 美元、輸出免費；相較之下，Laya 沒有代管價格，因為它是讓你自己執行的權重釋出版。

延遲與硬體：Laya 仍差得遠的地方

Laya 的整套主張是：做出判斷不需要生成式模型，而延遲數據也支持這一點。在多語言檢查點上，T4 回答一個問題只需 32.8 毫秒，英文則為 39.5 毫秒；十個問題為 72.3 毫秒；批次處理時每秒可處理 103 到 332 個問題。在 CPU 上預載後，執行時間為 193 到 464 毫秒。一個 3.22 億參數的編碼器小到足以放進無法負擔 GPU 的請求路徑中。

Flash 屬於不同的部署等級。九 GB 的 BF16 權重可放進一張 16 GB 的消費級顯示卡，而某項第三方基準測試報告指出，在 RTX 5090 上約需 10.4 GB 的 VRAM，且每次決策耗時 90–127 毫秒。這對 4B 模型而言相當不錯，而且在成本高出許多的硬體上，大約是 Laya 在 T4 上延遲的三倍。如果你的限制是在廉價硬體上達到毫秒級，那麼在準確度納入考量之前，爭論就已經結束了。

微調問題

這正是比較表所隱藏的部分，而這一點具有決定性。

Laya 主打的 0.766 準確率屬於 laya-typed-decisions，這是一個在該基準自身訓練分割上微調的檢查點。基礎英文檢查點在同一基準上得分 0.362，而多數類基線為 0.461，隨機猜測為 0.318。換句話說，你直接下載、未經調整的模型，比永遠回答最常見標籤還差。Convai 在模型卡上直接這麼說。arXiv 上的一項獨立重現研究也報告，其中一項主打指標——軟準確率 0.509 對比已發表的 0.471——未能重現，並主張校準資料在構造上即受到污染。

Flash 的主張則是相反形態：廠商回報在 Decision Index 上達到 60.05，每次請求一題，且來自一個你理應按原樣使用的模型。這項主張未經證實——Decision Index 基準是由 Perplexity 建立的，而其模型卡寫道，訓練工作包含數個 Decision Index 任務的官方訓練分割，並已針對測試集去汙染。這是明白陳述且站得住腳的做法，但這也意味著該模型看過它被評分的那個基準的領域內資料，而且去汙染是 Perplexity 自己的說法，而非經稽核的事實。但舉證責任不同。使用 Laya 時，你必須先微調並重新校準，公開數字才有任何意義；模型卡建議進行溫度擬合，因為原始機率過度自信，重新擬合後 ECE 從 0.466 降至 0.081。使用 Flash 時，你則是在信任廠商對你未曾見過之資料的校準。

兩者都不是免費的。一個耗費的是工程時間，另一個耗費的是驗證時間。

語言與基數

Laya 多語言版本原則上支援超過 100 種語言，實際上在 51 種中有 45 種可用，依其模型卡自身定義的「可用」門檻，即隨機表現的三倍。它在英語以外的 XNLI 分數為 0.731，相較於僅英語檢查點的 0.521；而在其他 13 種語言上的 MASSIVE 意圖準確率為 0.451。這些數字不算高，但它們確實存在，而 Flash 完全沒有公開的多語言評估。如果你的流量不是英語，那麼有提供多語言評估的廠商是更安全的起點，即使其分數偏低。

基數的情況則相反。Laya 在高基數選擇題上嚴重劣化：在 Banking77 的 72 個標籤上得分 0.425，對比 Jev 的 0.870，因為在預設設定下，77 個選項每個只分到約三到四個 token。該卡片建議提高選項預算，或採由粗到細的分割方式。Flash 最多接受 255 個選項，且沒有已公布的高基數基準測試，因此保守的解讀是：Flash 正是為 Laya 記載為弱點的情況而設計，卻尚未展示實證。

一千個決定的代價

Laya 沒有按每次決策計價，因為它是由你自行託管。在 T4 上以每秒 103–332 個問題計算，一百萬次決策大約需要 50 分鐘到 3 小時的 GPU 時間。以一般雲端價格計算，這大約是幾美分到幾美元，再加上部署與監控它的工程成本。

API 上的 Flash 很容易計算。一個 400 token 的狀態、一個問題：1,000 次決策就是 400,000 個輸入 token，以每百萬 $0.01 計算，就是 $0.004。一百萬次決策約 $4。自行託管權重可移除每 token 成本，但會讓你回到 GPU 上，約有 9 GiB 的權重，以及現成因果伺服器無法重現的非因果注意力模式。

陷阱在於批次處理。Flash 每問一個問題就會再次為狀態計費，所以每個狀態問三個問題會讓費用變成三倍。如果你的關卡一次詢問好幾件事，便宜模型就不便宜了。

這也是路由問題出現的層級。決策模型是生成前的閘門，而生成端是多數支出所在。OrcaRouter 將200 多個模型放在同一把金鑰之後，且不對定價加價，因此更便宜的生成器或供應商降價都能當天生效，而自動容錯移轉可避免被錯誤路由的請求直接失敗。我們不託管 pplx-decider-flash 或 Laya。我們唯一提供的決策模型是 TypeSafe 的 Jev，分別為 jev-1.13 和 jev-1.14；如果你想使用託管的決策器而不必架設 GPU，這點值得了解。

如何依序選擇

• 非英語流量 — 先從 Laya 多語言開始，再進行衡量。這是唯一有公開跨語言數據的一邊。

• 一般硬體上低於 100 毫秒 — Laya。在 T4 上，它 33 毫秒就能回應；Flash 則需要現代 GPU，據稱在該硬體上要 90–127 毫秒。

• 狀態中的圖像 — Flash，沒有真正的競爭對手。Laya 沒有視覺路徑。

• 長狀態 — Flash。512 個 token 的視窗讓 Laya 無法處理任何類似文件的內容。

• 沒有標註資料，也沒有時間微調——至少可以從 Flash 開始。Laya 的基礎檢查點低於多數基線。

• 每題超過 20 個選項 — Flash，或採用提高選項預算與由粗到細拆分的 Laya。

老實說，總結是：這些模型競爭的是同一份職務說明，幾乎從來不是同一個部署情境。Laya 是快速、小巧、可微調的編碼器，適合在你可測試的語言中進行大量分類。Flash 則是通用、經過校準、多模態的評審器，具備大型上下文，背後還有廠商計分板。那些把兩者拉開 1.5 分的比較表，與其說是錯誤，不如說是沒有意義：它們正好把決定選擇的那些特性平均掉了。