Gemini Decision 1 vs Kev：一次呼叫問上千個問題，還是使用可重新訓練的配方

Jared Palmer 的 Kev 系列在 Modal 上訓練，H100 運算時間成本約 95 美元，再加上約三分錢的 API 呼叫費用於評估資料，而完整配方都在儲存庫裡。Gemini Decision 1花費相當於前沿實驗室投在一個它不願描述的模型上的錢，而你花這些錢換到的是一個請求結構定義：一個端點、針對單一 262,144 token 的輸入最多提出 1,000 個具型別的問題、回傳校準後的機率、零輸出 token、每百萬輸入 token 0.10 美元。把Kev擺在它旁邊，這比較其實不是兩個模型之間的比較，而是介於一台批次評分設備和一件你可以拆開來研究的小型機械之間。

兩個專案都沒有公布一個可以讓對方拿來評分的數字，這是首先該誠實說明的事。Google 在推出 Gemini Decision 1 時並未附上任何基準測試表；本文中的每一項效能數字都來自 Artificial Analysis，該機構在 Decision Index v2.1 上給該模型 66 分。Kev 完全沒有出現在那個榜單上。Kev 反而公布的是測試框架、鎖定的測試集及其自身的錯誤率，而這些都不能拿來和任何其他數字相減。

Gemini Decision 1 能做到而 Kev 做不到的事

先從能力差距談起，因為這才是決定架構、而非決定分數的關鍵。Gemini Decision 1 能在單一前向傳遞中，針對同一份共用輸入評估多達 1,000 個獨立問題。這些問題彼此無法看見對方，增刪其中一個不會改變其他問題，而共用輸入只計費一次。

最後那條子句正是產品本身。將一張客服工單對照四十條政策規則進行檢查，就是一次請求、一次讀取該工單、四十個經校準的答案。在逐題模型上——Kev 正是如此，因為其輸出頭會在單一列中針對問題為每個選項評分——同樣的四十項檢查就是對狀態進行四十遍處理，無論是否將它們批次處理。Kev 自己的服務數據讓成本具體可見：在 H100 上，對短狀態處理六個問題需 18.1 毫秒，快取後為 12.9 毫秒，常駐記憶體 14.3 GB。六個問題，不是一千個。

輸入面的差異方式相同：

• 模態 — Gemini Decision 1 可讀取文字、圖像、影片、音訊與 PDF；Kev 可讀取文字。通話錄音或掃描表單對 Kev 而言是預處理問題，對 Gemini Decision 1 則是原生輸入。

• 上下文 — Gemini Decision 1 的輸入與問題合計為 262,144 個 token；Kev 每個問題最多可提供 65,536 個，且每個問題至少 8,192 個，但僅驗證最多 8,192 個，而其卡片也如此註明。

• 拒答 — Gemini Decision 1 會回傳限定在 0.01–0.99 之間的機率，並附帶一個信心欄位，因此低信心的回答不需額外選項就能顯現。Kev 則會對你提供的選項回傳 softmax，這表示拒答就是你指定的那個選項，再加上你設定的閾值。

• 權重 — Gemini Decision 1 未提供權重；其在 Gemini Developer API 的 v1beta 版本上提供託管端點，免費方案為每分鐘 200 次請求、每日 10,000 次。Kev 則採 Apache-2.0 授權，以凍結的 Qwen3.5 基礎模型搭配 rank-16 LoRA 適配器與指標頭（pointer head），提供 0.8B、4B 與 9B 三種尺寸。

Kev 做得到、但 Gemini Decision 1 做不到的那件事

Kev 讓你更換模型。不是換個提示方式——而是用你自己的標籤重新訓練決策行為，花費金額可以直接列在費用報銷單上。

這套建構刻意保持精簡：一個凍結的 Qwen3.5 基礎模型、一個秩為 16、約 3,380 萬個可訓練參數的轉接器，以及一個小型指標頭，用來將每個選項的收尾詞元對問題的最終詞元進行評分。由於基礎模型維持凍結，新增一個決策領域的邊際成本僅相當於轉接器的規模，而非基礎模型的規模。你可以將一個基礎模型常駐於記憶體中，並依領域切換轉接器，而這是任何託管端點都無法體現的部署形態。

Kev 所發布關於自身的內容，具體到足以讓人提出異議，而這種情況比應有的更為罕見：

• Transfer-v4，鎖定為域外 — 準確率 0.838，Brier 0.224，ECE 0.017。

• Breadth-v1、14 個留出資料集、3,089 道問題 — 準確率 0.690，ECE 0.029。

• Documents-v1 — 0.903。 Hard-v1 — 0.803。 MMLU-Pro（十個選項） — 0.565。

• 日期運算 — 在日精度下為 0.65，作者指出這是最弱的一環，並提出預處理器旗標作為部分修正，且未聲稱有重新測量。

那些是作者在自己測試框架上所做的測量，而卡片上說校準只用單一的分佈內溫度，因此覆蓋率在域外會下降，選項順序也可能讓答案翻轉。那是一份可信的自我評估，不是經審核的結果。但它仍然是一個你今晚就能試著重現的評量尺度，而這在本類別的大多數廠商數字上是你說不出口的。

為什麼桌上的兩個數字永遠不會相遇

誘惑在於把 Kev 的 0.838 轉移準確率與 Gemini Decision 1 的 66 並列，然後宣布贏家。請抗拒這種誘惑，原因有三。

這些工具衡量的東西不同。Decision Index 的計分方式是準確率減去依答案所附信心計算的 Brier 懲罰，並彙總六項評估，其中 45% 建立於私人資料。Kev 的 transfer-v4 數字是在作者彙整的鎖定集合上的單純準確率，Brier 與 ECE 列在旁邊，而非併入主要指標。

任務組合併不相同。該指數中佔比最大的組成部分——佔 30% 的 AA-Paperclip——是每份文件十五道全有或全無的題目——這是 Kev 的 documents-v1 測試所近似、但並未複製的形態。

兩者的分母不同。指數分數是一種加權綜合分數，其中棄權會受到獎勵；準確率則是最高機率選項正確的題目所占比例。一個模型可能在其中一項勝過另一個模型，卻在另一項落敗，而這兩者都沒有錯。

因此，可辯護的說法很狹窄：Gemini Decision 1 在託管決策模型中以 66 分位居中段，在十八個中排名第九，並在知識組成部分拿下第一，文件全有或全無通過率為 33%；Kev 是 4B 級別的適配器，其作者回報其領域內校準能力強、日期算術能力弱。任何告訴你其中一個更好的人，都是在做外推。

每一項實際運作起來的成本是多少

Gemini Decision 1 的經濟效益不難計算，但用量一大就令人難以接受。在每百萬輸入 token 收費 0.10 美元的情況下，Artificial Analysis 測得每百萬個任務要價 345 美元——在排行榜前半段中最貴的模型，而且不支援情境快取、Batch API，也沒有 Flex 或 Priority 推論。重複的共用輸入在每次請求時都按全額計費。每晚掃描一百萬張工單，等於要把政策文件重讀一百萬次。

Kev 的經濟結構正好相反：一旦 GPU 的錢付清，每次呼叫幾乎免費，真正的成本在於你花在建標籤、訓練適配器與驗證它們上的時數。Palmer 的約 95 美元數字涵蓋的是訓練執行，不含標註。如果你的路由規則不同於通用評判器——而且確實不同——這筆標註成本買到的是任何託管式決策模型都不賣的東西：一個能編碼你的政策、而非近似它的評分器。

還有第三項成本，比價格更能左右更多專案的走向：迭代速度。Gemini Decision 1 的限制有明文記錄且固定不變，因此要改變行為，只需改寫提示詞並重新執行你的評估集。Kev's 則是重新訓練適配器，運算成本低，但流程成本不低。對只有單一領域、用量高的團隊而言，重新訓練是划算的。對有十二個領域、卻沒有機器學習工程師的團隊來說，即使每百萬項任務要價 345 美元，託管端點在工程工時上仍然勝出。

如果決策周圍的流程才是你真正投入的地方

OrcaRouter 並未提供這兩個模型。Kev 是由你自己執行的 Apache-2.0 權重，而 Gemini Decision 1 則是 Google 自家 API 上僅提供機率輸出的端點——兩者都不是聊天補全（chat-completions）的目標，我們也不會假裝不是如此。我們目錄中的決策模型是 TypeSafe 的 typesafe/jev-1.14，在同一排行榜上得分 66.23，適合想在與其他服務相同的金鑰上進行評分呼叫的團隊。

我們所打造的，是管線中決策上游的那一半：產生候選答案、撰寫評分規準、在工單被評分前先做摘要。那個環節是你最常更換模型的地方，也是第二份供應商合約成本最高的地方，而且它透過單一端點執行，該端點上有超過 200 個模型，供應商牌價以 0% 加成原樣轉供，以及供應商服務降級時自動容錯移轉。如果你正在權衡 Kev 與託管評分器，請把草擬的那一半交給我們執行，並讓評分決策保持可逆——這樣一來，你今天針對 95 美元適配器所做的選擇，日後就不會變成一次遷移。

這兩個決定之間的決定

當決策是單一輸入與多條規則時、當輸入是音訊、影片或 PDF 時、當單次計費流程中進行上千項檢查會改變你的成本模型時，以及當你願意信任一個並非由你自行擬合的校準時，選擇 Gemini Decision 1。接受你是在以前沿實驗室的輸入定價購買一個黑箱，而且沒有批次折扣。

當決策只是單一輸入加上幾個手動輸入的問題時，當文字短到足以在 8,192 個 token 內驗證時，當你的策略具體到通用評審會嚴重偏離時，以及當擁有成品比擁有端點更重要時，就選用 Kev。要接受你現在得為校準、日期運算，以及卡片所警告的選項排序敏感度負責。

這個比較最不該做的，就是產出一份排行榜。這裡沒有共同的衡量工具、沒有共享的任務集，也沒有任何第三方能重現其中任何一個數字。你這週能做的是，把你自己的 200 個已標註項目跑過這兩者，並比較通過率與信心曲線——一個早上的工作，會比下一次排行榜改版告訴你更多。