SWE-2 Flash 與 SWE-2：0.2 分的勝利究竟值多少？

Cognition 自家的比較表給了SWE-2 Flash勝過SWE-2的項目恰好只有一項：在 FrontierCode 2.0 上是 24.0 對 23.8。零點二分的差距，出現在 Cognition 自家的基準測試上，而且是在一張 Cognition 為了讓這款較小模型展現最佳表現而製作的表格裡。這同時也是這次發布中最有用的數字，因為它底下那幾列的表現——也因為位在首屏之上的那一列悄悄略過了什麼。

給坐在桌前做決定、而不是讀到最後的人，短版說法是：Flash 並不是縮小版的 SWE-2。它是一個來自不同基底的截然不同模型，針對工作中範圍有限的那一端調校，並在同一個產品內以五分之一的價格提供。那 0.2 分的勝出是真的，但它的意義沒有看起來那麼大。

同一基準測試的兩個版本彼此不一致，而這正是第一項發現

把兩列 FrontierCode 並排放到一起，這張表就不再是一個關於小型模型迎頭趕上的故事了。

• FrontierCode 2.0 — SWE-2 Flash 24.0 對比 SWE-2 23.8

• FrontierCode 1.1 Main — 45.5 對 50.0

同一套評測工具，兩個版本，結論卻相反。在較新的版本上，Flash 微幅領先；在較舊的版本上，它則落後 4.5 分。這兩列數據中，有一列最終會出現在發布簡報上，另一列則不會；而選擇哪一列，比起模型本身，更能說明簡報者是什麼樣的人。

有一種站得住腳的解讀是：這兩列數據皆為真，且彼此並不矛盾：2.0 版更難，絕對分數會被壓縮，而較新的任務集可能更獎勵 Flash 接受後訓練時所針對的能力。還有一種較不體面的解讀：同一項基準的兩個版本之間出現 4.5 分的擺盪，正可衡量這項工具有多敏感，而 0.2 分的差距就落在這個敏感度之內。Cognition 未公布信賴區間，也未進行重複執行，因此依現有資訊，24.0 與 23.8 的差異無法與雜訊區分。能說的範圍更窄，但仍有用——在 Cognition 最新的基準上，這兩個模型旗鼓相當，並未分出高下。

十三個點該放在哪裡

表格其餘部分並不接近，而差距的形狀才是有資訊意義的部分。

• DeepSWE 1.1 — SWE-2 Flash 60.1 vs SWE-2 73.0

• Terminal-Bench 4.0 — 20.0 對 27.3

• SWE-Atlas QA — 50.0 對 56.3

• Terminal-Bench 2.1 — 89.2 對 92.8

• SWE-Bench Pro v2 困難版 — 89.9 對 90.6

• ExploitBench — 34.8 對 36.1

把這些任務按它們賦予代理的自由度排序，一個規律就浮現了。在 SWE-Bench Pro v2 Hard 上——一個規格明確、修法已定的問題——Flash 落後 0.7 分。在 Terminal-Bench 2.1 上，它落後 3.6 分。在 Terminal-Bench 4.0 上，差距是 7.3 分；而在 DeepSWE 1.1 這個長時程項目上，差距是 12.9 分。任務越要求模型自行決定下一步該做什麼，差距就越大。

那是一個貌似合理的機制，但尚未獲得證實。活躍參數只有十分之一的模型，維持長期計劃的能力較弱，而長時程基準測試正是最先顯現這一點的地方。不過，Cognition 並未像對 SWE-2 那樣，公布 Flash 的輪次數、token 數或各任務細分數據——在 SWE-2 中，它報告中等強度下平均步驟從 127 降到 53——因此這個機制是從表格的形態推斷而來，而非經過實證。可把它當成一項假設：它是否符合你自己的經驗，取決於你。

價格與速度，以 Cognition 唯一報價的貨幣計。

兩款模型都沒有按 token 計價，因為兩者都沒有端點。Cognition 公布的是比例：SWE-2 Flash 的成本是 SWE-2 的五分之一，速度則是其三倍，每秒 200 tok 對上 60。這兩個數字都來自同一套重播方法——各模型在 Terminal-Bench 4.0 的 gsea-proteomics 任務上的執行，以模擬速率重播，並將執行紀錄縮短至等長——因此兩者描述的都是預定的服務配置，而非實測結果。

比率仍是發布內容中最與決策相關的數字，前提是你接著做下一步。每單位工作的價格不等於每項已解決任務的成本，而後者才是團隊實際支付的費用。如果第五項是任務成本的五分之一——這是在訂閱制產品中讓該說法有意義的唯一解讀——那麼計算就簡單明瞭。

在 DeepSWE 1.1 上——Flash 以五分之一的成本，解決了相當於 82% 的任務量；即使在它落後最多的那一列，平均每個已解決任務仍便宜約 4.1 倍。

• 在 FrontierCode 2.0 上——它以五分之一的成本解決略多一點的任務，換算下來每解決一個任務大約便宜 5 倍。

• 在 Terminal-Bench 4.0 上——它以五分之一的成本解決了 73% 的數量，換算下來每個已解決任務約便宜 3.7 倍。

那些數字中的每一個都假設第五項適用於任務成本，而不是 token 成本，並且假設解決率能轉移到你的佇列上。Cognition 並未說明是哪一種，而這個假設發揮了很大的作用。如果第五項是某個每項任務會產生更多 token 的模型上的 token 價格，那麼優勢就會縮小，並且在長時程列上可能反轉。這套算術是敏感度檢查，不是實測，而且應該再拿你自己的日誌跑一次。

無庸置疑的是促銷窗口。SWE-2 Flash 在 Devin Desktop 與 CLI 中免費提供至 2026 年 11 月 30 日。SWE-2 本身的免費窗口已於 10 月 10 日結束。接下來幾週，Devin 內部的價格比較是五分之一對上零，這根本算不上比較——而是一段有期限的評估期。

它們並非同一血統，而參數差距是它們身上最不有趣的部分。

SWE-2 是基於 Kimi K3 後訓練而成：2.8 兆參數，每個 token 啟用 104B，其基礎模型已經歷廣泛的強化學習，用於代理式編碼。SWE-2 Flash 則是基於 Inkling-Small 後訓練而成：總計 276B、啟用 12B、Apache 2.0，來自 Thinking Machines。Cognition 自家的規模圖表將 Flash 列為 1x，SWE-2 為 10.1x。就啟用參數而言，比例更接近九比一。

現在把這與分數對照一下。活躍參數上八點五倍的差異，在 FrontierCode 1.1 Main 上換來 4.5 分，在 FrontierCode 2.0 上則完全沒有換來任何分數。同時，後訓練步驟本身的價值遠高於參數差異：Cognition 的表格顯示，Inkling-Small 在 FrontierCode 1.1 Main 上為 21.5，而 the Flash 為 45.5，這是在同一基礎模型上進行中期訓練與 RL 所帶來的 24 分增益。可歸因於後訓練的變異數，約為可歸因於兩個模型之間整體參數差距的變異數的五倍。

這正是這兩者共同得出的結論，而它比任何單一模型都更重大。這也說明了為什麼 Cognition 願意以五分之一的價格出售較小的那一個：SWE-2 昂貴的部分從來就不是基礎模型，而是資料、驗證器與 RL 環境，而 Flash 則在更便宜的基礎模型上重複利用了這筆投資。

這裡有兩點需要注意。這項比較是單一廠商在其所掌控的基準測試上製作的表格，其中沒有任何內容經過獨立重現。而且基礎模型並非等價的輸入——Kimi K3 具備百萬 token 上下文與原生視覺能力，而 Inkling-Small 是不同架構、具不同多模態支援——因此「相同的後訓練、更便宜的基礎模型」是 Cognition 的論述框架，而非一個被獨立出來的變數。

努力設定的不對稱

SWE-2 推出時記錄了三種推理強度等級——中等、高與最高——而 Cognition 九月的發布說明了各等級的用途：中等會更早採取行動，而高與最高則會規劃更多、探索更多程式碼庫，並在驗證上花費更多。該發布也指出，每個模型在各種強度設定下的最佳分數都會被報告。

SWE-2 Flash 完全未記載任何投入程度控制。發布貼文也只字未提，基準測試表也沒有設定欄位。因此，依照已發布的內容，這項比較是最佳狀態的 SWE-2 對上設定未說明的 Flash——唯有 Flash 只有一種設定時，這才是對等比較；若 Flash 有多種設定，則會是方向未知的不公平比較。

如果 Flash 真的沒有投入程度控制，那就是值得明確指出的產品差異，而不是文件缺漏。投入程度是你在個別任務上以成本換取深度的方式；而沒有這項控制的模型，對於同時包含簡單與困難工作的佇列，只會給你單一設定。那正是這個比例原本要讓你能做的取捨。

每一個分別屬於哪個佇列

Cognition 自己的表述在這裡是最誠實的指引。它表示，較小的模型「越來越能處理軟體代理所從事的很大一部分工作，例如自動化、程式碼審查、功能開發和更新文件」，而 SWE-2 Flash 正是為這類工作而開發。把這份清單對照基準測試的形態，兩者不謀而合：任務有界、完成定義明確、量大、對延遲的容忍度低。

• 如果任務能塞進一段提示詞裡，且「完成的定義」明確無歧義——一次審查、一次文件更新、一個小功能、一個排程自動化——那麼 Flash 就是正確的預設選擇；而前述以「每完成一項任務的成本」計算的算術也顯示，即使在它解決任務較少的情況下，它的成本仍便宜好幾倍。

• 如果代理必須決定接下來要做什麼超過少數幾次——一次遷移、跨儲存庫重構、一場除錯工作階段，而其中第一個假設通常是錯的——那麼 13 分的 DeepSWE 差距正是你使用 SWE-2 所換來的東西，而這個比率並無法彌補它。

• 如果你無法判斷任務屬於上述哪一種，就先在 Flash 上開始執行，再升級。這正是 Cognition 在 SWE-2 上建立努力等級所針對的決策；而 Flash 缺少努力控制，使升級成為一項路由決策，而非一個參數。

要避免的錯誤，是把 0.2 分的優勢當成可以移動困難佇列的許可。這只是一個基準測試、一個版本、一個供應商，而且還落在該量測工具自身的靈敏度範圍內。

在 Devin 之外，兩者都不是候選。

這兩個模型都沒有 API。兩者也都沒有公開權重。如果你的評測框架是你自己的，這組搭配就不是你能選擇的，而免費窗口也幫不了你——那只是你得購買的產品裡的試用。

這套堆疊中可觸及的那一半就是基礎。Kimi K3 在 OrcaRouter 上以 kimi/kimi-k3 的路由名稱提供，每百萬輸入 token 收費 $3.00、每百萬輸出 token 收費 $15.00，具備 1M token 的上下文視窗與原生工具呼叫能力，並依供應商公告的定價計費，不加收任何費用。一組 API 就涵蓋超過 200 個模型，這讓上述的佇列拆分得以在 Devin 之外實作：路由規則可以把有界的工作送往便宜的模型，並將長時程的任務升級到更強大的模型，而用戶端無須知道究竟是哪一個模型回應。自動容錯移轉應該置於升級路徑之後，因為你升級過去所倚賴的那個模型，正是你無法承受它無法使用的那一個。

那是與 SWE-2 Flash 不同的產品，不能取而代之。當你想評估的東西沒有端點時，這就是你會做的事。

什麼能讓這件事定下來？

三項揭露，才能讓這份比較從廠商自製的表格變成證據。由不屬於 Cognition、也不使用 Cognition 測試框架的第三方，在兩個模型上獨立執行 DeepSWE 1.1 與 Terminal-Bench 4.0。說明 Flash 表格中每一列背後的努力程度設定與測試框架，規格比照 SWE-2 發表時所提供者。以及重複執行，這樣才能分辨 0.2 分的差距究竟是實質差異，還是每次執行之間的變異。

在那之前，站得住腳的解讀是狹義的那一種。SWE-2 Flash 是以成本最佳化為導向的兄弟產品，建構在小得多的基礎上，在最新基準測試上與 SWE-2 持平，但在長時程工作上明顯落後；根據現有證據，其定價比例讓它每解決一個任務的成本便宜數倍。這是個好的產品決策，也是個謙遜的技術主張。領先 0.2 點並非它取代了任何東西的證據——而是證據顯示，在某一個測量工具上、某一天，差距縮小到足以消失在雜訊中。