Clef vs MathForm-8B：一個回答你的問題，另一個撰寫證明

把 Cloudflare/clef 放在 openbmb/MathForm-8B 旁邊的原因是，它們是目前開放權重中最容易被搞混的兩樣東西，而把它們搞混會讓一次訓練白白浪費。兩者分別是基於 Qwen3.8-27B 與 Qwen3-8B 檢查點建構的微調模型。兩者皆採用 Apache-2.0。兩者都在過去十週內發布。兩者都是狹窄、特定用途，且被其開發者描述為專門而非通用的模型。而且它們彼此毫無關係，因為一個會產生從你提供的清單中選出的數字，另一個則會逐個 token 產生 Lean 4 原始碼，供證明助理檢查。

Clef 是 Cloudflare 的 2,700 億參數多模態決策模型：你給它一個狀態，以及一份由具型別問題構成的結構描述，它便會在單次非自迴歸的前向傳遞中，為每個允許的答案回傳一個校準過的機率，整條路徑上完全沒有文字生成。來自 OpenBMB 的 MathForm-8B 則是一個自動形式化模型——輸入自然語言的數學陳述，輸出 Lean 4；而訓練它的流程，則寫在一篇 2026 年 8 月 14 日與權重一同發布的 arXiv 預印本中。其中一個模型的天花板，是你選項清單的長度。另一個的天花板，則是 Lean 型別論的強度。問哪一個比較好是一種範疇錯誤，而兩者都是八十億到兩百七十億參數、Apache-2.0 開放權重的微調成果這件事，正是讓這個錯誤如此容易犯下的原因。

每個模型的介面在物理上禁止什麼

最快看出差異的方法，就是閱讀每一個能回傳什麼。

• 輸入 — Clef 接收一個狀態（文字、JSON、圖像或視訊影格）以及 1 到 64 個具名且帶型別的題目；MathForm-8B 則接收一段自然語言數學陳述。

• 輸出 — Clef 會為每個允許的選項回傳一個機率，並以每題為單位進行 softmax。MathForm-8B 會回傳 Lean 4 原始碼。

• 題型 — Clef 的有 noul（真/假，並帶有為真的機率）、選擇（2 到 26 個具名選項）以及 評分（2 到 26 個有序等級）；MathForm-8B 完全沒有題目概念。

• 校準 — Clef 會為每個答案發布一個信心欄位；MathForm-8B 則發布在語法與一致性檢查下的 Pass@8 比率。

• 服務 — Clef 是透過相容於 Jev/SystemOne 的 POST /v1/systemone 主體來提供服務，可託管或自行執行；MathForm-8B 隨附 Transformers、vLLM 與 SGLang 的操作說明，全都會公開一個與 OpenAI 相容的 completion 端點，具備 16,384 個 token 的上下文，並將 max_new_tokens 設為 16,384。

實際後果立刻浮現。如果你需要對一段文字做出是／否的判斷，Clef 是兩者之中唯一能給出這種判斷的——你根本無法向 MathForm-8B 提出任何不是「為此寫出 Lean 4」的問題。如果你需要的是 Lean 4，Clef 則是兩者之中唯一絕對無法產出的，而且這並非出於能力不足：要求一個受結構約束的評分器將定理形式化，並不符合它的合約，因此這項請求是因設計使然而遭到拒絕，而不是被拙劣地回答。

他們兩者都隸屬的那條管線

有一個真實存在的架構，讓這兩個模型彼此並列，值得逐步說明，因為它讓這種分野變得具體而非抽象。設想一項為研究人員和學生將數學形式化的服務。

陳述以自然語言送達，種類不受限。在任何事物能被形式化之前，必須先有東西判定送來的是什麼。這是一道待證明的定理、一則待新增的定義、一個檢查既有證明的請求，還是在任何人碰 Lean 之前就需要先釐清的問題？它是自足的，還是依賴使用者未提供的脈絡？這些符號是慣用的，還是系統從未見過的標記法？這些每一個都是有界問題，選項集很小——正是 Clef 的典型樣態——而附在每個答案上的校準機率，正是讓該服務能對不確定的那些做出合理處置的關鍵：把任何低於門檻的項目轉給真人，而不是憑猜測。

第二步屬於 MathForm-8B。取一個已經被分類為符號已知、自我完備的定理陳述，然後輸出 Lean 4。那是一個生成問題，而品質問題在於輸出多常能編譯，以及多常與原始陳述意思相同——這正是廠商的兩條評估軸所衡量的事。這是這個配對中值得萃取的一般模式：在昂貴的專用生成器前面放一個便宜且有界的分類器，通常比提示生成器自行判斷它究竟是否該執行，來得更便宜也更可靠。

兩側的數字實際上衡量的是什麼

OpenBMB 的 arXiv 摘要指出，MathForm-8B 在六項基準測試中，於語法檢查下達到平均 Pass@8 率 88.06%，於一致性檢查下達到 72.37%；而在 FATE-H 與 FATE-X 子集上，它達成 63% 與 37% 的一致性通過率，兩者皆高於該論文所比較的最強專門化基線。這項說法中真正有趣的部分是訓練流程：檢索規劃器會在生成前從 Mathlib 取出相關定義與既有形式化，接著利用編譯器診斷與語意一致性回饋來修訂生成的陳述；FormalVerse 資料集內約 367,000 個經驗證的 Lean 4 範例，便是在監督式微調與強化學習之前，以此方式建構而成。這些是來自論文與模型卡的廠商回報數據。沒有任何獨立第三方重新跑過這些結果。

Clef 的數字衡量的是完全不同的東西，無法相提並論。Cloudflare 的 Decision Index 測試報告指出，BANKING77 意圖分類的 macro-F1 為 94.2，CLINC150 在含範圍外處理下為 97.4，GPQA Diamond 為 48.0——而較舊的 Jev 得分為 78.3——請求延遲中位數為 209.3 毫秒。這是一張關於分類與路由的表，由廠商在自家測試套件上製作，架在廠商自家的排行榜上，且未經重現。

對於這兩欄，唯一能誠實寫下的一句話是：它們不共用任何基準、任何單位，也沒有共同的評估哲學。MathForm-8B 在一個困難的形式化子集上得到 37%，以及 Clef 在範圍外意圖偵測上得到 97.4，都是其開發者針對不同任務所做的真實宣稱；而把兩者並列比較的讀者，除了知道這兩個數字存在之外，什麼也沒學到。

你會執行什麼，以及它要花多少成本

這兩個模型都不是 OrcaRouter 上的路由，而本文並未聲稱它們可供使用——型錄對 cloudflare/clef 以及 MathForm-8B 都傳回 404。MathForm 儲存庫約為 16.4 GB，而這兩個模型皆採用 Apache-2.0 授權，因此只要有硬體，任何人都能在明天自行架設它們。

• Clef 在 Cloudflare 上 — 在 Workers AI 上每百萬個輸入 token 為 $0.24，且所公布的延遲是在單一 H200 上測得。

• MathForm-8B 自行架設 —— 沒有廠商代管、沒有按 token 計費的價格，且有文件記載的 16,384-token 上下文長度，這是個值得留意的限制：論文的一個長段落無法一次塞進去。

• 分類器部分的路由替代方案——TypeSafe 的 Jev 1.13，每百萬輸入 token 為 $0.042，在 65,536 token 的上下文下提供服務，並透過相同的 POST /v1/systemone body 供 Clef 使用，這使其可直接替換上述管線的第一步。

這正是路由層在這種特定搭配中發揮價值的地方。這個模式由一個決策者和一個生成器組成，而決策者那一半才有現成的替代方案——一個端點，前面掛著 200 多個模型，依供應商定價原價轉傳，不按 token 加收費用，以及自動容錯移轉，讓供應商出狀況的午後不會拖垮你管線的大門。生成器那一半則是你自己執行的 16.4 GB 產物，沒有任何端點能改變這點。

尺寸還隱藏著的另一件事

參數量會誘使人做出一種並不成立的比較。Clef 是 27B，而 MathForm-8B 是 8B，因此人自然會假定較大的模型能力更強，較小的模型則是專才。但就性質而言，情況正好相反。Clef 之所以大，是因為它背著一個凍結的多模態主幹，這是它讀取螢幕截圖與發票所必需的；真正在上方訓練的部分，只是一個小型 schema 頭，搭配 rank-256 的 adapter。MathForm-8B 之所以小，是因為 Lean 4 是一個狹窄的目標，而 Qwen3-8B 基礎模型就已足以達成；真正的工程在於產出它訓練資料的檢索與驗證管線，而不在於它的參數量。

換句話說，規模告訴你的是每個模型得承載什麼，而不是它解決的問題有多難。一個讀取收據並回傳「billing, 0.98」的 27B，和一個產出可編譯 Lean 的 8B，都正好在做它們被打造來做的事；而八十億對兩百七十億的框架，會有大約一半的時間把你導向錯的那一個。

這項決定，以及兩家供應商都未回答的問題

如果你有一條會接收無界自然語言、而且需要在對它投入算力之前先進行路由的管線，第一步是採用有界分類器——當其多模態輸入很重要、且其數據在你的資料上表現良好時，選 Clef；或者當你想要相同的請求形狀、但定價更低，而且不想把架構綁死在一個其評測結果無人重現過的供應商身上時，選 Jev 1.13。第二步是專門的生成器；如果那個生成器是 Lean 4，MathForm-8B 正是為此打造的開放模型，背後有已發佈的管線與語料庫。

雙方都缺少的是同一種證據。Clef 的 Decision Index 測試是 Cloudflare 自己跑的，從未經過獨立重複驗證；MathForm-8B 的 Pass@8 數據則來自它自己的論文。兩者都是在一個「誠實的測試說起來便宜、做起來昂貴」的領域中提出的宏大宣稱——拿兩家廠商都沒訓練過的資料，套用同一套流程，然後公布結果。在有人對這兩個模型中的任何一個做到這件事之前，這個比較能告訴你的有用資訊是一個形狀：其中一個屬於你流程的前端，負責決定什麼該進來；另一個則屬於它的後端，負責做困難而狹窄的工作；而且在任何參數規模下，兩者都不能互相替代。