一張主視覺標題卡寫著「Intern-Decision-0.8B vs MathForm 8B」,副標題為「其中一個能檢查自己的作品」,並帶有「經編譯器驗證的 Lean 4 輸出」與「僅有自我回報的信心」徽章,角落還合成上 OrcaRouter 標誌。
Guides & Insights

Intern-Decision-0.8B 對上 MathForm 8B:其中一個能檢查自己的成果

作者

Magnus Corvin

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

你能對任何小型專門模型提出的最有用問題是:誰來檢查它?Intern-Decision-0.8B 和 MathForm 8B 之所以存在,都是因為一個通用模型被微調成一個狹窄用途的模型;兩者都是以 Qwen 權重為基礎、採 Apache-2.0 的衍生模型;兩者都在沒有行銷活動的情況下被放上 Hugging Face——但它們位於一條界線的兩側,而這條界線決定了你會如何部署它們。MathForm 8B 是 OpenBMB 的 8B 自動形式化模型,於 2026 年 8 月 14 日發布,它會把自然語言數學翻譯成 Lean 4,並將結果交給編譯器,而編譯器只會接受或不接受。Intern-Decision-0.8B 是 InternLM 的 852,985,920 參數決策頭,於 2026 年 9 月 26 日上傳,它會針對你事先提供的選項,回傳一個經校準的機率分布——而世界上沒有任何事物會獨立驗證它回傳的標籤是否正確。這些模型之中,有一個產生的輸出附有證明。另一個產生的輸出則附有信心分數,而你能用這兩樣東西做什麼的差異,就是整篇文章的主題。

那個框架也說明了為什麼尺寸差距——8B 對 0.8B,相差十倍——是比較中最不有趣的數字。這兩個模型都不是要擅長對方所做的事,而且任何一方的評估都無法告訴你有關另一方的任何事。它們共同擁有的是一個發布模式與 Qwen 血統,而這兩者都不如驗證問題來得重要。

每一個實際上是什麼

MathForm 8B 是論文中所述兩階段配方所發布的成品,論文為MathForm:以知識檢索與驗證導向精煉擴展數學自動形式化(arXiv 2608.14221)。檢索規劃器會在生成器執行前,從 Mathlib 提取相關定義與既有的形式化內容;接著會利用編譯器診斷與語意一致性回饋來修訂生成的陳述;所產生的語料庫 FormalVerse 包含約 367,000 個經驗證的 Lean 4 範例;而 MathForm 8B 則在其上訓練:先進行監督式微調,之後再以 Lean 編譯與語意一致性訊號作為獎勵進行強化學習。它是以 Qwen3-8B 為基礎的純文字模型,透過 Transformers、vLLM 或 SGLang 提供服務,並具備 OpenAI 相容 API,建議的上下文長度為 16,384 個 token,最大生成預算為 16,384 個 token。其評估流程、基準檔案與 Pass@k 指令碼全都位於 OpenBMB GitHub 儲存庫中,且訓練資料集已公開。

Intern-Decision-0.8B 是一套已發布的成品,但沒有人描述過它的配方。模型卡上寫著它是「一個從 Qwen3.5-0.8B 微調而成的多模態結構化決策模型」,然後就沒了——沒有資料說明、沒有訓練程序、沒有論文、沒有儲存庫。它倒是詳盡記載了推論合約。隨附的引擎會將每個問題的選項對應到單一 token 符號,為每個欄位渲染出帶有一個<decision> 預留位置的骨架,執行一次因果前向傳遞,在每個預留位置之前的位置讀取 logits,僅針對該欄位允許的符號做 softmax,套用擬合後的校準,再將符號映射回你的選項值。整條路徑上沒有任何generate() 呼叫,也完全不做取樣。它接受文字加上最多八張圖片,可處理一到十六個問題、每個問題最多 62 個選項,並且對於超過 8,192 個 token 的輸入會予以拒絕,而不是截斷。預設校準溫度為 2.747760550703,是針對每個檢查點以 1,728 個案例透過 NLL 最小化擬合而得。

把這兩段並排讀一讀,不對稱就顯得極為鮮明。MathForm 8B 附有一篇論文、一份資料集、一套評估流程和一個儲存庫。Intern-Decision-0.8B 則只附有一份 API 說明和一個基準測試表。

驗證的不對稱性,這才是真正的重點

MathForm 8B 的輸出可以由人類以外的機制來檢核。它會輸出 Lean 4,而 Lean 4 要嘛能編譯,要嘛不能。OpenBMB 公布的數字正是基於這個理由而分為兩種制度來報告:在語法檢查(Syntax Check)下的 Pass@8 為 88.06%,代表輸出能夠編譯;而在一致性檢查(Consistency Check)下為 72.37%,代表它能夠編譯且一項語意一致性檢查認同該形式化陳述的意義與原先的非形式陳述相符。這兩項數字都是六個基準測試的平均值,該論文同時也報告了在 FATE-H 上 63%、以及在更困難的 FATE-X 子集上 37% 的 CC 通過率,並宣稱這超越了專門化的 32B 自動形式化器。這些都是廠商自行報告的數字——由 OpenBMB 自己執行——但真正要緊的性質是結構性的,而非統計性的:下游系統在取用 MathForm 8B 的輸出時,無須要求某個模型來評判,就能否決不良的形式化結果。編譯器就是那個判準來源。

Intern-Decision-0.8B 有型別契約,而且沒有 oracle。輸出形狀有保證——一個宣告為 choice 的欄位會傳回一個在你所列出的選項值上的分布,而一個 score 會根據你的評分規則傳回機率加權期望值,而一個 noul 會傳回一個「是」的機率。模型外部沒有任何東西能告訴你 argmax 是否正確。信心值是模型對自身正確性的估計,而這張卡的校準工作是一項誠實的嘗試,要讓那個估計有意義——一個擬合出的溫度參數,會在銳化或軟化機率的同時保留 argmax,並在保留案例上經過驗證——但校準良好的錯誤答案仍然是錯誤答案。如果你的管線需要知道某個標籤是否正確,你就需要標註資料,而且必須自己量測它。

那並不是 Intern-Decision-0.8B 獨有的缺陷。這是每個分類器都有的狀況,也是整個決策模型類別中尚未解決的問題,而這個類別包括 TypeSafe 的 Jev 與 Convai 的 Laya。值得把話說清楚,因為一張帶有 Brier 分數欄位的基準表,可能讓人以為校準就是驗證。並非如此。校準告訴你的是:當這個模型說 80% 時,在受評估的分布上,它大約有 80% 的時間是對的——這對於設定閾值和計算期望值確實有用,但並不是對每一個項目是否正確的保證。

計分板,在兩個模型都有的列上

• 參數 — Intern-Decision-0.8B:852,985,920,橫跨 1.50 GB 語言分片、176 MB 視覺分片與 25 MB 投影器。MathForm 8B:8B 稠密,基於 Qwen3-8B。

• 基礎模型 — Intern-Decision-0.8B:Qwen3.5-0.8B,於 2026 年 2 月發布。MathForm 8B:Qwen3-8B。

• 任務 — Intern-Decision-0.8B:對你撰寫的綱要進行型別化決策 — 選擇、評分、二元。MathForm 8B:自然語言數學轉為 Lean 4 形式化。

• 輸出 — Intern-Decision-0.8B:校準後的分布,以及每個欄位的 argmax,未生成任何文字。MathForm 8B:生成 Lean 4 原始碼,通常很長。

• 驗證 — Intern-Decision-0.8B:無外部驗證;信心為自我報告。MathForm 8B:Lean 4 編譯器,加上語意一致性檢查。

• 已發表的證據——Intern-Decision-0.8B:一份涵蓋七項基準測試的廠商基準測試表,未經重現,無論文。MathForm 8B:一篇論文、一個約 367,000 個範例的公開資料集、一套評估流程與儲存庫,由廠商執行。

• 授權 — 兩者皆採用 Apache 2.0,而 Intern-Decision-0.8B 另附保留的 Qwen 授權檔案,對應其上游權重。

A two-column scoreboard comparing Intern-Decision-0.8B with MathForm 8B on six shared rows: parameters 852,985,920 against 8B dense based on Qwen3-8B, task typed decisions over a schema you write against natural-language mathematics to Lean 4, output a calibrated distribution plus argmax with no text against generated Lean 4 source, verification none external with self-reported confidence against the Lean 4 compiler plus a consistency check, published evidence a vendor table with no paper or dataset against a paper with a roughly 367k-example dataset and an eval pipeline, and Apache 2.0 on both sides.

成本與延遲無法相提并論,而這并非推託之詞

InternLM 在單張 RTX 4090 上、透過本機 Hugging Face 路徑,測得 Intern-Decision-0.8B 每次查詢平均 33.98 毫秒、p95 為 37.50 毫秒,而其 2B 版本則有 33.28 毫秒的平均值。MathForm 8B 自己的說明卡建議每次形式化最多產生 16,384 個新 token,溫度 0.6、top_p 0.95。這兩項量測並不是同一種量。一個是對提示進行單次前向傳遞;另一個是可能持續數千個 token 的自迴歸生成。把形式化預算乘上 34 毫秒的決策時間,並不能告訴你有關相對效率的任何事,因為這兩個模型做的工作量並不相同——一個是讀取並評分,另一個是讀取並寫出一份證明腳本。如果吞吐量是你的限制條件,那麼相關的事實比一個比值更簡單。MathForm 8B 每次生成形式化一個陳述,而在一個 8B 稠密模型上每次輸出 16K token,那是會讓 GPU 飽和的工作負載,也是透過 vLLM 或 SGLang 進行批次處理的候選方案,而這兩者 OpenBMB 都有文件說明。Intern-Decision-0.8B 則是一次性回答涵蓋整筆記錄的十六個問題,因此工作單位是一筆記錄而非一個欄位,而記錄預算就是 8,192 token 的輸入上限——當你塞進一段冗長的狀態、一份豐富的 schema 以及最多八張影像時,這個上限到來的速度會比讀者預期得更快。

各自在什麼情況下才是正確的工具

MathForm 8B 屬於一條瓶頸在於數學人工審查的管線。自動形式化之所以存在,是因為撰寫 Lean 比閱讀它更慢,也因為機器可檢查的陳述正是證明助理接著能加以攻擊的陳述。使它值得信賴的特性——由編譯器驗證的輸出——同時也是使它狹隘的特性:它會形式化,但不會證明;而且模型卡明確指出,編譯檢查需要正在運行的 Kimina Lean Server,且實驗使用的是 Lean 4.21.0。任何採用它的人,都是在採用那套技術堆疊。如同任何推出僅數天或數週的開放權重模型,將測試路徑指向它,並在它停滯時回退到經過驗證的模型,是評估它的低風險方式;而這正是 具備跨備援鏈自動容錯移轉的閘道之用途——這些重試會在回應開始前送達,因此停滯的形式化永遠不會到達你的呼叫端。

Intern-Decision-0.8B 適用於任何已經存在封閉答案集、而生成文字來還原該答案純屬浪費的情境。分流、路由、依評分規準評分、依據書面政策裁決某筆紀錄——這些都是把生成式模型當成昂貴的從清單中挑選工具來用的情況。它的優點在於它是確定性的、會回傳可用的機率而不是你得再解析的字串,而且它在磁碟上僅 1.73 GB,執行起來遠低於筆電瀏覽器的記憶體成本。它的缺點在於文件只涵蓋到 API 介面、InternLM 以外無人發表過它的結果,以及唯一一個暗示安全問題的基準欄位——WildJailBreak 分數 64.48,對比 Jev 的 96.29——並未獲得解釋。在你自己跑過那項測試之前,不要讓它面對對抗性輸入。

A screenshot of the Hugging Face model card for internlm/Intern-Decision-0.8B, showing the tags image-text-to-text, Transformers, Safetensors, qwen3_5, decision-making, multimodal and conversational, an Apache-2.0 licence, a model size of 0.9B params in F32-BF16, a seven-file repository, and a model tree naming Qwen/Qwen3.5-0.8B-Base as the base model. The card text reads that Intern-Decision-0.8B is 'a multimodal structured decision model fine-tuned from Qwen3.5-0.8B' which 'accepts a shared state, a schema of named questions, and optional images, and returns an answer distribution for every question in one model forward pass', followed by a three-step 'How inference works' list.

這兩個模型共享一段值得注意的淵源,因為它改變了「開放」能為你帶來什麼。兩者都是 Qwen 檢查點的微調版本,且都正確保留了上游授權條款:MathForm 8B 採用 Apache 2.0,並在模型卡上註明 Qwen3-8B 的來源;Intern-Decision-0.8B 同樣採用 Apache 2.0,並在儲存庫中附有獨立的 LICENSE-QWEN 檔案。兩者都沒有營收門檻或使用領域限制——不像 Liquid AI 的 LFM Open License v1.0,該授權以你的實體年營收維持在 1,000 萬美元以下作為商業權利的條件。如果你正在進行商業開發,這正是讓這兩個發布版本有別於小型模型生態系部分成員的一項差異,而且它對兩者同等適用。

如果你想要沒有未記載檢查點的決策層

「決策頭(decision head)是適合這類問題的正確形態」與「這個特定的決策頭是你向審閱者交代得過去的選擇」之間的落差,正是託管式替代方案所能填補的。TypeSafe 的 Jev 1.13 正是 InternLM 在 Jevbench 上以其家族模型對標的模型,也是 Typed Decision 與 ToolACE 上的對標基準,而且它今日即可透過單一 OpenAI 相容端點呼叫,每百萬輸入 token 收費 0.042 美元,輸出則計費為零——這是供應商公布的費率,原價轉嫁、沿途不加價。對於想在投入一個連儲存庫都付之闕如的 0.8B 檢查點之前,先衡量決策頭究竟有沒有用的讀者來說,這是最便宜的第一個實驗,而 Jev 自身的第三方評測也讓它擁有 Intern-Decision-0.8B 目前尚未具備、有據可查的實績紀錄。

A screenshot of the OrcaRouter model page for typesafe/jev-1.13, dated 2026-09-24, showing a 65K token context, text input and text output, a P95 time to first token of 170 ms, and list pricing of $0.042 per million input tokens with no output rate. The description reads that Jev is TypeSafe's structured decision and evaluation model, taking a state and a set of named questions (noul, choice, score) and returning a structured answer for each, served non-streaming via POST /v1/systemone. A performance panel lower down reports a P50 time to first token of 178 ms and an output speed of 569 tokens per second.

簡短的回答

這兩個並非替代方案。MathForm 8B 是一種專用模型,其輸出可由程式驗證,針對的是驗證本身即為難點的任務,並附有論文、資料集與評估工具組來證明其主張。Intern-Decision-0.8B 則是一種專用模型,其輸出只有你能驗證,針對的是答案早已寫下、難點在於如何快速且低成本地取得答案的任務,並附有推論模組與一張表。如果你需要的是形式化,這兩者中只有一個需要考慮。如果你需要的是標籤,而且你準備好建立基準真相來核對,那麼 0.8B 是更有意思的下載——快速、確定性、Apache 2.0,而且小到足以讓查明它到底好不好用的成本只是一個下午,而不是一筆預算項目。