一張生成的標題卡寫著「Inkling 2 Mini 對比 Inkling 2 Small」,副標題為「相差 11 個索引點、394GB」,下方有兩張圓角卡片,分別寫著「Inkling 2 Mini — 1 個檔案,約 20GB」和「Inkling 2 Small — 36 個檔案,393.5GB」,並由一條標示「11 個點」的分隔線隔開。OrcaRouter 標誌位於右下角。
Guides & Insights

Inkling 2 Mini 對比 Inkling 2 Small:394GB 的 11 個重點

作者

jinhao.song

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

兩個檢查點、同一個家族,而抉擇歸結於你願意為 11 個 Index 分數點投入多少磁碟和記憶體。Inkling 2 Mini 是小的那個:總參數 264 億、活躍參數 34 億,單一檔案約 20GB,由 Thinking Machines Lab 於 2026 年 11 月 20 日以 Apache 2.0 授權發布。Inkling 2 Small 是大的那個:總參數 5940 億、活躍參數 170 億,36 個檔案共 393.5GB,權重於 11 月 12 日開放,在此之前是自 11 月 5 日發布起、為期一週的封閉可用期。在獨立評測兩者的 Artificial Analysis Intelligence Index v5.0.1 上,得分分別為 20.1 與 31。這一行就是整個取捨,卻也低估了兩者行為方式的差異有多大。

以下內容將這兩類證據分開,因為這項差異決定了大多數關於這個模型家族的爭論。Index score、每項索引任務成本、速度、上下文與授權,都是 Artificial Analysis 的數據與廠商中介資料,於 2026 年 11 月 21 日讀取。每一項基準測試百分比,都是 Thinking Machines 在相關發布文章中提供的自家評估表,以該公司訓練的檢查點為準,且每次出現都標註為廠商回報。這兩張表都未在實驗室外重現。

每個檢查點究竟是什麼

從產物開始,因為這些產物並不是同一類東西。Inkling 2 Small 是扁平的混合專家模型:總計 594B,每個 token 啟用 17B,權重在發布後八天以 24 個 safetensors 分片公開,另有一個更大的 MXFP8 變體。Inkling 2 Mini 是經過剪枝、帶迴圈的後代——相同的主線配方,刪除三分之二的專家,並在中間層加入迴圈。它以約 20GB 的單一檔案形式提供,因為它是以 4 位元端到端訓練,並以訓練時的精度部署:20 層採用 NVFP4,4 層採用 MXFP8,因此無須承擔轉換損失。

• 總參數 — Inkling 2 Mini 26.4B 對比 Inkling 2 Small 594B。

• 活躍參數——3.4B 對比 17B;其中 Mini 在計入其三輪迴圈後,每個 token 的有效權重啟用量達到 5.4B。

• 下載 — 單一檔案約 20GB,而 36 個檔案共 393.5GB,MXFP8 變體則為 622.8GB。

• 指數 — 20.1 對 31,兩者皆依據 Intelligence Index v5.0.1。

• 每項索引任務成本 — $0.59 對比 $1.18。

• 輸出速度與首個 token — 9.72 秒時每秒 280 個 token,對比 39.68 秒時每秒 118 個 token。

• 背景脈絡 — 兩張模型卡都標示 1M tokens,且 Artificial Analysis 對兩者也都記錄為 1M。Inkling 2 Small 在 Tinker 上的服務層級比其模型卡所載更窄,而 Mini 也承襲同樣的落差;請把「百萬」視為一項能力,而不是營運上的承諾。

授權條款 —— 兩者皆為 Apache 2.0。Small 的說明卡雖然宣告了這一點,卻沒有附上 LICENSE 檔案;Mini 的說明卡則是在 metadata 中宣告,同樣未附上該檔案。若你的法務審查要求在專案目錄中看到正式文件,這點值得留意。

Screenshot of the Artificial Analysis model page for Inkling 2 Small, showing a score of 31 on the Intelligence Index against a median of 23 for its class, 154M tokens generated during the index run against a 104M median, pricing of $0.30 per 1M input and $1.00 per 1M output tokens, $1.18 per index task, 21.2 minutes per task, a 1M-token context window, a 39.68-second time to first token and 118 output tokens per second.

十一點,以及它們從何而來

把兩家廠商的表格並排對照,是唯一能看出多出來的算力換到了什麼的方法,因為單看指數分數會把這件事掩蓋掉。這兩個模型都是由同一個實驗室使用彼此有重疊的評測框架來評估,因此各列之間大致可以互相比較——而且也只能彼此比較。

• DeepSWE v1.1 — Inkling 2 Small 72.1% 對比 Inkling 2 Mini 48.2%。程式設計區塊中差距最大。

• SWE-bench Pro v2,困難 — 86.3% 對 77.9%。

• SWE-bench Verified — Mini 為 79.2%,僅 bash。Small 自己的發布表格並未印出同一列,所以這是這兩篇文章無法對齊的唯一一項程式設計基準。

• Vibe Code Bench v1.1 — 81.6% 對比 77.9%。

• FrontierCode v2.0 — 25.4% 對 15.1%。在兩者都最弱的基準測試上,相差十個百分點。

• PMPP-Hard,核心最佳化基準測試——Small 的 AUC 為 494.27,Mini 則為 455.82;兩者差距比參數量所暗示的更接近,而這也正是發布文章在說 Mini「接近」其較大兄弟時所指的那一列。

• BrowseComp — 90.2% vs 79.0%;DeepSearchQA 90.9% vs 85.3%;MCP Atlas 85.0% vs 82.7%。搜尋與工具使用將差距縮小至個位數。

• CritPt v2,完整版 — 55.7% 對 31.4%。科學推理正是額外儲存的知識顯現得最明顯的地方。

• AA-Omniscience — 16.1,非幻覺率為 73.3%,相較於 −8.6、非幻覺率 63.4%。

最後那一列值得好好正視。負的「無所不知」分數意味著模型比拒答還糟,而 11 分的指數差距主要就體現在那裡:較大的模型知道事情,較小的模型則是把事情推導出來。Thinking Machines 自己也用不同的說法講到這點:它解釋迴圈增加的是串列運算,而不是儲存的事實。剪枝砍掉了三分之二的專家;知識存在於留下的專家之中。

同樣的食譜,更小的鍋子

家族相似性並非行銷話術。兩個模型都經過 SFT,使用相似的資料混合,並經歷一個總計 2.2T tokens、涵蓋 2,000 步的 RL 階段,且兩者都採用同策略蒸餾來進行對齊。後訓練流程是同一套流程;不同的是送進這套流程的內容。

Mini 在那裡的路線值得了解,因為它說明了基準測試中的好幾列結果。它從稀疏度 48 開始,將每個 token 路由到 384 個專家中的 8 個。在中期訓練的某個時點,Thinking Machines 在每一層保留最常用的 128 個專家——削減了三分之二——並在從較大的內部 Inkling 模型蒸餾出的 1T tokens 上修復損失,訓練倖存者接手被刪除專家的工作。接著它加入了迴圈:四個由六層組成的區塊,其中中間兩個區塊執行三次,並有一個學習到的閘門,將上一輪的訊息合併到下一輪,起始增益為零,因此訓練開始時就像一個普通模型。

那個設計中的兩個判斷取捨很有啟發性。公司讓中間十二層進行迴圈,而不是最後十二層;此前在 28 項評估中測試兩者,發現中間層在 27 項上更優,且運算等效增益為 1.51–1.91×,相較之下後者為 1.24–1.36×。此外,它讓第一與最後區塊維持單次通過,其理論是這些區塊負責詞元到表徵的轉譯,而中間層承載抽象。這就是為什麼 Mini 僅用 24 個儲存層,就能讓每個詞元經歷 48 次層套用,且不需增加任何參數。

那個技巧的代價是維運層面的。扁平式 MoE 是每個推論堆疊都已支援兩年的東西。迴圈式模型大約從推出當天起就有 SGLang 和 vLLM 支援,而模型卡明白指出,迴圈式模型的執行階段支援是新功能,且速度會有所變動。如果你這個月要在這兩者之間為生產路徑做選擇,較不花俏的那個才是核心已成熟的那個。

硬體才是真正的分水嶺

這兩個檢查點不會爭奪同一台機器,而這一點比分數更能決定部署數量。Mini 的規格設定為可在單台 NVIDIA DGX Spark、任何配備 32GB 或以上記憶體的 Apple silicon 裝置,或具備 32GB VRAM 的 GPU 上執行;該公司自家的示範中,它能在一台處於飛航模式的 MacBook Pro 上離線建構出可玩的飛行模擬器,並在一台筆記型電腦上執行包含二十個代理的城鎮模擬。一項在早期存取階段進行的史丹佛效率研究顯示,在 DGX Spark 上以 MXFP8 與低推理投入運行時,其效率為每瓦 0.703 智慧——這是由實驗室外部的研究人員在單一裝置上測得,是本次發布中最強的獨立訊號。

Small 需要一個節點。393.5GB 的權重,不是一般人擁有的任何裝置放得下的,這也是為什麼使用它的自然方式是託管端點——就廠商而言是 Tinker——也是為什麼對大多數讀者來說,有趣的比較不是「我該下載哪個檔案」,而是「這些之中有哪些是我根本跑得動的」。Mini 用一台筆電回答這個問題。Small 則用預算回答。

這種不對稱正是路由發揮價值的地方,而且值得具體說明,而不是含糊帶過。這兩個模型都不在 OrcaRouter 上,所以目前沒有可路由至其中任一模型的目標。OrcaRouter 上有的是同一項決策的託管端:針對 594B 檢查點實際要處理的工作負載,你會呼叫的模型,都在同一把金鑰下,以供應商公告價格提供,不額外加價。路由 DSL 才是這裡的關鍵——它讓你依任務拆分,使昂貴的呼叫只發生在需要它的請求上,並在供應商故障時自動容錯移轉,而便宜的本機模型則處理其他所有事情。在本機執行 Mini,只在困難的長尾情況向外呼叫,帳單會比用任一模型處理所有事情更低,而這正是本次發行實際促成的安排。

三宗案件中的裁決

如果你要打造一個住在開發者機器上、或是在單一離線盒子裡運作的代理,Inkling 2 Mini 就是答案,而且沒有真正的競爭對手。20GB 下載、每秒 280 個 token、Apache 2.0,還有一張在廠商自己列出的資料列上勝過所有同尺寸開放權重模型的程式編碼表。把它放進沙箱——模型卡警告會有破壞性檔案操作,以及除錯時陷入迴圈——它就能在你已經擁有的硬體上完成倉庫規模的代理式工作。

如果你的工作負載是對大量並非由你撰寫的文件進行檢索,Small 的優勢主要體現在那些需要回想某份文件說了什麼的列上。CritPt 為 55.7% 對 31.4%,全知性為 16.1 對 −8.6,非幻覺率為 73.3% 對 63.4%,在合規或金融情境中,這些都不是小差距,因為在那些情境裡,一個自信的錯誤答案比一個緩慢的正確答案代價更高。你得為此付出一個節點或端點的成本。

如果你要為混合工作負載做選擇,分工才是重點。Mini 的弱點是知識,而知識正是你可以從外部補上的東西——檢索層、搜尋工具,或在困難尾端改用更大的模型。它的強項是以 20GB 級別中無人能及的價格,提供長時程的代理式持續力。買小模型,租知識,並把 594B checkpoint 當成你升級時才動用的東西,而不是平常就跑的東西。

Screenshot of the Artificial Analysis model page for Inkling 2 Mini, showing a score of 20 on the Intelligence Index against a median of 10, 161M tokens generated during the index run against an 85.7M median, pricing of $0.15 per 1M input and $0.50 per 1M output tokens, $0.59 per index task, 9.0 minutes per task, and a 1M-token context window, alongside the technical specification panel listing the reasoning, input and output modalities, context window, parameter counts and licence.

有一個但書貫穿這三種情況,而且應該放在最後,而不是被埋沒。這兩個模型的基準測試表都是該實驗室自家的,而指數分數是這項比較中唯一獨立測得的能力數值。31 和 20.1 可以相比;86.3% 和 77.9% 彼此可以相比,但除此之外別無其他可比的對象。任何人把廠商列出的分數拿來和競爭對手公開的分數並列,比較的其實是兩套測試框架,而不是兩個模型。

A generated two-column scoreboard titled 'Inkling 2 Mini vs Inkling 2 Small — the scoreboard'. The Inkling 2 Mini column reads Intelligence Index 20.1, active parameters 3.4B, total parameters 26.4B, download about 20GB, cost per index task $0.59, and output speed 280 tokens per second. The Inkling 2 Small column reads Intelligence Index 31, active parameters 17B, total parameters 594B, download 393.5GB, cost per index task $1.18, and output speed 118 tokens per second. A footer states that index, cost and speed are per Artificial Analysis and benchmark percentages are vendor-reported.