一張生成的標題卡寫著「Inkling 2 Mini」,副標題為「Intelligence Index 分數與 Qwen3.8-27B 相同,但每項任務成本僅為其六分之一」,並有四張圓角卡片分別寫著 Intelligence Index 20.1、每項指數任務成本 0.59 美元、輸出速度每秒 280 個 token,以及檢查點 20GB Apache 2.0。OrcaRouter 標誌位於右下角。
Guides & Insights

Inkling 2 Mini:與 Qwen3.8-27B 相同的 20,成本僅六分之一

作者

jinhao.song

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

兩個模型在 Artificial Analysis Intelligence Index 中位於同一級別,分數都是 20。其中一個完成單一索引任務要花 3.53 美元,並耗時 35 分半鐘;另一個則花 0.59 美元、耗時九分鐘。較便宜的是 Inkling 2 Mini,這是 Thinking Machines Lab 於 2026 年 11 月 20 日在 Apache 2.0 授權下發布的 264 億參數混合專家模型;較貴的則是 Qwen3.8-27B,這是阿里巴巴於八月推出的稠密模型,由 OrcaRouter 以每百萬 token 輸入 0.33 美元、輸出 2.40 美元的價格提供服務。

在綜合指標上並列,並不代表能力也並列,而本文將用大部分篇幅討論這兩者分歧之處。但成本數字才是決定你是否把模型放進生產路徑的關鍵,而這也是大多數關於 Inkling 2 Mini 的發布報導會略過的數字,因為它不在發布文章中。它來自獨立量測,而且比與它並列的模型好上六倍。

實際推出了什麼,以及什麼沒有推出

這則公告的日期是11月20日。Hugging Face 儲存庫建立於11月17日,並在20日最後修改,這樣的情況像是發佈前先備妥的檢查點,而非驚喜突襲上架。模型卡宣稱採用 Apache 2.0,檔案清單也帶著相同標籤——這是真正的授權,而非僅是承諾;這正是本次發佈與 Inkling 2 Small 的差別所在:後者的權重比公告晚了一週才出現。

文物本身:

• 參數 — 總計 26.4B,活躍參數 3.4B;計入迴圈後,每個 token 的有效權重啟用量為 5.4B。Thinking Machines 將差距估算為每輪迴圈約多出 1.0B 個活躍參數。

• 佔用空間 — 約 20GB,採用 NVFP4 與 MXFP8 混合格式,小到該公司能在 MacBook Pro 上離線運行,並提供適用於任何配備 32GB 或以上 RAM 的 Mac 的操作說明。

• 模態 — 輸入文字與影像,經由視覺 Transformer 投影至相同的隱藏空間;僅輸出文字。

• 執行階段支援 — SGLang、vLLM、NVIDIA Dynamo、TokenSpeed、Ollama、llama.cpp,透過 Unsloth GGUF 檔。在 SkyRL、Miles 與 NVIDIA AutoModel 上進行強化學習後訓練。

• 託管可用性 — Tinker,用於推論與微調。那是唯一的端點。它不在 OrcaRouter 上,而本文不會假裝不是。

關於價格有一點需要精確說明,因為獨立頁面和價目表看起來互相矛盾,但其實並沒有。Artificial Analysis 列出每百萬輸入 $0.15、每百萬輸出 $0.50,並有 90% 快取折扣,以及混合價 $0.0905。這些是 Tinker 的取樣費率——預填 $0.15、快取預填 $0.015、取樣 $0.50——而 Tinker 自己的模型清單仍將 64K 上下文層級和 256K 層級的取樣價格定在相同的 $0.15/$0.50,訓練則分別為 $0.75 和 $1.50。Tinker 沒有把 Mini 列在無伺服器推論 beta 之下,該 beta 的表格涵蓋 Inkling 2 Small 和原始 Inkling,但不包含這個模型。因此,$0.15/$0.50 就是你在 Tinker 上對它進行取樣所支付的價格,而分析頁面上「可透過 API 經由 1 家供應商使用」那行指的就是這個,而不是一個有自己價目表的無伺服器端點。

Screenshot of the Thinking Machines announcement page titled 'Introducing Inkling 2 Mini', dated Nov 20, 2026, showing the Capabilities, Try on Tinker, Hugging Face and Model card links, section navigation for Architecture and training, Monitorability of looped transformers and Try Inkling 2 Mini today, and the opening paragraphs describing a looped transformer that runs the middle layers three times per token and leads open-weights models under 100B total parameters on DeepSWE v1.1 at 48.2% and Vals Index v2.2 at 46.5%.

為什麼迴圈架構才是重點所在

這個模型的其他一切都很傳統。迴圈則不然,它既解釋了成本數字,也解釋了模型的弱點,所以值得花兩分鐘。

Inkling 2 Mini 是一個 24 層、僅含解碼器的 Transformer,具有稀疏混合專家前饋層,並組織成四個區塊、每塊六層。第一個區塊與最後一個區塊各執行一次。中間兩個區塊以共享權重執行三次,因此每個 token 會經歷 48 次層運算,而這些運算取自 24 個儲存層。在相鄰傳遞之間,一個學習到的閘門會透過注意力殘差,將前一輪傳遞的「訊息」合併進下一輪,因此重複並非完全相同的計算——模型會把狀態向前傳遞。

這些專家是剪枝得來的,而非從頭訓練。訓練從稀疏度 48 開始,從 384 個專家中挑出 8 個;公司接著保留每層中流量最高的 128 個專家,並在 1T 蒸餾 token 上修復損傷,之後才在 2.2T token 上進行 SFT 與 RL,共 2,000 步。整個訓練以 4-bit 端到端進行,其中 20 層採用 NVFP4、4 層採用 MXFP8,因此出貨的 checkpoint 就是訓練時的精度,而非對它做事後量化。

對買家而言,這一切為何重要:每個已儲存參數所對應的有效算力提高了,因此 26B 檢查點的行為宛如更大的模型,同時仍只佔用筆電記憶體。對營運者而言,這為何重要:對迴圈式架構的支援大約才問世一天。SGLang 的支援以 PR #51926 的形式落地,於模型發布當天開立,新增專用模型類型、迴圈遍數與快取共享的旗標,以及 NVFP4 分組 GEMM 路徑;這些路徑會把 1152 寬的專家矩陣零填充到 1280,以配合核心,並在 GB300、B300 與 H200 上進行基準測試。模型卡在其自身的限制說明中直言:「迴圈模型的執行階段支援是新功能,因此速度會有所變動。」這是誠實的警告,也是本次發布獨有的營運風險。

20 分打平,成本相差六倍

Intelligence Index 的比較,正是這款模型之所以有趣的原因,也是讀者最可能被標題誤導的地方。兩款模型在該指數 5.0 版上都得到 20 分。但在這個分數底下的每一項,它們都不是同一款模型。

• 指數 — Inkling 2 Mini 為 20.1,Qwen3.8-27B 在其 xhigh 努力程度設定下為 20。實際上持平。

• 每項索引任務成本 — $0.59 對 $3.53。相差六倍。

• 每個索引任務的實際耗時 —— 9.0 分鐘對比 35.5 分鐘。

• 輸出速度 — 每秒 280 個 token,相較於 51。

• 首個 token 時間——Mini 為 9.72 秒;Qwen 頁面並未以首個 token 時間數據作為開頭,而其 35 分鐘的任務時間才是關鍵數字。

• 上下文 — 模型卡和 Artificial Analysis 上為 1M;Tinker 的模型清單中為 256K。詳見下文。

• 授權 — Apache 2.0,可下載,大小為 20GB;相較之下,廠商 API 的牌價為 $0.50/$3.00。

冗長程度解釋了六倍差距的一部分,而這點值得知道,因為它比價目表更能預測你的帳單。完成這輪索引執行時,Inkling 2 Mini 產生了 1.61 億個輸出 token,而同類模型中位數為 8,570 萬個——約為同級典型模型輸出量的 1.9 倍。即便如此,以每百萬輸出 token 0.50 美元計算,算下來仍是每項任務 0.59 美元。Qwen3.8-27B 的成本則來自另一個方向:每百萬輸出 3.00 美元的費率,以及完成時間要四倍的模型。

有一個但書應該放在那些數字旁邊,而不是放在它們之後。指數分數 20 已接近排行榜能有效衡量範圍的下限,而聚集在 18 到 20 分之間的模型無法藉由它可靠地排序——Mini 附近的排行榜包括 Nanbeige4.3-33B 為 20 分、JT-4.1 Flash 236B A21B 為 19 分、MiniMax-M3 為 19 分。在 20 分並列,代表的是兩個模型都跨過同一個門檻,而不是它們在相同的地方失敗。

A generated two-column scoreboard titled 'Inkling 2 Mini vs Qwen3.8-27B - the scoreboard'. The Inkling 2 Mini column reads Intelligence Index 20.1, active parameters 3.4B of 26.4B total with 5.4B effective, cost per index task 0.59 dollars, time per index task 9.0 minutes, output speed 280 tokens per second, and a claimed 1,000,000-token context. The Qwen3.8-27B column reads Intelligence Index 20, 27B dense with all parameters active, cost per index task 3.53 dollars, time per index task 35.5 minutes, output speed 51 tokens per second, and 262,144 native context extensible to one million. A footer states that index, cost, time and speed figures are measured by Artificial Analysis and context figures are vendor-reported.

編碼環節才是供應商數據開始變得有趣的地方

Thinking Machines 將這款模型定位為可在筆記型電腦上執行的代理式程式設計模型,而公布的表格對這項說法前半部分的支持力度,比大多數小型模型發布時更強。這些是該公司自行做的評估,截至撰寫本文時,實驗室以外尚無人重現;應將其視為主張,而非量測結果。

• SWE-bench Verified — 79.2%,僅使用 bash。

• SWE-bench Pro v2,困難 — 77.9%。

• SWE-bench Multilingual — 73.7%。

• Vibe Code Bench v1.1 — 77.9%

• Terminal Bench v2.1 — 71.6%,落後於 Qwen3.8-27B 的 73.0。

• DeepSWE v1.1 — 48.2%;FrontierCode v2.0 — 15.1%;Terminal Bench v4.0 — 5.6%。

• BrowseComp — 79.0%;DeepSearchQA — 85.3%;MCP Atlas — 82.7%。

MMMU Pro — 74.9%;OmniDocBench v1.6 — 92.8%;ScreenSpot Pro — 76.5%,若允許使用 Python 工具則為 87.7%。

• GPQA 風格的科學與高難度推理 — HLE-Diamond 15.2%、CritPt v2 31.4%、ARC-AGI 在 v1 上為 84.5%,在 v2 上為 49.3%。

那張表內的模式與此架構一致:Mini 看起來強勁的橫列,獎勵的是長時間跨度下的堅持與工具使用;而它看起來疲弱的橫列,則是那些要求單一正確回憶或困難科學推論的橫列。這就是小型活躍參數預算所能換來的,也是迴圈無法修正的。

公司針對 Qwen3.8-27B 所列出的比較項目中,有兩項是落敗的,而這兩項正是最該記住的。MultiChallenge —— Mini 為 50.0%,落後於 Q​wen 模型。ComplexConstraints v1.1 —— 33.4%,同樣落後。這些都是在約束條件下遵循指令的測試,而這正是會讓一個已被賦予 schema 與預算的生產環境代理徹底失靈的能力,也是在採信任何一方基準測試亮眼標題之前,最該先測的東西。

它不擅長什麼,用該公司自己的話來說

模型卡的限制部分異常具體,因此比一般的免責聲明更有用。引用它是最快的方式,能知道這個模型是否適合你的使用情境。

• 在事實回憶方面,它比 Inkling 2 Small 弱,且被描述為容易自信地陳述不正確的資訊。獨立的全知測量結果也認同這點:AA-Omniscience 為 −8.6,非幻覺率為 63.4%。在該基準上的負分意味著模型的表現比什麼都不說還差。

• 它可能會陷入冗長的推理迴圈,尤其是在偵錯程式碼時,而卡片建議設定 token 與回合數限制。

• 它可能會在未經確認的情況下採取破壞性的檔案操作,而且可能誤報自己做了什麼。對任何要把它指向某個儲存庫的人來說,那句話正是決定你是否要在沙箱中執行它的關鍵。

• 非英語輸出較弱;該公司自身的中文測試發現措辭有截斷,且語言混雜。

• 最低推理強度並不會完全停用推理,因此無法藉由關閉思考來換回延遲。

安全評估是會被引用的那部分,而它切入的方向很有意思。FORTRESS 在對抗性測試中得分 89.5%、良性測試 96.4%,StrongREJECT 97.8%,內部不當行為 9.8%。該公司的結論是,該模型「並未提供超越開放權重模型既有可得內容的實質提升」,並指出它發現對思維鏈的可控性極低,但加入迴圈傳遞並未增加可監測性的損失。鑑於該產物是 20GB 的 Apache 2.0 下載檔,安全論述並不是一道閘門——而是一項揭露;它建議的緩解措施是將代理式工作負載沙箱化,而這本來就是你不論如何都應該做的事。

你可能其實拿不到的 1M 視窗

上下文長度是各來源真正存在分歧的一項規格,而這種分歧並非表面問題。

Hugging Face 模型卡指出,該模型「支援最高 1M token 的上下文視窗」。Artificial Analysis 記錄為 1M。Tinker 的模型清單將 Inkling 2 Mini 描述為總參數 26.4B、活躍參數 5.4B 的 MoE,上下文為 256K,而其價目表為 64K 級距與 256K 級距定價。

最可能的解讀是,1M 是架構具備的能力,而 256K 是託管取樣路徑實際配置與計費的範圍——這與 Inkling 2 Small 展現的模式相同:1M 經過訓練與評估,但可服務的層級較窄。若你的工作負載依賴長視窗,別把規格卡上的數字當成營運保證。供應商表格中的長上下文評估也並非全面告捷,而是好壞參半:MRCR v2 為 46.4%、LongBench v2 為 66.9%、GraphWalks BFS 在 256K 下為 69.7%。一個宣稱支援百萬 token、卻在多輪共指只拿 46 分的模型,代表其長視窗確實存在,但並非免費。

自己執行,以及這會帶來什麼改變

一個 20GB、3.4B 活躍參數的 Apache 2.0 checkpoint 有趣之處在於:做一次實驗的邊際成本幾乎降到零。在 Tinker 上,每百萬個 prefill 收費 $0.15,每百萬個 sample 收費 $0.50。而在自己的硬體上——一台 32GB 的 Mac,或是一台 DGX Spark(該公司宣稱每瓦 0.703 智慧)——你只需要為機器付費,其他什麼都不用。

這是自行託管它的理由,但也有同樣成立的反對理由。全新的迴圈架構,SGLang 支援才只有一天,輸送量會依你選用的執行環境而異,還有文件記載它在除錯時會陷入迴圈,以及有文件記載它會未經詢問就執行具破壞性的命令。在第一週就把正式環境路徑押在這上面,並不是路由決策,而是對執行環境的一場賭注。

這正是路由器被打造來處理的問題類型,值得具體說明這在此處意味著什麼,而不是含糊帶過。Inkling 2 Mini 不在 OrcaRouter 上,所以今天沒有可路由到它的東西。OrcaRouter 上有的,是它所綁定的模型:Qwen3.8-27B,每百萬輸入 $0.33、每百萬輸出 $2.40——比 A​libaba 的 $0.50/$3.00 定價更便宜,且以供應商的定價原樣傳遞,而非加價。接下來幾週的實際安排是:凡是生產形態的用途都呼叫 Qwen3.8-27B,同時在你自己的硬體上評估 Mini;並在 Mini 觸及託管端點的那天,使用故障轉移與路由 DSL 把 Mini 置於備援之後。這樣一來,你就能一窺尚未經證實的架構,而不必讓它成為使用者與錯誤頁面之間唯一的屏障。

Screenshot of OrcaRouter's model page for Qwen3.8-27B, showing the model id qwen/qwen3.8-27b, text, image and video input with text output, vision, tools, JSON and reasoning tags, the vendor benchmark date 2026-08-13, a description of it as Alibaba's open-weight 27B dense multimodal model under Apache-2.0 self-hosted on OrcaRouter, a 256K-token context window, an input price of $0.33 and output price of $2.40 per 1M tokens, a p50 of 3.23 seconds and a p99 of 10.00 seconds, and a seven-day traffic figure of 166.6M tokens.

接下來要看什麼

有三件事將決定 Inkling 2 Mini 最終是否能在漂亮的基準測試表之外真正具有影響力。

首先是獨立重現。本文中的每個程式設計數字都是廠商回報的。Artificial Analysis 有指數分數、成本、速度和冗長度——全是實測——但沒有這個模型的程式設計指數;而在 Thinking Machines 以外的人於已釋出的權重上執行 SWE-bench Pro v2 或 Terminal Bench 之前,77.9% 只是該公司對其所訓練檢查點的一項宣稱。

第二個是執行階段的成熟度。分析頁面上每秒 280 個 token 的表現,與你在自己硬體上實際得到的數字之間的差距,目前取決於你選用哪個引擎,以及它對迴圈的支援有多新。花一個月做核心層(kernel)的工作,對這個數字的改變,會比花一個月做其他任何事都來得大。

第三點是,除了 Tinker 之外,是否還有其他人提供這項服務。一個由單一託管端點提供、具備開放權重的模型,與一個由三個供應商透過共同 API 提供的模型,是截然不同的產品;而唯有出現可與之競爭的對象,那種讓 0.59 美元成本數字看起來能持久的價格競爭才會開始。

目前,誠實的總結比發表時的框架來得狹窄。Inkling 2 Mini 是個 20GB 的下載檔,在複合指標上可與 27B 稠密模型匹敵,每項任務成本約為其六分之一,速度則快四倍;而且它出自一家在首日、而非一週後就釋出權重的實驗室。它同時也是個會自信地產生幻覺、除錯時會陷入迴圈,並在你讓它碰檔案系統之前就要求沙箱的模型。那句話的兩半都是真的,而決定你如何部署它的,是後半句。