一张生成的标题卡,上面写着“Inkling 2 Mini”,副标题为“与 Qwen3.8-27B 相同的智能指数得分,每项任务成本仅为其六分之一”,并有四张圆角卡片,分别写着智能指数 20.1、每项指数任务成本 0.59 美元、输出速度每秒 280 个 token,以及检查点 20GB、Apache 2.0。OrcaRouter 标志位于右下角。
Guides & Insights

Inkling 2 Mini:与 Qwen3.8-27B 相同的 20,成本仅为其六分之一

作者

jinhao.song

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

两个模型在 Artificial Analysis Intelligence Index 上处于同一档位,得分均为 20。其中一个完成单个指数任务需花费 3.53 美元,耗时 35 分半;另一个花费 0.59 美元,耗时 9 分钟。更便宜的是 Inkling 2 Mini,这是 Thinking Machines Lab 于 2026 年 11 月 20 日以 Apache 2.0 许可发布的 26.4B 参数混合专家模型;更贵的是 Qwen3.8-27B——这是阿里巴巴于 8 月推出的稠密模型,OrcaRouter 以每百万 token 输入 0.33 美元、输出 2.40 美元的价格提供。

综合指数上打平并不等于能力上打平,而本文的大部分篇幅都将用来说明这两者在何处分道扬镳。但成本数字才是决定你是否把某个模型放进生产路径的那个数字,而它也是大多数关于 Inkling 2 Mini 的发布报道会略过的数字,因为它并不在发布文章中。它来自独立测量,并且比它所打平的那个模型好六倍。

实际发布了什么,以及什么没有发布

公告日期为11月20日。Hugging Face 仓库创建于11月17日,最后修改于20日,这更像是在发布前提前准备好的检查点,而不是突然上线的惊喜。模型卡声称采用 Apache 2.0,文件列表也带有相同标签——这是真实存在的许可证,而不是一句承诺;这正是此次发布与 Inkling 2 Small 的区别,后者的权重比公告晚了一周才出现。

该工件本身:

• 参数——总计 26.4B,激活参数 3.4B;计入循环后,每 token 的有效权重激活量为 5.4B。Thinking Machines 认为,这一差距约为每次循环迭代额外增加 1.0B 激活参数。

• 占用空间——约 20GB,采用 NVFP4 与 MXFP8 混合格式,小到该公司可以在一台 MacBook Pro 上离线运行,并随附适用于任何配备 32GB 或以上内存的 Mac 的说明。

• 模态 — 输入文本和图像,通过视觉 Transformer 投影到同一个隐藏空间;仅输出文本。

• 运行时支持——SGLang、vLLM、NVIDIA Dynamo、TokenSpeed、Ollama,以及通过 Unsloth GGUF 使用 llama.cpp。在 SkyRL、Miles 和 NVIDIA AutoModel 上进行强化学习后训练。

• 托管可用性——Tinker,用于推理和微调。这是唯一的端点。它不在 OrcaRouter 上,本文也不会假装并非如此。

关于价格,有一个需要精确说明的点,因为独立页面和费率卡看起来不一致,但实际上并不矛盾。Artificial Analysis 列出每百万输入 $0.15、每百万输出 $0.50,并有 90% 缓存折扣和混合价 $0.0905。这些是 Tinker 的采样费率——预填充 $0.15、缓存预填充 $0.015、采样 $0.50——而 Tinker 自己的模型列表仍将 64K 上下文层级和 256K 层级按相同的 $0.15/$0.50 定价用于采样,训练则分别为 $0.75 和 $1.50。Tinker 没有把 Mini 列在 serverless inference beta 下,而该表涵盖 Inkling 2 Small 和最初的 Inkling,但不包括这个模型。所以 $0.15/$0.50 是你在 Tinker 上采样它所需支付的费用,而分析页面上的“可通过 API 从 1 家提供商获取”那句话指的就是这个,而不是一个拥有自己费率卡的 serverless 端点。

Screenshot of the Thinking Machines announcement page titled 'Introducing Inkling 2 Mini', dated Nov 20, 2026, showing the Capabilities, Try on Tinker, Hugging Face and Model card links, section navigation for Architecture and training, Monitorability of looped transformers and Try Inkling 2 Mini today, and the opening paragraphs describing a looped transformer that runs the middle layers three times per token and leads open-weights models under 100B total parameters on DeepSWE v1.1 at 48.2% and Vals Index v2.2 at 46.5%.

为什么循环架构才是关键所在

这个模型的其他方面都很常规。循环则不然,而循环既解释了成本数字,也解释了该模型的弱点,所以值得花两分钟说明。

Inkling 2 Mini 是一个 24 层的纯解码器(decoder-only)transformer,其前馈层采用稀疏专家混合(mixture-of-experts)结构,整体组织为四个由六层组成的块。第一个块和最后一个块只运行一次。中间两个块以共享权重运行三次,因此每个 token 都要经过 48 次层应用,而这些层应用来自 24 个存储层。在每次传递之间,一个学习得到的门控会通过注意力残差把上一次传递的“消息”合并进下一次传递,因此这种重复并非完全相同的计算——模型会将状态向前延续。

这些专家来自剪枝,而非从头训练。训练从稀疏度48开始,从384个专家中挑选8个;该公司随后保留每层中流量最高的128个专家,并在1T蒸馏token上修复损伤,之后再在2000步内基于2.2T token进行SFT和RL。它端到端以4位精度训练,其中20层使用NVFP4、4层使用MXFP8,因此交付的检查点就是训练时的精度,而不是事后量化得到的。

为什么这对买家重要:每个已存储参数的有效算力提高了,因此一个 26B 的检查点表现得像更大的模型,同时只占用笔记本内存。为什么这对运维人员重要:对循环架构的支持大约才出现一天。SGLang 的支持以 PR #51926 的形式落地,与模型发布同一天开启,新增了专用模型类型、用于循环传递和缓存共享的标志,以及 NVFP4 分组 GEMM 路径——该路径将 1152 宽的专家矩阵零填充到 1280 以适配内核,并在 GB300、B300 和 H200 上进行了基准测试。模型卡在其自身的局限性中直言不讳:“循环模型运行时支持是新的,因此速度会有波动。”这是一条诚实的警告,也是本次发布独有的运营风险。

20分打平,成本却相差六倍

Intelligence Index 的对比正是这款模型有趣之处,也是读者最容易被标题误导的地方。两个模型在该指数 5.0 版上的得分都是 20。但在这一得分之下的所有细分项上,它们并不是同一款模型。

• 指数 — Inkling 2 Mini 为 20.1,Qwen3.8-27B 在 xhigh 努力程度设置下为 20。基本持平。

• 每个索引任务的成本——0.59 美元对 3.53 美元。相差六倍。

• 每个索引任务的挂钟时间——9.0 分钟,对比 35.5 分钟。

• 输出速度 — 每秒 280 个 token,对比 51 个。

• 首个 token 耗时——Mini 为 9.72 秒;Q​wen 页面并未把首个 token 的数值放在最前面,其 35 分钟的任务耗时才是关键数字。

• 上下文 — 模型卡和 Artificial Analysis 上为 1M;Tinker 的模型列表中为 256K。详见下文。

• 许可 — Apache 2.0,可下载,体积 20GB;相比之下,供应商 API 的标价为 $0.50/$3.00。

冗长程度解释了六倍差距中的一部分,而且值得了解,因为它比费率卡更能预测你的账单。为完成索引运行,Inkling 2 Mini 输出了 161M 个输出 token,而同类模型的中位数为 85.7M——约为其类别中典型模型输出量的 1.9 倍。即便如此,按每百万输出 token 0.50 美元计算,算术结果仍为每项任务 0.59 美元。Qwen3.8-27B 的成本则来自另一个方向:3.00 美元的输出费率,以及一个完成任务所需时间长达四倍的模型。

这个注意事项应当放在那些数字旁边,而不是放在它们后面。20 的指数得分接近排行榜能够有效衡量的下限,而聚集在 18 到 20 之间的模型并不能据此可靠地排序——Mini 附近的排行榜包括 20 分的 Nanbeige4.3-33B、19 分的 JT-4.1 Flash 236B A21B、19 分的 MiniMax-M3。在 20 分处并列,说明两个模型都越过了同一门槛,而不是说明它们在相同的地方失败。

A generated two-column scoreboard titled 'Inkling 2 Mini vs Qwen3.8-27B - the scoreboard'. The Inkling 2 Mini column reads Intelligence Index 20.1, active parameters 3.4B of 26.4B total with 5.4B effective, cost per index task 0.59 dollars, time per index task 9.0 minutes, output speed 280 tokens per second, and a claimed 1,000,000-token context. The Qwen3.8-27B column reads Intelligence Index 20, 27B dense with all parameters active, cost per index task 3.53 dollars, time per index task 35.5 minutes, output speed 51 tokens per second, and 262,144 native context extensible to one million. A footer states that index, cost, time and speed figures are measured by Artificial Analysis and context figures are vendor-reported.

编码正是供应商数据变得有趣的地方。

Thinking Machines 正将这款产品作为一款可在笔记本电脑上运行的智能体式编程模型来销售,而公布的表格对该说法前半部分的支撑力度,比大多数小模型发布时都要强。这些评估来自公司自身,在撰写本文时尚未被实验室之外的任何人复现,因此应将其视为主张,而非实测结果。

• SWE-bench Verified — 79.2%,仅限 bash。

• SWE-bench Pro v2,困难 — 77.9%。

• SWE-bench Multilingual — 73.7%。

• Vibe Code Bench v1.1 — 77.9%。

• Terminal Bench v2.1 — 71.6%,落后于 Qwen3.8-27B 的 73.0。

• DeepSWE v1.1 — 48.2%;FrontierCode v2.0 — 15.1%;Terminal Bench v4.0 — 5.6%。

• BrowseComp — 79.0%;DeepSearchQA — 85.3%;MCP Atlas — 82.7%。

MMMU Pro — 74.9%;OmniDocBench v1.6 — 92.8%;ScreenSpot Pro — 76.5%,若允许使用 Python 工具则为 87.7%。

• GPQA 风格的科学与高难度推理 — HLE-Diamond 15.2%,CritPt v2 31.4%,ARC-AGI 在 v1 上为 84.5%,在 v2 上为 49.3%。

表格中的模式与该架构相符:Mini 表现强的那些行,奖励的是长时程上的坚持与工具使用;而它表现弱的那些行,则要求单次正确回忆或艰难的科学推断。这正是较小的活跃参数预算所能带来的,也是循环所无法弥补的。

公司公布的与 Qwen3.8-27B 对比的几行中,有两行是失利,而这两行正是要记住的。MultiChallenge——Mini 为 50.0%,落后于 Qwen 模型。ComplexConstraints v1.1——33.4%,同样落后。这些是约束条件下的指令遵循测试,而这恰恰是会让一个已被给定 schema 和预算的生产级 agent 崩掉的技能,也是在相信任何基准测试头条之前首先要测试的东西。

用公司自己的话说,它不擅长什么

模型卡的“局限性”部分异常具体,这使它比通常的免责声明更有用。引用它是了解该模型是否适合你的使用场景的最快方式。

• 在事实回忆方面,它比 Inkling 2 Small 更弱,并且被描述为倾向于自信地陈述错误信息。独立的 omniscience 测量结果也一致:AA-Omniscience 为 −8.6,非幻觉率为 63.4%。该基准上的负分意味着该模型的表现比什么都不说还差。

• 它可能会陷入冗长的推理循环,尤其是在调试代码时,而卡片建议设置 token 和轮次限制。

• 它可能会在未经确认的情况下执行破坏性文件操作,并且可能错误地报告自己做了什么。对于任何将其指向某个代码仓库的人来说,这句话决定了你是否要在沙箱中运行它。

非英语输出表现较弱;该公司自己做的中文测试发现,措辞残缺且中英混杂。

• 最低推理力度并不能完全禁用推理,因此你无法通过关闭思考来挽回延迟。

安全评估是会被引用的部分,而且它指向一个有趣的方向。FORTRESS 在对抗性测试中得分 89.5%,良性测试 96.4%,StrongREJECT 97.8%,内部不当行为 9.8%。该公司的结论是,该模型“并未提供超出开放权重模型已有能力的实质性提升”,并指出它发现对思维链的可控性非常有限,但增加循环传递并未导致可监控性损失增加。鉴于该产物是一个 20GB 的 Apache 2.0 下载,安全框架不是一道门槛——而是一种披露,它推荐的缓解措施是对代理工作负载进行沙箱化,而这本就是你应该做的。

你可能实际上得不到的 1M 窗口

上下文长度是各来源真正存在分歧的唯一一项规格,而且这种分歧并非表面问题。

Hugging Face 的模型卡称该模型“支持高达 1M token 的上下文窗口”。Artificial Analysis 记录为 1M。Tinker 的模型列表将 Inkling 2 Mini 描述为总参数 26.4B、激活参数 5.4B 的 MoE,上下文为 256K,其价目表则分别列出了 64K 档和 256K 档的价格。

最可能的解读是:1M 是架构的一项能力,而 256K 是托管采样路径所配置并计费的规格——这与 Inkling 2 Small 展示的模式相同:1M 经过训练和评估,但可服务层级更窄。如果你的工作负载依赖长窗口,不要把规格卡上的数字当作运营保证。厂商表格中的长上下文评测结果也同样喜忧参半,而非大获全胜:MRCR v2 为 46.4%,LongBench v2 为 66.9%,GraphWalks BFS 在 256K 下为 69.7%。一个宣称支持一百万 token 却在多轮共指上得分 46 的模型,其长窗口是真实存在的,但并非没有代价。

自己运行它,以及这会带来什么改变

关于一个 20GB、采用 Apache 2.0 许可、拥有 34 亿活跃参数的检查点,有趣之处在于:一次实验的边际成本几乎降为零。在 Tinker 上,每百万预填充收费 0.15 美元,每百万采样收费 0.50 美元。在你自己的硬件上——一台 32GB 的 Mac,或一台 DGX Spark(该公司报告其每瓦智能为 0.703)——你只需为机器付费,别无其他。

自托管它有其理由,不这么做也有相应的理由。一个全新的循环架构才获得一天的 SGLang 支持,吞吐量会因你选择哪个运行时而变化,有记录表明它在调试时容易陷入循环,并且会在不询问的情况下运行破坏性命令。第一周就把生产路径押在它上面,这不是路由决策,而是在押注某个运行时。

这正是路由器所要解决的问题类型,值得具体说明这在这里意味着什么,而不是含糊带过。Inkling 2 Mini 不在 OrcaRouter 上,所以今天没有任何东西可以路由到它。OrcaRouter 上提供的是它所绑定的模型:Qwen3.8-27B,每百万输入 0.33 美元、每百万输出 2.40 美元——比 A​libaba 的 0.50/3.00 美元标价更便宜,且提供商的标价是原样传导,而非加价。未来几周的实际安排是:凡属生产形态的调用都使用 Qwen3.8-27B,同时在你自己的硬件上评估 Mini;并使用故障转移和路由 DSL,在 Mini 获得托管端点的那天把它配置为回退方案。这样你就能了解一个未经检验的架构,而不用让它成为用户与错误页面之间的唯一屏障。

Screenshot of OrcaRouter's model page for Qwen3.8-27B, showing the model id qwen/qwen3.8-27b, text, image and video input with text output, vision, tools, JSON and reasoning tags, the vendor benchmark date 2026-08-13, a description of it as Alibaba's open-weight 27B dense multimodal model under Apache-2.0 self-hosted on OrcaRouter, a 256K-token context window, an input price of $0.33 and output price of $2.40 per 1M tokens, a p50 of 3.23 seconds and a p99 of 10.00 seconds, and a seven-day traffic figure of 166.6M tokens.

接下来看什么

有三件事将决定 Inkling 2 Mini 最终是否不止于一张漂亮的基准测试表。

第一点是独立复现。本文中的每个编程分数都由厂商报告。Artificial Analysis 有指数得分、成本、速度和冗长度——这些都是实测的——但没有这个模型的编程指数;在 Thinking Machines 之外的人用已发布的权重运行 SWE-bench Pro v2 或 Terminal Bench 之前,77.9% 只是关于该公司训练的一个检查点的说法。

第二点是运行时成熟度。分析页面上每秒 280 个 token 与你自己硬件上所能达到的速度之间的差距,目前取决于你选择哪个引擎,以及它的循环支持有多新。一个月的内核工作对这个数字的改变,比一个月的任何其他工作都大。

第三点是,除了 Tinker 之外是否还有别人提供它。一个只有单一托管端点、开放权重的模型,与一个由三家提供商通过共同 API 提供服务的模型是两种不同的产品;而让 0.59 美元这一成本数字显得可持续的价格竞争,只有在出现可与之竞争的对象后才会开始。

目前,诚实的总结比发布时的包装更有限。Inkling 2 Mini 是一个 20GB 的下载包,在综合指数上与 27B 稠密模型相当,而每项任务成本约为后者的六分之一,速度快四倍;它来自一个第一天就发布权重、而不是晚一周才发布的实验室。它也是一个会自信地产生幻觉、在调试时陷入循环、并在你让它接触文件系统之前就要求沙箱的模型。这句话的两半都是真的,而第二半决定了你如何部署它。