
Inkling 2 Mini 以 20 发售:一款以循环方式思考的 20GB 模型
- Orca新OrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 每百万 tokens · 183 tok/s
- tencent新Tencent: Hy4 Flash2026-11-16$0.02 / $0.07 每百万 tokens · 568 tok/s
- Alibaba新Qwen: Qwen4 Max2026-11-16$1.50 / $4.50 每百万 tokens · 385 tok/s
- Google新Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 每百万 tokens · 87 tok/s
- Anthropic新Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 每百万 tokens · 150 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 每百万 tokens · 99 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 每百万 tokens · 134 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 每百万 tokens · 84 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 每百万 tokens · 121 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 每百万 tokens · 107 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 每百万 tokens · 67 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百万 tokens · 91 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百万 tokens · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447智能
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 每百万 tokens · 214 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929智能
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 每百万 tokens · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733智能
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 每百万 tokens · 160 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740智能
该检查点约为20GB,而这个数字正是关键所在。Inkling 2 Mini 是一个264亿参数的专家混合模型,每个token激活34亿参数,由 Thinking Machines Lab 于2026年11月20日以 Apache 2.0 许可发布,作为单个下载项,可在配备32GB统一内存的 Mac 或单台 NVIDIA DGX Spark 上运行。同一天,Artificial Analysis 对其进行了计时和评分:在 Intelligence Index v5.0.1 上得20.1分,每百万输入token 0.15美元、每百万输出token 0.50美元,完成一项指数任务需0.59美元,每秒输出280个token。有趣之处不在于分数,而在于该模型通过将同样的十二层运行三次、而非存储更多参数来达到这一分数,这正是让一个26B检查点表现得像更大的模型、却不需要比笔记本电脑更多内存的原因。
如果粗心地把两类数字混在一起,这次发布读起来就像一场毫无争议的胜利;若把它们区分开,读起来则会更具体,而这正是本文试图做到的。指数、每任务成本、速度、冗长程度和许可证是 Artificial Analysis 于 2026 年 11 月 21 日读取的测量值和元数据。下文每一行编程和推理数据,都是 Thinking Machines 用自家评测框架在其训练的检查点上得出的,并在出现处注明了这一点。实验室之外无人复现过这些行。
Thinking Machines 发布了什么
这次发布是以权重为先的。Hugging Face 仓库创建于 11 月 17 日,最后修改于 20 日,这更像是分阶段放出的检查点,而不是突然上线的突击发布;模型卡也将 2026 年 11 月 20 日标注为发布日期。有一个确实值得注意的许可证文件情况:模型卡在元数据中声明为 Apache 2.0,仓库标签也带有同样的标识,因此这是一次宽松许可的发布,而不是 Inkling 2 Small 在 11 月 5 日发布时所附带的那种“承诺将来会开源”的做法。
• 参数——总计 26.4B,激活 3.4B;计入循环后,每 token 的有效权重激活为 5.4B;Thinking Machines 估计每多一次循环遍历,约增加 1.0B 激活参数。
• 占用空间 — 单个检查点约 20GB,其中 20 层采用 NVFP4、4 层采用 MXFP8,并以训练时的精度交付,而非在事后进行量化。
• 模态——文本和图像通过视觉 Transformer 投影到共享隐藏空间输入,文本输出。
• 上下文 — 模型卡标明最高可达 100 万 tokens,而 Artificial Analysis 的记录为 100 万。
• 服务 — Hugging Face、SGLang、vLLM、TokenSpeed、NVIDIA Dynamo、Unsloth 和 llama.cpp GGUFs、Llama App,以及 Apple 芯片上的 Ollama 和 Exo Labs。Miles 和 SkyRL 已有后训练方案。
• 托管 — Tinker,用于推理和定制,并配有演练场。那是厂商自己的端点,也是唯一的端点;Inkling 2 Mini 不在 OrcaRouter 上,下文任何内容都不暗示相反。
一个配套模型也一并发布。TML-d24-varloop-research 采用相同的架构,经过训练可接受一到五次循环遍历(loop passes),它的存在是为了让研究者能够改变深度,而生产模型将该深度固定为三次。它同样发布在 Hugging Face 上,并且本次发布中大部分可监控性研究工作都是在这个模型上完成的。

循环即产品
Inkling 2 Mini 是一个 24 层的仅解码器 Transformer,具有稀疏混合专家前馈层,分为四个块,每块六层。第一个块运行一次,最后一个块运行一次,而中间两个块——共十二层——以共享权重运行三次。因此,一个 token 会经过 48 次层应用,这些层应用来自 24 个存储的权重层。
重复并非复制。每次经过中间块时,都会读取前奏的输出,而第二遍和第三遍还会读取 Thinking Machines 所称的 message:即中间块上一遍自身的输出,通过一个学习到的门控进行合并。这个门控一开始会完全阻断 message,因此训练开始时就像一个普通的非循环模型,而 message 的增益会随时间提高。这是一种训练稳定性技巧,也正是循环可以在训练中途加入、而不必从零开始训练的原因。
哪些层进行循环并非随意。公司在 28 项评估中比较了循环中间十二层与循环最后十二层,发现中间十二层在其中 27 项上胜出,并且在同等计算量下带来 1.51–1.91× 的增益,而后者为 1.24–1.36×。这给出的直觉是:早期层和晚期层忙于在 token 与内部表示之间进行转换,而中间层承载着受益于更多串行步骤的抽象推理。
这些专家是剪枝而来的,而非设计出来的。训练从稀疏度 48 开始,将每个 token 路由到 384 个专家中的 8 个;在中期训练的某个阶段,公司每层保留了使用最频繁的 128 个专家,并用从更大的内部 Inkling 模型蒸馏出的 1T token 修复了损伤,随后进行了 SFT 和一个 RL 阶段,在 2,000 步内总共使用了 2.2T token。这与 Inkling 2 Small 的后训练配方相同,因此两个模型的优势落在相同的地方。
二十,以及它下面是什么
{{1}}主要分数是真实的,并且是独立测量的{{/1}},而且它也接近{{2}}该指数{{/2}}能有效分辨的下限。{{3}}Artificial Analysis{{/3}}将{{4}}20{{/4}}评为远高于该模型在{{5}}开放权重榜单{{/5}}上所属对比类别的平均水平,而该类别的中位数是{{6}}10{{/6}},但紧邻{{7}}20{{/7}}的分数带里挤满了分数在其上下各一分的模型,而{{8}}该指数{{/8}}并不能如此精细地排列模型。{{9}}20{{/9}}分意味着该模型越过了一道门槛,而不是说它击败了与它相差一分以内的所有模型。
这个分数确实支撑的,是对这一规模的模型而言真正重要的定位。发布报道中的帕累托主张——每活跃参数所对应的前沿智能——正是 Artificial Analysis 自己的总结所支持的那一个:它称该模型在同尺寸级别中属于智能领先的模型之列,并且与尺寸相近的其他开放权重模型相比定价合理。它能做到这一点,是因为循环机制在不增加参数的情况下换来了串行计算;而一旦要求模型去“知道”某事,而不是去“推演”某事,这一主张便不再成立。
成本和速度这两列是此次发布看起来最强的地方。输入 $0.15、输出 $0.50,定价处于推理层级的底部,而每项索引任务 $0.59,是同分数段 27B 稠密模型成本的四分之一。它在智能体循环中体现的两种速度上都很快:首个回答 token 用时 9.72 秒,输出速度为每秒 280 个 token。作为补偿的弱点是冗长——完成索引运行输出了 161M 个 token,而同类中位数为 85.7M,约为同类典型模型输出量的 1.9 倍。按 token 计费这没问题。在固定 token 预算下,这意味着你能完成的任务大约只有一半。

编码行,供应商报送
Thinking Machines 公布的那张表格是其论证中最有力的部分,而且完全出自它自己。这些数字来自厂商自建的评测框架,均未经复现,其中几项还是用公司自家的 agent 脚手架而非中立的脚手架跑出来的,所以应把它们当作关于该实验室所训练的某个 checkpoint 的主张来解读。
• SWE-bench Verified — 79.2%,仅限 bash。
• SWE-bench Pro v2,困难 — 77.9%。
• SWE-bench Multilingual — 73.7%。
• DeepSWE v1.1 — 48.2%,而 Qwen3.8-27B 报告的成绩为 42.2%。
• Terminal Bench v2.1 — 71.6%,落后于 Qwen3.8-27B 的 73.0;在 Terminal Bench v4.0 上,两者均输出 5.6%。
• FrontierCode v2.0 — 15.1%,而 Qwen3.8-27B 为 14.9%。
• 智能体搜索与工具——BrowseComp 79.0%、DeepSearchQA 85.3%、MCP Atlas 82.7%,各项均领先同一表格中的 Qwen3.8-27B 数值。
• 视觉与文档 — MMMU Pro 74.9%,OmniDocBench v1.6 92.8%,ScreenSpot Pro 纯模式 76.5%,使用 Python 工具时为 87.7%。
• 推理 — HLE-Diamond 15.2%,CritPt v2 31.4%,ARC-AGI 在 v1 上为 84.5%,在 v2 上为 49.3%,LongBench v2 为 66.9%。
表格的形态与架构一致,是本次发布中最有用的内容。模型表现强劲的那些行,对应的是在长时程中奖励持续坚持和工具使用的任务:搜索、仓库级补丁、文档解析。它表现平平的那些行,对应的是需要单次正确回忆或艰难科学推断的任务。循环会增加串行步骤,但不会增加已存储的事实。
循环能换来推理,却换不来事实。
这一区分正是该发布版本自身的核心论点,而公司是通过测试来验证它,而非仅作断言。在事实性基准 AA-Omniscience 上,厂商表格中为 Inkling 2 Mini 印出的分数是 −8.6,非幻觉率为 63.4%。这里的负分意味着模型的表现比拒绝作答还差:它会自信地给出错误。公司的说法是,这一知识差距与总参数量相同的其他模型相当,并且模型通过出色的搜索能力来弥补——这正是 BrowseComp 和 DeepSearchQA 各行所显示的,也正是为什么对这款模型最诚实的总结是“擅长查找,弱于记忆”。
变量循环配套方案更鲜明地说明了这一点。其无思维链的时间跨度——即在50%可靠性下、无需写下推理过程就能完成的任务时长——从单次通过的16秒上升到三次通过的37秒,随后趋于平缓;而在N跳查找任务上,串行推理则持续提升,直到十次通过,达到其训练深度的两倍。收益集中在多跳检索、数学与科学推理以及长时程智能体工作上。闭卷事实问答几乎没有什么变化。
可监控性结果是研究人员最关心的部分,因为这是针对循环模型的反驳意见。如果模型在一个 token 内进行更多计算,可见思维链中呈现的推理就会更少,思维链监控器能看到的内容也就更少。Thinking Machines 对此进行了测量,并发现在这一规模下,该效应比人们担心的要小:可变循环模型在五次传递时的推理长度不到一次传递时的一半(平均为 1,661 个 token 对 3,703 个 token),而句子长度和词典词占比保持不变,这读起来更像是推理更直接,而不是推理更难以理解。在其 LinuxArena 隐蔽性评估中,Inkling 2 Mini 的 3.9% 远低于 Qwen3.8-27B 的 20.5%。这些都不能构成保证——这是对一类此前从未有人拥有可下载权重的架构的首次测量,而该公司明确表示,它发布该模型的部分原因正是为了让其他人能够核查。
运行成本是多少
自托管是宣传中的模式,而且这笔账算起来很简单。一个 20GB 的检查点跑在你已经拥有的机器上,边际 token 成本完全为零;而厂商自己的效率研究——由斯坦福的 Hazy Research 与 Scaling Intelligence 实验室在早期访问阶段完成,采用 MXFP8 和低推理投入——显示它在 DGX Spark 上达到每瓦 0.703 的智能,相比之下 Qwen3.6-35B-A3B 为 0.430,Gemma 4 26B-A4B 为 0.159。这是一个贴近厂商立场的结果,且仅来自单台设备,并非集群规模的测量,但其指向并不含糊。
反对自行运行它的一个诚实理由是:循环架构的服务成熟度大约只有一天。SGLang、vLLM 以及其他引擎都列出了支持,而模型卡自己也警告说,循环模型的运行时支持尚属新事物,速度会有所波动。你在自己机器上测得的吞吐量取决于你选择了哪个引擎,以及它的内核有多新,而这一点会比这个模型的其他任何方面都变化得更快。
在这里,路由器体现价值的地方并不在于为 Mini 提供服务——我们并不托管它。而在于你在它周围放了什么。对一个尚未验证的架构的评估,绝不该成为你的用户与错误页面之间的唯一屏障,而要做到这一点,办法就是在生产路径上调用一个你信任的模型,同时让 Mini 在旁边运行。Qwen3.8-Flash已在 OrcaRouter 上线,每百万输入 token 0.15 美元、每百万输出 token 0.47 美元,即服务商标价原样透传、不加价;而路由 DSL 与自动故障转移让你可以在 Mini 达到我们可访问的端点的那一天,把 Mini 放在它后面。一把密钥即可覆盖这场实验的两端,这就是全部的理由。

四件值得关注的事
第一点是独立复现。Artificial Analysis 掌握着指数、成本、速度和冗长度——这些是实测的——但编码表格是实验室自己的。除非 Thinking Machines 之外有人在公开权重上运行 SWE-bench Pro v2 或 DeepSWE,否则 77.9% 和 48.2% 都只是声称。
第二点是,除 Tinker 之外是否会出现托管端点。一个 20GB 的 Apache 2.0 检查点正是第三方提供商很快会采用的那类产物,而能让每任务 0.59 美元显得可持续的价格竞争,只有在出现第二个卖家时才会开始。
第三个是循环本身。如果试点奏效,这项技术就是可移植的:在中间层上做三次传递,用一个门控来合并消息,不需要额外参数。该领域里的每个小模型配方都会成为它的候选方案,而有趣的问题不再是这个模型能否拿到 20 分,而是下一个模型能否在相同内存下拿到 24 分。
第四点是这次发布未能解决的部分。循环模型将推理从可见的思维链中移出,放入前向传播。Thinking Machines 发现,在 5.4B 活跃参数下,可监控性没有实质性损失。还没有人在 50B 上公布同样的测量结果。这正是此次发布让这个问题可以被提出,而它也是比分数更值得在意一个 20GB 下载的理由。
对于本周要做决定的人来说,界限很清晰。如果你想要一个能在你已有的硬件上离线运行、能力足够的智能体编程助手,并且愿意把它放进沙盒,在信任它之前测试其事实回忆能力,那么 Inkling 2 Mini 是当下最有意思的小模型,而尝试它的代价只是一次下载。如果你需要的是无需背后有检索层就能直接呈现在客户面前的答案,那它就不是那样的模型,排行榜上的 20 分也不会让它变成那样的模型。
