Nemotron 3.5 Bolt 24GB 对比 Qwen3.8-27B：两者都能塞进 24GB —— 但只有一个会告诉你代价是多少

关于这两个模型流传着一个巧妙的故事：N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB能装进 24 GB，而Qwen3.8-27B装不下。前半句是真的，后半句已经过时。A​libaba 于 2026 年 8 月发布 Qwen3.8-27B，这是一个稠密的 270 亿参数视觉语言模型，其 16 位权重约达 56GB，而几天之内社区就做出了它的 4 位版本，体积为 16.46GB。如今这两个模型都能装进 24GB。真正值得争论的差别在于：N​VIDIA 设计了这套压缩方案，公布了它的代价，并把它作为产品交付——而这一对比中的 Q​wen 一方，是别人做出来的构建版本，其账单至今无人结算。

每个模型实际上是什么

Bolt 是一种专家混合式混合架构：总参数量为 740 亿，每个 token 激活 90 亿，Mamba-2 状态空间层与专家层和注意力层交错排列，外加一个 C-RADIO v4-H 视觉编码器。它以 24GB 的形态存在，是因为 NVIDIA 在内存占用预算的约束下运行了一次路由器引导的架构搜索，然后将专家量化为每个元素 2.0625 比特，并通过量化感知蒸馏修复了由此造成的损失。

Qwen3.8-27B 是稠密模型。每个 token 都会读取全部 270 亿参数，模型卡的架构部分描述了一个 64 层堆叠，由十六组重复的“三个门控线性注意力块后接一个门控全注意力块”构成，并采用跨多个步骤训练的多 token 预测，原生上下文为 262,144 个 token，可扩展至一百万。它原生理解图像和视频，并通过推理强度设置以及一个可在多轮对话中保留推理上下文的标志，按请求提供思考控制。

不同的生产理念，而两者都以开放权重的形式发布，采用足够宽松的许可证——Bolt 采用 OpenMDW-1.1，Qwen3.8-27B 采用 Apache 2.0。

两种压缩，其中一种有文档记录

这是比较中起决定性作用的部分。

NVIDIA 的 24GB 检查点由 NVIDIA 压缩，成本已公布。同一模型的 BF16 版本附有一张并排展示两列的表格，因此 2-bit 专家的价格可以逐行看到：

• GPQA Diamond — 在 2 比特下为 86.43，而 16 比特下为 88.83，损失了 2.40 分。

• Terminal-Bench 2.1 — 50.98 对 53.93，落后 2.95。

• BrowseComp — 66.75 对比 70.00，落后 3.25。

• AA-LCR 长上下文推理 — 64.06 对 67.38，下降 3.32。

• 无工具 HLE — 25.30 对 28.73，损失 3.43。

• AA-Omniscience 准确率 — 16.90 对 21.80，低了 4.90。

还有两行朝着相反的方向：在 AA-Omniscience 非幻觉上，压缩模型得分为 61.27，而全精度为 56.14；在 WebArena 视觉上，两者在一个点以内基本持平。这些是厂商数据，未经复现，但它们仍然是任何实验室就 24GB 压缩对其自家模型造成的影响所发布的最完整说明。

现在看 Qwen 这边。存在一个 16.46GB 的四比特版 Qwen3.8-27B，由第三方发布，并且完全没有任何精度测量数据。不是弱——是根本没有。它下面的 9.83GB 和 7.27GB 版本，以及上面的 21.98GB 版本，同样如此。无论一个 27B 稠密视觉语言模型在其权重被压缩到四比特时会损失什么，都没有人公布过数字，这意味着让适配成为可能的显存算术只是容易的那一半，而能力问题则完全悬而未决。

这种不对称，才是这场对比最诚实的体现。Bolt 会直接告诉你它的价格。Qwen3.8-27B 却让你付出一个必须自己去估算的代价。

独立小组，及其涵盖与不涵盖的内容

Artificial Analysis 在其最大推理配置下对 Qwen3.8-27B 进行了全模型层面的测评：智能指数为 34，在该榜单的 141 个模型中排名第一；输出速度约为每秒 41 个 token，在 63 个模型中位列第 51；在它所追踪的供应商组合上，成本为每百万输入 token 0.50 美元、每百万输出 token 3.00 美元，该公司称这对这一规模的开放权重模型而言尤其昂贵。它还指出，该模型输出极为冗长，在本次指数运行期间共生成了 2 亿个 token。

同一个评测面板给 Bolt 打出的智能指数为21，在同级 67 个模型中排名第四；由于没有公开 API 为其提供服务，其速度和成本均无法获取。13 分的差距相当大，而且对两者采用的是同一套衡量方式，这使它成为本文中最可信的单一结论。它还附带一个提示，其重要性比听上去更大：该评测面板自己的对比摘要称 Qwen3.8-27B 明显偏慢且非常啰嗦，因此，在智能上胜出的模型，正是那个需要你等得更久的模型。

在模态方面，这两个页面的说法并不一致，这一点值得注意，因为规格面板与产品页面并不是一回事。Qwen 的厂商卡片描述的是原生图像和视频理解能力；分析面板则在某些视图中为 Qwen3.8-27B 列出文本、图像和视频输入，而为 Bolt 列出文本和图像。两个模型都能“看”。但二者“看”的方式并不相同，而第三方对这两者的描述差异也提醒我们：某项模态声明应当对照模型卡片来核实，而不是只看摘要行。

Qwen 侧的供应商表

阿里巴巴的模型卡很长，而其中的智能体相关行正是这款模型在与 Bolt 对比时值得关注的原因。Terminal Bench 2.1 为 73.0，SWE-bench Pro 为 61.7，GPQA Diamond 为 89.2，HLE 为 30.8，LiveCodeBench v6 为 90.3，OSWorld-Verified 为 84.3，AndroidWorld 为 81.9——全部由阿里巴巴评估，大多数情况下在 Claude Code 测试框架内进行，上下文长度为 256,000 个 token。

那些数字与 Bolt 的表格不可比。不同的评估框架、不同的评估日期、不同的基线选择，而在 Bolt 的情况下，基线组的选择部分是为了能在四比特下装进 24GB。唯一诚实的说法是，Qwen3.8-27B 公布的 agent 分数高于 Bolt 公布的 agent 分数；这两组数字都来自构建这些模型的实验室；且两家实验室都没有运行过对方的基准测试套件。

有一个 Qwen 的数值值得出于另一个原因特别标出。它自己的模型卡承认 GPQA Diamond 为 89.2，而 Bolt 的模型卡宣称 86.43——近到评测框架的差异就可能让任意一方反超另一方。那是厂商表格用来分出胜负的尺度。那不是你应该用来分出胜负的尺度。

租一个，以及你会继承的延迟

Bolt 没有端点。没有可引用的速率，没有服务它的提供方，也无法在你自己的流量上对它进行评估——除非你完整走一遍 NVIDIA 的部署配方：固定版本的 nightly vLLM 容器、运行时拉取的内核包、reasoning-parser 插件、b12x 后端、fp8 KV 缓存，以及单序列的服务并发度。

Qwen3.8-27B 可下载、可调用，正是这一组合让这场对比拥有了切实可行的答案。我们在自有基础设施上提供 qwen/qwen3.8-27b，价格为每一百万输入 token 0.33 美元、每一百万输出 token 2.40 美元。目录条目列出 262,144 token 的上下文，支持文本、图像与视频输入；我们这边之所以能以这个价格发布，是因为 OrcaRouter 会原样传递供应商的标价，不附加任何加价——如果供应商下调价格，该变更当天就会在这里生效，而不必等到下一个计费周期。

不过，延迟这一项值得如实引用，而不是粉饰。在截至 2026 年 10 月 16 日的七天里，我们自己针对该模型的端点报告的首个 token 时间 p50 为 10.00 秒，p95 为 10.00 秒，输出速度为每秒 515 个 token，错误率为 2.1%。每日序列解释了总体情况：10 月 10 日为 1.42 秒，11 日为 1.65 秒，12 日为 2.83 秒，接着 13 日和 15 日为 10.00 秒，14 日为 1.91 秒。六天中有两天触及了我们测量窗口的上限，而三天没有。

那不是个好看的数字，而它恰恰就是那个数字。它也是自动故障转移作为一个路由功能而非一句口号而存在的具体理由：首 token 等待时间在周一还算正常、到了周三却变成十秒，这正是回退链要应对的故障模式，而路由 DSL 的存在，就是为了让“先试这个模型，若它性能下降就回退到另一个”成为配置，而不是应用代码。你自己拥有的模型——Bolt，或本地部署的 Q​wen——既没有这种问题，也没有这种选择。它每一天都和你的 GPU 一样快，路径中没有第三方，卡顿时也没有第二个模型可以求助。

这实际上如何解决

没有赢家可以交接，因为这两个模型并不是在争夺同一个位置。

如果你的约束是一台没有网络的机器，或是不能离开设备的工作，那么 Bolt 就是答案，而公布的压缩成本就是入场代价。Qwen3.8-27B 对此毫无改变，因为你无法靠下载就进入一个 NVIDIA 尚未构建并记录的 24GB 部署——你只能用四比特构建来近似它，而其质量未经测量，视觉投影器还得另行获取。

如果你的约束是每美元的能力，并且网络可用，那么 Qwen3.8-27B 在唯一一个同时衡量两者的指数上领先十三分，该指数按公布的费率计算，且依据的是你的法律团队以前见过的许可证。4 位本地构建是一条合理的第三条路径，而且在这条路径上，你应该自己做评估，而不是照搬别人的表格。

两个模型都留给你判断的那部分是相同的：两者都没有针对对方的独立基准测试，两家实验室也都没有测量过对方的模型，而围绕它们流传的首日看法不过是对厂商宣传材料的解读。把两者都下载下来，运行你自己的任务，留下先完成的那一个。这是这场比较中唯一不会由打造它们的两家实验室之一发布的结果。

数字无法告诉你的是，这一切在实际应用中是否已经出了问题：围绕这一类模型的有据可查的人工智能事故和智能体故障，都收录在OrcaRouter AI 事故档案中，其中每一条记录都附有各自的来源、严重程度、置信度等级和争议标记。