Nemotron 3.5 Bolt 74B 对比 Qwen3.8-Max：榜单上最大的差距

Nemotron 3.5 Bolt 家族的每一组对比都存在差距，而这一组的差距最大。NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB在 Artificial Analysis Intelligence Index 上得分为 21.4；Qwen3.8-Max作为阿里巴巴的旗舰模型、也是本系列对比中得分最高的模型，在同一份独立运行的榜单上得分为 45.4。这就是 24 分的差距，比那个更小的模型整个指数得分还要高，而对于任何想知道 24GB 本地智能体能否替代前沿模型的人来说，这正是最诚实的起点。

它不能。这对模型之所以值得一写，是因为这两个模型在完全不同的行上取胜，而且 NVIDIA 自己的基准测试表是将 Bolt 与一个并非此模型的 Qwen 模型进行比较。

两个除了多模态之外毫无共同点的模型

N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB 是一款 740 亿参数的视觉语言模型，被压缩成可装入 24 GB 内存的 2 比特检查点。其权重于 2026 年 10 月 7 日上传至 Hugging Face；N​VIDIA 在 10 月 15 日的一篇发布文章中公布了它。它专为本地智能体工作而打造——工具调用、网页浏览、终端使用、读取屏幕——并且以下载而非服务的形式出售，任何地方都没有公布按量计费的价格。

Qwen3.8-Max 则是相反的构造。阿里巴巴的顶级模型是一种稀疏混合专家模型，公司将其直接对标发布窗口期内最强的闭源模型，并通过三种接口格式对外提供服务——兼容 OpenAI 的接口、兼容 Anthropic 的接口，以及阿里巴巴自有的 DashScope——覆盖北京、新加坡、东京、法兰克福和弗吉尼亚等区域。该托管模型于 2026 年 8 月 3 日发布，支持图像和视频输入、百万级 token 上下文以及思考开关；9 月 2 日的快照是目前在各类排行榜上被打分的版本。同一家族中的开放权重版本 Qwen3.8-2.4T-A95B 是另一次独立发布，并非此处所测量的模型。

一个是文件，另一个是服务。这种比较依然有意义，因为服务会公开标价，而文件不会，而二者之间的差别，恰恰是本地部署真正买到的东西。

• 智能指数 — NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB：21.4。Qwen3.8-Max：45.4。两者均由 Artificial Analysis 独立测评。

• 上下文——NVIDIA 检查点拥有 262,144 个 token，而 Qwen3.8-Max 约为 983,000 个，阿里巴巴这边的最大输出为 131,072 个 token。

• 参数 — Bolt 总计 74B、激活 9B；阿里巴巴的旗舰层级则是完全另一个量级的稀疏专家混合模型，在其开放权重形式下，每个 token 激活约 95B 参数。

• 输入 — 两者均为文本、图像和视频输入，文本输出。这是两者真正相似的唯一维度。

• 价格 — Qwen3.8-Max：每百万输入 token 2.00 美元，每百万输出 token 6.00 美元，缓存输入 0.25 美元。Bolt：无需付费，因为没有可购买的端点。

• 每项 Intelligence Index 任务的成本——Qwen3.8-Max 为 5.41 美元，实测得出。Bolt 没有相应数据，原因同上。

• 速度 — Qwen3.8-Max：每秒输出 39.8 个 token，首个 token 耗时 3.06 秒，每次响应的推理时间中位数为 50.3 秒，以上数据均经独立测量。Bolt：不存在独立的吞吐量测量数据。

这些行，24 个点就来自其中

Artificial Analysis 把两者都跑了。逐行细看细节比看综合结果更有用，因为综合结果掩盖了一个事实：两个模型都没有全面领先。

• Terminal-Bench 2.1 — Qwen3.8-Max 为 88.8%，系独立测得。Bolt 在该基准上没有独立的测评记录；N​VIDIA 在其模型卡上报告的数据为 50.98。

• GPQA Diamond —— Qwen3.8-Max 独立测得 92.8%。Bolt 的 86.43 是 NVIDIA 自家给出的数字，专家组没有针对它的独立数据。

• 人类的最后考试，不使用工具——Qwen3.8-Max 为 43.1%，Bolt 为 24.7%，两项数据均为独立测量。

• 长上下文检索（AA-LCR）——80.3% 对 69.7%，两者均为实测结果。

• 科学编码（SciCode）——52.1% 对 39.7%，两者均为实测值。

• 多模态推理（MMMU-Pro）——Qwen3.8-Max 达 82.8%，由独立方测得。Bolt 没有独立的条目，对于一款主打卖点就是"能看"的模型来说，这是个不容忽视的缺失。

• 职业交付成果（GDPval-AA）——Qwen3.8-Max 0.583，以 Bolt 的 0.240 为基准归一化，两者均为实测值。

• 智能体与 IT 运维——Qwen3.8-Max 在 APEX-Agents 上取得 42.4%，在 ITBench-SRE 上取得 40.3%，在一项分析师智能体评估中取得 45.0%。Bolt 在这三列中均无独立得分。

• 无幻觉（AA-Omniscience）——Qwen3.8-Max 为 71.2%，而 Bolt 为 56.3%；准确率为 31.7%，而 Bolt 为 17.1%。与 Bolt 对 Ultra 的对比不同——在那场对比中，压缩模型赢得了校准项——在这里，旗舰模型两项全胜。

• 每个索引任务的成本——Qwen3.8-Max 为 $5.41。这是围绕该模型的一系列比较中最高的单任务成本，而这个数字正是让本地选项即便在落后 24 个百分点的情况下也显得有吸引力的原因。

5.41 美元一项任务能买到什么，24GB 又能买到什么

Qwen3.8-Max 的经济性对于前沿模型而言颇为特殊：每百万 token 输入 2.00 美元、输出 6.00 美元的价格尚属适中，但该模型的思考耗时很长。在评测组的运行中，其推理时间中位数为 50.3 秒，端到端响应时间平均为 65.9 秒。一项需要模型进行一分钟内部思考的任务会产生大量输出 token，而每项索引任务的成本正是暴露这一点的指标。这并非对该模型的批评——深度推理正是其产品价值所在——但这正是高并发智能体循环在这一档位上会迅速变得昂贵的原因。

这正是 Bolt 所擅长的负载。本地检查点完全没有按 token 计费的计量器：一次工具调用的边际成本是电费，固定成本则是一块 GPU。对于一个持续在线、执行成千上万个程序性小步骤——读取屏幕、调用端点、编辑文件——的智能体来说，比较的不是 21.4 对 45.4，而是一个常数对一张不断增长的账单。N​VIDIA 自己的表述是，Bolt 的存在就是为了让日常智能体任务可以在本地运行，而无需把工作负载发送到云端；它报告称，正是这些任务在 WebArena vision 上达到 50.86，在 BrowseComp 上达到 66.75。

关键在于固定成本是实打实的，而延迟却是未知数。N​VIDIA 的参考服务配方是多步骤的：一个锁定版本的 vLLM nightly 构建、b12x 内核包、需单独下载的 reasoning-parser 插件、显式指定的 Mamba 与注意力后端，以及一套使用 LiLiCorr 草稿器、带七个草稿令牌的投机解码配置。N​VIDIA 公布的数据是，在一台笔记本级机器上运行 AIPerf SPEED-Bench-Coding，吞吐量达到每秒 83.99 个令牌——这是厂商在自家基准测试上给出的厂商数字，没有任何独立运行结果可供对照核实。

NVIDIA选择的基线

还有一点值得注意，而且这是一个阅读层面的教训，而不是技术层面的。Bolt 模型卡上的基准测试表里包含了一个 Qwen 模型作为对比项——它是 Qwen3.6-35B-A3B，一个比本页所测的旗舰模型小得多的模型。NVIDIA 的表格显示，Bolt 在 Terminal-Bench 2.1、GPQA Diamond、BrowseComp、GDPVal、Tau3 Banking、SciCode、AA-LCR 和 MCP-Atlas 上战胜了该模型，但在 AA-Omniscience 准确率、AA-Omniscience 非幻觉率和 PinchBench 上落败。

这些比较很可能没错。但读者如果从表中得出“Bolt 击败 Qwen”的结论，那就是在拿一个 74B 边缘模型与一个 35B 稠密级 MoE 相比，而不是与阿里巴巴的前沿梯队相比。面对 Qwen3.8-Max，独立记录在几乎每一行共有项目上都呈现相反结果，而且在最难的基准测试上，差距会拉大而非缩小。当厂商自行选择基线时，诚实的做法是检查这个基线到底是什么。

如何决定

当正确性是硬性约束时，就选 Qwen3.8-Max。如果任务是多步分析、高难度多模态推理、会产生真实后果的智能体工作，或是任何以其领先 24 分的基准来衡量表现的任务，那么本地方案就不在候选之列——而每百万 token 2.00 美元和 6.00 美元的定价，让它更像基础设施，而非奢侈品。当工作流需要在一次调用中同时实现结构化输出、原生工具调用和百万 token 上下文时，它同样是首选，而 A​ibaba 的文档显示这些均已支持。

当限制条件在于工作发生的地点时，就选 Bolt。隐私、离线运行、不依赖网络的延迟，以及并不存在的按调用计费，是四个彼此独立的理由，而对某些团队来说，每一个本身就已足够。该模型擅长流程，却不擅长回忆；就让它去处理前者。

就托管这一半而言，Qwen3.8-Max 可通过 OrcaRouter 访问，地址为 qwen/qwen3.8-max/ 与另外 200 多个模型共用同一把密钥，按阿里云的提供商目录价计费，不额外加价——这意味着供应商调价当天就会落到我们这边，而不是等到账单周期结束。这一点在这个档位上比在廉价档位上更重要，因为每个索引任务 5.41 美元，是财务团队会想每月复核一次的数字。路由真正改变决策形态的地方在于规模问题：一个 90% 是小流程步骤、10% 是困难推理的工作负载，可以把那 10% 发到这里，其余留在本地，并借助跨提供商的自动故障转移，让托管层降级为一次重试，而不是一次服务中断。

我们不托管任何 N​VIDIA 模型，也没有 Bolt 端点——N​emotron 系列不在我们的产品目录中，而这项对比中本地的那一半属于硬件问题，任何路由层都涉及不到。

未解决的数字

没有人发表过的是能让这个比较完整的测量：在一个人可以买到的机器上，对24GB检查点进行批次大小为1的独立延迟和吞吐量运行。如果一个2比特的74B检查点能够以可用的速度运行交互式智能体步骤，那么24点的差距就变成了一个你可以绕开的差距——本地用于流程，托管用于推理。如果不行，本地选项就是一个批处理工具，比较就退化为价格。无论哪种情况，答案都只差一篇发表，而且这是在围绕这个模型规划部署之前需要寻找的东西。

像这样的对比，也正是失效模式暴露出来的地方：这一类模型背后有据可查的 AI 事件和智能体故障，都收录在OrcaRouter AI Incident Archive中，其中每一条记录都带有自己的来源、严重程度、置信度评级和争议标记。