一张生成的标题卡,上面写着 NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB 对比 Qwen 3.8 Max,两侧面板均标注输入模态为视频,上下文窗口为 262,144 个 token,对比 1,000,000 个 token,计量价格为无,对比每百万输入 token 2 美元和每百万输出 token 6 美元,以及 Artificial Analysis Intelligence Index 为 21,在其足迹类别中 67 个模型里排名第四,对比 45.4,在 145 个模型中排名第十五。页脚注明,指数数据为独立测量,而 NVIDIA 对 Bolt 的吞吐量声明由厂商提供且未经复现。OrcaRouter 标志位于右下角。
Guides & Insights

Nemotron 3.5 Bolt 与 Qwen 3.8 Max:这两款模型都能观看视频

作者

Magnus Corvin

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

很少有模型组合会让人意外于它们所共有的一项能力。这两者NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB和Qwen 3.8 Max都接受视频作为输入,并且都返回文本。Qwen 3.8 Max 由阿里巴巴于 2026 年 8 月 3 日发布,是一个托管式多模态模型,上下文长度为 1,000,000 token,通过 OpenAI 兼容、Anthropic 兼容以及原生 DashScope 接口从五个区域提供服务,定价为每百万输入 token 2.00 美元、每百万输出 token 6.00 美元,缓存读取为 0.25 美元。Nemotron 3.5 Bolt 由 NVIDIA 于 2026 年 10 月 15 日发布,是一个 24GB 的开放权重文件,配备 C-RADIO v4-H 视觉编码器,窗口为 262,144 token,且完全没有价格。

两个模型都能接收一段屏幕录制,彼此之间唯一的区别,只在于它们在哪里运行,以及这需要多少成本。这比大多数正面比拼所能得到的比较都更清晰,而且一旦你不再追问哪个更聪明,很快就能得出结论。

两个多模态堆栈,一个内存包络

Bolt 的多模态能力是继承而来的,而非专门为其构建。NVIDIA 通过一种其称为 Star Elastic 的路由器引导搜索,将其 120B-A12B 的 Nemotron 3.5 Super VL 模型压缩到 74B-A9B,然后借助量化感知蒸馏,将结果以 IQ2_XXS 格式压缩到每个专家权重 2.0625 比特。视觉塔——一个 C-RADIO v4-H 编码器——随压缩一同保留下来,而推理模式开关与 Super VL 客户端所公开的相同:聊天模板中的一个 enable_thinking 标志。总参数量 74B,每 token 激活 9B,主干是厂商称为 LatentMoE 的 Mamba-2 与 Transformer 混合架构,许可证为 OpenMDW-1.1,可用于商业和非商业用途。

Qwen 3.8 Max 是一种截然不同的产物。它是 Alibaba 能力最强的层级,原生支持多模态,并且仅以端点形式存在。没有可供下载的检查点,没有可在工作站上运行的量化版本,也没有哪个版本的边际成本只是电费。它取而代之拥有的是覆盖范围:三种通信格式,因此现有的 Anthropic SDK 或 DashScope 集成无需重写即可使用;以及横跨亚洲、欧洲和北美的五个服务区域,这使得延迟问题既是工程问题,也同样是一个地理问题。

实际的后果是,Bolt 的多模态行为受限于同样那 24GB 显存,而这 24GB 还要容纳 KV 缓存、对话历史和工具结果。而 Qwen 3.8 Max 的行为则受限于端点所配置的资源,那不是你该操心的问题。

A screenshot of the OrcaRouter model page for Qwen3.8 Max, showing the identifier qwen/qwen3.8-max, a release date of 2026-08-03, capability chips for Vision, Tools, JSON and Reasoning, a 1M-token context window with text, image and video input and text output, published rates of .00 per million input tokens and .00 per million output tokens, a p50 time to first token of 3.22 seconds and a p95 of 10.00 seconds, and 41.3 million tokens routed in the last seven days.

您支付什么,以及支付给谁

Qwen 3.8 Max 按量计费,就其能力而言费率很低。一个 20,000 token 的提示词加上 3,000 token 的回答,输入费用为 $0.04,输出费用为 $0.18,每次调用约 $0.22——而缓存读取为每百万 $0.25,意味着稳定的系统提示词或重复的文档在第二次处理时几乎免费。在我们的目录中,其首个 token 的 p50 时间为 3.22 秒,p95 为 10.00 秒,并且在过去七天里承载了 4,130 万 token 的路由流量。

Nemotron 3.5 Bolt 没有价目表,因为没有任何东西需要计量。没有托管端点,没有供应商 API,也没有我们能指给你看的第三方平台在为其提供服务。正是因为这个原因,Artificial Analysis 将其速度和每项 Intelligence Index 任务的成本都列为 N/A。如果你运行它,成本就是一块 GPU、一笔电力消耗和一段摊销期,而接下来一百万 token 的边际价格为零。对于每天读取同一语料库的夜间作业来说,这不是折扣——而是一种不同的会计模型,盈亏平衡点完全取决于你运行它的频率。

窗口,以及使用它的能力

语境是这样一根轴:两者在纸面上看起来最为接近,在实践中却分离得最快。

• 声明的窗口 —— Qwen 3.8 Max 为 1,000,000 个 token,而 Nemotron 3.5 Bolt 为 262,144 个。大约四比一,而正是这个比例,决定了整库代码或整个归档任务究竟能否在单次请求中完成。

• 窗口内的召回 —— Artificial Analysis 记录到 Qwen 3.8 Max 的长上下文召回指标为 80.3。Bolt 没有同等的独立数据,而且其窗口本来就更小,这使得这是一项已实测能力与一项未实测能力之间的比较。

• 还有什么在共享同一块空间——Bolt 的 262,144 个 token 与权重、视频帧和 KV 缓存共处同样的 24GB 之内。一段长视频提示词和一段长对话会争夺同一份内存。Qwen 3.8 Max 的窗口由运营方配置,因此约束在于价格,而非硬件。

• 推理控制——Qwen 3.8 Max 提供了 enable_thinking 开关,或在 Responses API 上使用 reasoning.effort。Bolt 的对应做法是同一类标志中的一个聊天模板开关,继承自 Super VL 客户端。两者都不稀奇;它们都能让你在例行调用上不再为深思熟虑买单。

以未测量之物衡量

Artificial Analysis 在其智能指数上给 Qwen 3.8 Max 打了 45.4 分,在已测量的 145 个模型中排名第十五——进入了前百分之十,但并未登顶。其支撑性指标在智能体工作负载所需之处表现强劲:AA 编码指数为 76.2,在 138 个模型中排名第九;Terminal-Bench 2.1 上为 88.8;GPQA Diamond 上为 92.8。其相对短板是 80.3 的长上下文召回率,对于一个百万 token 模型而言,这算得上体面,但并非出类拔萃。

Bolt 的数据范围更窄。它在同一指数上得分 21,在其按规模筛选后的类别中位列 67 个模型中的第四,而该类别的中位数为 8,Artificial Analysis 将其描述为同类规模中领先的开放权重模型之一。其测得的运行速度和成本为空。其余所有数据——Terminal-Bench 2.1 得分 50.98、GPQA Diamond 86.43、BrowseComp 66.75、WebArena vision 50.86、SciCode 41.02——均来自 NVIDIA 自己的模型卡,其中每个基线都是另一个规模仅为其三分之一的模型。这些数据行并非不诚实;它们回答的是关于效率的问题,而非关于前沿能力的问题,把它们当作与托管旗舰模型的较量来解读,是对这份文档的误读。

速度差距同样值得认真对待。Artificial Analysis 无法测量 Bolt 的吞吐量,因为没有任何东西可供调用。NVIDIA 报告的设计目标是解码速度至少达到每秒 80 个 token,在 RTX Spark 上运行 AIPerf SPEED-Bench 时为 84,在一台配备 128GB 内存的 Surface Laptop Ultra 上运行 llama.cpp 时为 83.99,而这一切均未得到复现。Qwen 3.8 Max 的首 token 耗时 3.22 秒是经过测量并公开的。请以经过测量的数字为规划依据,将另一个视为期望目标。

A generated two-column scoreboard titled Nemotron 3.5 Bolt 74B-A9B 24GB vs Qwen 3.8 Max, the left column listing Intelligence Index 21 at fourth of 67 in its class, 262,144-token context, text image and video input, no price, no independent latency figure and deployment on your own hardware in 24GB, and the right column listing Intelligence Index 45.4 at fifteenth of 145 models, a 1,000,000-token context, text image and video input, 2 dollars in and 6 dollars out per million tokens, a 3.22 second p50 time to first token and deployment across five served regions. A footer distinguishes the independently measured rows from the vendor-reported ones. The OrcaRouter logo sits bottom-right.

路由问题,在这里并不对称

Qwen 3.8 Max 已收录在我们的目录中,型号为 qwen/qwen3.8-max,按阿里巴巴的供应商标价路由,加价 0%——每百万 token 2.00 美元和 6.00 美元,我们页面上的数字与供应商的完全一致,这意味着供应商侧的价格变动当天就能传达到我们的用户,而不必等到合同续签。它与另外 200 多个模型共用同一个密钥,当某个上游提供商出现性能下降时,可在多个上游提供商之间自动故障转移,并提供路由 DSL,用于将多个模型组合成单个请求。

Nemotron 3.5 Bolt 不在我们的目录中,我们也不提供它。没有 Bolt 端点,没有可用于指向请求的标识符,本文中也没有任何内容构成托管 NVIDIA 检查点的要约。这里路由建议的真实形态是一种分工,而不是一个选择:托管的多模态模型负责长窗口请求、对 24GB 共享内存来说过大的视频语料库,以及任何需要能够从任意位置调用的内容;本地文件负责那些数据不应离开大楼、且规模会让按 token 计费变得肉疼的高频轮次。模型融合是值得了解的一种变体,前提是那些昂贵的调用属于后果重大的调用——一组模型共同回答同一个提示,然后你采用它们一致的结果,这是一种用低成本为你无法轻易逆转的决策买来信心的方式。

A screenshot of the Artificial Analysis model page for Nemotron 3.5 Bolt 74B-A9B, showing the NVIDIA attribution, a released-October-2026 label, an Intelligence Index of 21 with a rank of fourth of 67, speed and cost both marked N/A, a verbosity rank of eleventh of 13 at 230 million output tokens, and technical specifications listing reasoning enabled, text and image input, text output, a 262K context window, 74B total parameters and 9B active parameters.

这一个如何解决

二者的交集是视频,而这也正是它们值得比较的原因——在这个体量上,大多数本地模型根本“看不见”,而大多数托管模型要想接收一段屏幕录制,就得经过抽帧步骤,而这会丢失你本想展示给它的东西。

越过那处重叠之后,它们在每个维度上都分道扬镳。Qwen 3.8 Max 在宽窗口、实测延迟、更丰富的输入集上胜出,并且以大幅优势在独立评分的智能上胜出。Nemotron 3.5 Bolt 在唯一一个没有托管模型能争夺的维度上胜出:无论有没有网络,它都在你的数据已经所在之处运行,边际成本为零。

这个决定通常不是偏好问题。如果视频从不离开这栋楼,托管方案就从来不是一个可选项,比较也就坍缩为单一候选。如果语料是一百万 token 的文本,那么本地方案出于同样的理由、只是方向相反地从来就不可选。在两者真正接近的情形下——数据量不大、数据在法律上可以外传、工作内容主要是短小的工具调用、偶尔有长读取——打破平局的是这项比较中缺失的那个数字:这个 24GB 检查点在你自己的硬件上实际跑得有多快,而这个数字在 NVIDIA 之外还没有人测过。