Nemotron 3.5 Super 登陆 Ollama：一个在 NVIDIA 宣布之前你就能运行的 120B 视觉模型

在大约二十个小时里，通往NVIDIA Nemotron 3.5 Super 的本地路径在宣告其存在的消息发布之前就已经存在。Ollama 于 2026 年 10 月 14 日在 v0.40.5 版本中把该检查点发布到了自己的库中，引入了一次 llama.cpp 更新，加入了对 Nemotron 3.5 的支持，并推送了一个 1200 亿参数视觉语言模型的九个标签——ollama run nemotron-3.5-super，你就能运行它。NVIDIA 自己的新闻室也为同一组权重发布了文章，以更完整的名称NVIDIA Nemotron 3.5 Super VL于次日下午 10 月 15 日 15:00 UTC 上线。权重本身自 10 月 12 日起就一直在 Hugging Face 上，位于一个名为NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16的仓库中，而模型卡自己的发布日期字段已经写着 10/15/2026。

这些都不是丑闻。这就是如今开放权重发布的常态：产物落地，框架争相支持，营销随后跟上。但它改变了 Ollama 条目值得一读的原因。10 月 14 日出现的东西并不是一份附带运行时的产品公告——而是一个附带产品的运行时，而且这两份文档在几件重要的事情上说法不一——如果你正准备为它花掉 90 GB 磁盘空间的话。

v0.40.5 实际发布了什么

Ollama 的发布说明写得异常具体，这倒是很方便。它把 Nemotron 3.5 Super 描述为一款面向编码、推理、工具调用和文档理解的视觉语言模型，基于 Mamba-2/Transformer 混合专家架构，总参数量 120B，每 token 激活 12B 参数，并搭配 C-RADIO 视觉编码器。它宣称支持工具调用、可开关的思考模式，以及最高 1M token 的上下文。而对已经在运行 Ollama 的人来说，最关键的两行却藏在下面：已更新的 llama.cpp（新增 Nemotron 3.5 支持）和 MLX。

那一行就是整个拉取能够成功的全部原因。Ollama 会把这个检查点通过它的 llamacpp 运行器以 GGUF 格式进行路由——注册表清单明确说明了这一点——所以“Ollama 支持 Nemotron 3.5 Super”和“llama.cpp 支持 Nemotron 3.5 Super”是同一句话。如果你使用的是低于 0.40.5 的任何 Ollama 版本，那就不是了。该模型的配置 blob 中带有 "requires":"0.40.5"，因此版本门槛是被强制执行的，而不仅仅是建议。

同一份发布说明还提到了一个同系列产品 Nemotron 3.5 Bolt，它将 Super 蒸馏到 74B 参数、9B 激活参数，并且根据该说明，经过调优后可通过内置的草稿模型进行推测解码，从而适配 24 GB NVIDIA GPU。那是另一个拉取项，也对应不同档次的硬件；要在脑中把它们区分开，因为这种命名很容易造成混淆。

九件文物，以及每一件到底有多重

库页面显示的是一个大小阶梯。其背后的注册表清单显示的是实际字节数，而两者的舍入方式并不相同，所以这里给出的是来自清单本身的数字，而不是经过舍入的徽章：

• q4_K_M —— 88,419,818,592 字节，即 82.3 GiB（库页面显示为 80GB–90GB）。标签名 :latest、:120b、:120b-a12b 和 :120b-a12b-q4_K_M 都解析到同一个层，因此九个条目中有四个是同一个产物披着四个名字。

• q8_0 — 131,601,243,232 字节，122.6 GiB，显示为 133GB。

• bf16 — 247,403,355,232 字节，230.4 GiB，显示为 249GB。这是披着 GGUF 外衣的全精度检查点，也是这里唯一一个与消费级硬件毫不沾边的标签。

• MLX nvfp4——总计 79.56 GB，是该系列中最小的，而 NVFP4 是 NVIDIA 自家显卡作为一等检查点直接提供的格式，而非事后量化版本。

• MLX mxfp8 — 总计 129.60 GB，MLX 对应版本的大小约为 q8_0 的占用。

• MLX bf16 — 总计 248.92 GB，比 GGUF bf16 略大，因为 MLX 存储张量的方式不同。

• 投影器——每一个标签，无一例外，都携带一个 1,733,696,896 字节的 mmproj-bf16.gguf 媒体层。这意味着每次下载都会附带 1.61 GiB 的视觉编码器，连最小的那个也不例外。图像路径并非可选，也不是单独的拉取。

九个条目中有三个——也就是那些 MLX 条目——被标记为适用于 Apple 芯片而非 CUDA，并且在库页面上每个都仅标为“MLX”。如果你是在 Mac 上选择标签，nvfp4 为 79.56 GB，它适合 96 GB 或 128 GB 统一内存的机器，且仍有余量，而 mxfp8 为 129.60 GB，一旦把 KV 缓存计算在内，就根本装不进 128 GB 的机器。

库页面和清单在上下文长度上不一致

GGUF 标签标称了 100 万 token 的上下文窗口。三个 MLX 标签则没有标称——那一列显示的是“- 上下文窗口”，而其他列显示的是“1M”。要么是 MLX 这条路径尚未接入长上下文配置，要么只是页面没有填写，但从外部看，这两者无法区分；诚实的立场是：长上下文这一说法对 GGUF 标签已经过验证，对 MLX 标签则尚未验证。

同一个方向上还存在第二处差异。默认标签的配置块声明 "model_type":"123.6B"，而所有面向人类的命名都写着 120B。这并非权重本身的差异，而是两套系统在参数数量的舍入方式上有所不同；值得弄清楚某个工具向你报出的究竟是哪一个数字。

还有第三点，也是最容易让人栽跟头的一点：params blob 出厂就带着 {"draft_num_predict":3,"temperature":1,"top_p":0.95}。这些采样值是模型卡为文本推荐的设置。模型卡为视觉任务推荐的是另一组搭配：temperature 0.6，配 top_p 0.95。也就是说，Ollama 的默认值是照着模型文本那一半调出来的，而 Ollama 却把它当作视觉模型来宣传。如果你在图表或扫描件上初次试用就觉得失望，这就是第一个该拧的旋钮——在你就此对 checkpoint 下任何结论之前。

draft_num_predict: 3 这个字段值得单独占一行。它是一个推测解码参数，而 manifest 中并没有单独的草稿模型层——只有模型 GGUF 和投影器。因此，运行时所做的任何推测，都是依托模型内置的多 token 预测头，而不是 NVIDIA 规格卡中提到的、随 BF16 和 NVFP4 检查点一同发布的独立 LiLiCorr 草稿器。这是一个合理的工程选择，同时也意味着 Ollama 这条路径并非厂商吞吐量数据所描述的确切配置。

配置数据块悄悄告诉你的那些事

manifest 配置中的四个字段，其信息量远超其大小所暗示的。

• model_family: nemotron_h_moe —— 这个 family 字符串并不只是 nemotron。你的技术栈中任何依据模型 family 来切换聊天模板或分词器的地方，都无法通过简单的前缀匹配命中。

• 渲染器：nemotron-3.5-super——一个专用渲染器，因此该聊天模板确实是这个模型自有的，而非继承而来的默认模板。

• 解析器：nemotron-3-nano——这里解析器借用了更小的 Nano 兄弟模型。思考模式和工具调用输出格式在整个系列中显然足够稳定，不需要新的解析器。这也意味着，如果你已经为 Nemotron 3 Nano 构建了工具调用处理，它在这里很可能无需修改就能工作。

• file_type: Q4_K_M——默认标签为 4 位量化，而这正是大多数人评判此模型时所依据的配置。

许可证层是一个 2,618 字节的二进制块，承载着 OpenMDW 许可协议 1.1 版，这与 Hugging Face 模型卡中标注的 openmdw-1.1是同一份许可证。它属于宽松许可，允许商业使用；在你想当然地认为它是 Apache-2.0 之前，值得先读一读——毕竟周围的 Ollama 生态大多采用后者。

基准测试：一组是供应商的，另一组不是

英伟达自己发布的表格内容详尽，且完全来自自我报告。在这张表上，该模型在 GPQA-Diamond 上取得 89.52，在 Humanity's Last Exam 纯文本上取得 31.79，在 MMLU-ProX 上取得 76.91，在 LiveCodeBench v6 上取得 88.22，在 SWE-bench Verified 上取得 71.10，在 SWE-bench Multilingual 上取得 67.72，在 SWE-bench Pro 上取得 51.78，在 Terminal-Bench 2.1 上取得 66.70，在 IFBench 上取得 70.86，在 MMLongBench-Doc 上取得 62.82，在 MathVision 上取得 78.16，在 OCRBench v2 英语上取得 68.12，而中文为 59.15。智能体相关各项表现强劲：在 tau2-bench 上，零售为 69.24，航空为 76.50，电信为 73.19。该公司还声称，在 Artificial Analysis Intelligence Index 排行榜上，该模型的吞吐量最高可达同类其他模型的 5 倍；并且，在 NVIDIA Dynamo 上运行它，可让组织最多服务 8 倍的用户，同时延迟降低 85%。这些都是厂商数据，由厂商在其自身基础设施上产生——请把它们当作规格说明，而不是审计结果。

独立视角更单薄，但也更有用，恰恰因为它更单薄。Artificial Analysis 目前将这一检查点评为 Intelligence Index 26，并称其远高于同类规模开放权重模型中位数 8——这是实打实的差距，而且如果你一直以为硬件厂商推出的 120B 开放模型只能排在这一领域的中游，那这个差距就很有意义。同一页面记录到，运行该指数消耗了 170M 输出 token，而中位数为 100M，它将其解读为“略显啰嗦”：这是一个带有扩展思考模式的推理模型，而冗长是一项成本项，不是脚注。它确认了 1.0M 上下文、120B 总参数中 12B 激活、图像输入与文本输出，以及 OpenMDW-1.1 许可证。

那个页面唯一无法告诉你的是每 token 的成本，因为不存在可引用的托管价格。对于该模型是否可通过 API 使用，Artificial Analysis 自己的回答是：它是一个可以自行托管的开放权重模型。这一句话就是完整的经济账：你的边际成本是电力和 GPU 小时，而固定成本是下载。

实际运行它需要什么

模型卡建议为已发布的检查点使用四块 H100 或两块 GB200，并给出 vLLM 配方，指定张量并行度为 4，以及投机配置的方法为 mtp。这是数据中心的答案，面向 BF16。对于任何查看 Ollama 列表的人来说，有趣的问题在于梯子的另一端。

在 q4_K_M 下，82.3 GiB 的权重加上 1.61 GiB 的投影器，能让模型放进单张 96 GB 显卡或 128 GB 统一内存的 Mac 中，而 KV 缓存余量会随着你提高上下文长度迅速缩小。在宣传的 1M tokens 下，无论标称怎么说，缓存都不可能和权重一起放进这类硬件里——单机上的长上下文意味着牺牲并发，而不是免费解锁。请按远低于上限的可用上下文来规划，并把 1M 这个数字视为架构的极限，而不是你部署的极限。

MLX nvfp4标签（79.56 GB）是 Apple 芯片上务实的选择，它也是厂商原生提供的格式，因此在小型标签中最不容易在质量上给你带来意外。

如果你采用路由而非自托管，这适用于何处

NVIDIA Nemotron 3.5 Super 可通过厂商自有的构建和分发渠道获取，也可通过上文所述的 Ollama 拉取方式获取。它不在 OrcaRouter 上——我们路由了 200 多个模型，而它不是其中之一——所以如果你确实需要这个检查点，本地拉取就是你的途径，本文中没有任何内容暗示你可以用我们的密钥调用它。

这个平台在这里真正的用途，是围绕它所做出的决策。评估这样一个模型，有着任何基准测试表格都无法消除的固定成本：90 GB 的下载、一个晚上的配置，以及在你了解到任何情况之前还得准备的一组你自己的提示词。更省事的第一步，是把你实际的工作负载跑在你已经能够访问的托管模型上——一个 API 覆盖 200+ 个模型，并且按服务商标价原样透传，不收取任何按 token 的加价，因此供应商一降价，我们这边当天就会生效——再用它来判断这个工作负载究竟是不是 120B 推理模型能够带来提升的那一类。然后，把下载留给那些通过检验的场景。

如果你确实要在信任一个新发布的开源模型之前，就把它放进生产路径，那么自动故障转移就比价格更重要。一个在 10 月 14 日发布的模型，只得到了全世界两天的关注；把它路由到回退机制之后，正是既能获得它的优势、又不必把请求路径押在它身上的做法。

对哪些已确认、哪些尚未确认的诚实总结

已直接从注册表和发行说明中确认：标签、它们的摘要、它们的字节数、最低版本 0.40.5、GGUF 格式（通过 llamacpp 运行器）、共享视觉投影器、模型系列字符串、渲染器、继承的 Nano 解析器以及 OpenMDW-1.1 许可证。已从 NVIDIA 自己的新闻室和模型卡确认：架构、参数拆分、许可证、推荐的采样设置、训练规模——预训练和持续预训练合计约 26 万亿个 token，随后在约 380 万个样本上进行后训练，并在数十个环境中使用强化学习——以及英语、西班牙语、法语、德语、意大利语和日语的覆盖范围。

未确认：每个基准测试数字都是厂商报告的，本文中只有 Artificial Analysis 的 Index（26）和 170M token 的冗长度算得上是独立测量结果。未确认：MLX 标签是否支持所宣传的上下文长度，因为库页面并未为它们声称这一点。未确认：视觉路径是否开箱即已调优，因为随附的采样默认值是文本的那一套。还有未确认：4 位量化会如何改变已发布的分数，而这是 Ollama 列表的大多数读者真正关心的数字，也是没人发布过的那个数字。

如果你有一块 96 GB 显卡，有理由想要一个真正具备 120B 骨干的开源视觉语言模型，也不介意依赖一个刚发布第一周的东西，那么这就是本月同量级模型中出现的最强者，而且拉取轻而易举。如果你需要 NVIDIA 跑基准测试时所用的确切配置，或者需要视觉功能第一次尝试就能正常运作，或者你承担不起花一晚上去弄清楚那两份文档中哪一份才具有权威性——那就等量化评测和社区报告吧。权重才发布四天，运行时支持才两天。