Nemotron 3.5 Bolt E4B 4GB：实际交付了什么，以及为什么这个名称会误导人

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB于2026年10月23日在Hugging Face上线，关于它首先值得说的一点是算术：文件是6.18GB。名字里写着4GB。两个数字都是真实的，它们衡量的是不同的东西，而它们之间的差距是此次发布中最有用的事实。

NVIDIA 的技术博客称，4GB 是该模型目标工作负载的预期内存范围——这是指在应用程序同时运行时，模型应占用的预算。它不是参数量，也不是下载大小。检查点本身总参数量为 8B，其中有效参数为 4B，基于 Gemma-4-E4B-it 进行后训练，并且仅以两种精度发布：15.88GB 的 BF16 版本和 6.18GB 的 Q4_K_M GGUF。如果你来这里是想找一个可以丢到设备上的四吉字节文件，那么仓库里并没有。

这一点值得直说，因为本次发布的其他内容都异常清晰易懂。模型卡写得很详细，技术报告已公开，实测延迟表覆盖了四款设备。缺的是独立验证，而模型卡本身也承认了这一点。

此次发布内容依据公开信息重构

这个没有获得正式发布。它只得到了一条脚注，然后是一篇博客文章。

• 2026年10月5日——Q4_K_M 和 BF16 构建版本的 Hugging Face 仓库已创建。两者均未填充权重。

• 2026 年 10 月 15 日 —— NVIDIA 宣布推出 Nemotron 3.5 系列：Super VL 120B-A12B 与 Bolt 74B-A9B 24GB，两者均于当日上市。而 E4B 只分得两句话和一个日期：将于 10 月 23 日推出。

• 2026年10月23日——Q4_K_M 和 BF16 权重发布，模型卡上线，NVIDIA 的研究实验室发布了一篇技术博客和一份技术报告。没有企业新闻稿，而且紧随10月15日公告之后的发布报道也没有在这次发布中再次出现。

“悄然发布”是准确的，但“秘密”就不准确了。NVIDIA 给该模型命名、标注了日期，并在当天做了妥善的文档说明。它没有做的是，把 E4B 摆到那些曾报道其同系列产品的同一批记者面前。对于在最初几周读到本文的人来说，实际后果是：下文几乎每一种说法都可追溯到同一个来源：NVIDIA。

四吉字节是预算，而非下载量

一旦你查看的是仓库而不是名称，所公布的文件大小就是明确无误的。

• Q4_K_M GGUF — 6,180,446,208 字节，按十进制计为 6.18GB，位于名为 Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf 的单个文件中。

• BF16 safetensors — 15,882,494,698 字节，即 15.88GB，位于单个分片中，另有一个 110MB 的冻结共享 KV 文件。

• 没有 4GB 的产物——仓库中没有更小的量化版本，而且模型卡也没有发布与名称中数字相符的文件。

NVIDIA 确实公布的是四台设备上的 batch-1 llama.cpp 测量结果，而 4GB 的说法正是在那张表中变得具体：

• RTX 5070 12GB — 3.5 至 4.3GB 显存，548 至 1,238ms 首个 token 时间，106.2 至 133.4 token/秒。

• RTX Spark 32GB — 3.1 至 4.2GB 显存，首个 token 耗时 930 至 1,988ms，每秒 52.0 至 67.0 个 token。

• Jetson Orin Nano 8GB — 显存 4.2 至 4.9GB，生成首个 token 需 5,785 至 6,259 毫秒，每秒生成 13.0 至 15.5 个 token。

• Jetson AGX Orin 32GB — 4.2 至 5.0GB 显存，首个 token 耗时 3,687 至 4,091ms，每秒 20.3 至 24.0 个 token。

显存数值低于 6.18GB 的文件大小，这意味着在那些运行中，运行时并未将整个文件常驻在 GPU 上。这张显卡并未解释其机制，而这里正适合避免凭空发明一种机制：内存映射权重、部分卸载和 KV 缓存大小设定都会相互作用，而 NVIDIA 尚未公布这种拆分。可以确定的是，4GB 这一上限是在特定硬件、特定运行时下测得的结果，而不是下载文件本身的属性。

如果卖点是语音助手，那 Orin Nano 这一行就值得反复细看。每秒十三到十五个 token、首个 token 耗时近六秒，作为嵌入式智能体尚可一用，但作为实时对话伙伴就很糟糕。RTX 5070 这一行恰恰相反：在桌面级 GPU 上，它快到足以支持交互式使用。

NVIDIA 在 Gemma 4 E4B 中究竟改了什么

该架构为整体继承。这是 Gemma-4-E4B，一个总参数 8B、有效参数 4B 的混合模型，NVIDIA 的贡献在于后训练，而非新的骨干网络。模型卡将这项工作列为通过 NeMo-RL 和 NeMo-Gym，基于可验证奖励和人类反馈进行强化学习，涵盖工具调用与模式、指令遵循与层级、结构化输出、自由格式排版以及生成式奖励建模。训练批次中非推理样本与推理样本的比例为 2:1，并且 NVIDIA 提高了长度惩罚以控制冗长——这一细节稍后会出现在基准表中。

Q4_K_M 构建版本是使用 llama.cpp 生成的，并在约一百万 token 的 RL rollout 数据上通过 imatrix 校准完成。此外还有一个用于投机解码的 DFlash 草稿模型；NVIDIA 表示，其吞吐量相比 Gemma-4-E4B 原始的多 token 预测草稿模型最高提升了 21%。该草稿模型位于一个独立仓库中，检查时它对匿名请求返回 HTTP 401，因此应将其视为一个额外的访问步骤，而不是当天就能下载。

两个聊天模板开关承担了大部分行为层面的工作。enable_thinking 用于开启或关闭推理，并接受运行时思考预算；conversational_mode 则为简短、少格式的回复添加口语对话系统指令。第二个开关就是关键线索。这个模型是为交谈而构建的，而不是为了用分析填满上下文窗口。

上下文为 64K 输入和 64K 输出。语言覆盖在 Hugging Face 元数据中为 34 种，在技术博客中为 35 种——这是一处小不一致，并非实质性问题，而训练后卡片将英语、法语、德语、意大利语、日语、西班牙语和中文列为主要语言。

许可证是一套组合而非单一文件：NVIDIA 的贡献采用 OpenMDW-1.1，Gemma 4 组件采用 Apache 2.0。模型卡说明该模型已可用于商业或非商业用途。OpenMDW 属于宽松型许可，但未获 OSI 批准，这一点对法律团队比对开发者更重要。

对照表中列出的模型来解读这张基准测试表

NVIDIA 在统一的 NeMo-Gym 测试框架下，将该模型与 Gemma4 E4B-it、Qwen3.5 4B 以及其自家的 Nemotron 3 Nano-4B 进行了评估。下文的每个数据均由厂商报告，且未经复现。说明卡称这些数字“可能与厂商自报的数字不同”，这既是一个诚实的免责声明，也提醒人们：比较对象是由 NVIDIA 选定的。

成果主要集中在对话和控制方面：

• RoleBench Custom — Bolt E4B 为 67.05，而 Qwen3.5 4B 为 53.66，Gemma4 E4B-it 为 49.95，Nano-4B 为 12.02。这是人物角色基准测试，且其领先幅度是表中最大的。

• IHEval，指令层级 — 84.79 对比 60.57、67.04 和 51.31。在这一规模下，领先最接近的竞争对手 17 个百分点并不寻常。

• When2Call 多轮 —— 63.36，相比之下 Qwen3.5 4B 为 37.85，Gemma4 为 62.90，Nano-4B 为 27.70。懂得何时不应调用工具，既是一项智能体技能，也是一项对话技能。

• RelyToolBench — 63.16，对比 43.35、61.60 和 41.20。基于工具输出的 grounding，同样是一项与对话相邻的技能。

• MultiChallenge — 53.10 对 51.76、42.08 和 35.30。在多轮挑战处理上以微弱优势获胜。

损失同样显而易见，而如果你想要的是一个智能体而不是一个角色，那么真正重要的正是这些损失：

Tau2-Bench —— 55.10，而 Qwen3.5 4B 为 75.06。在多轮智能体任务完成度上，这是 20 个百分点的差距，人设质量再高也无法弥补。

• 64K 上下文下的 RULER —— 86.99，而 Qwen3.5 4B 为 95.15，Nano-4B 为 91.51。该模型支持 64K 上下文，但在整个上下文范围内的检索可靠性不及同类模型。

• 48K 上下文下的 LongBench v2——50.50，而 Qwen3.5 4B 为 59.93。长文档推理方面同样如此。

• BFCL-v3 — 68.51，对比 Qwen3.5 4B 的 70.95。在函数调用方面略有差距，但优于 Gemma4 的 66.39。

• EQ-Bench v3 — 39.40，而 Gemma4 E4B-it 为 41.17。这是情感智能指标中唯一一项父模型胜过子模型的条目。

Q4_K_M 这一列比通常的量化表更有意思。压缩并未均匀地损害准确率：MultiChallenge 从 53.10 升至 55.60，RoleBench 从 67.05 升至 71.21，ToolSandbox 从 68.77 升至 74.13，RelyToolBench 从 63.16 升至 69.29。它在 Tau2 上从 55.10 降至 52.32，在 LongMemEval 上从 72.10 降至 69.92，在 RULER 上从 86.99 降至 85.76。当校准数据来自模型自身的 RL rollout 时，一个四比特构建能提升若干对话类分数是说得通的，但这仍是厂商自己的测量，而且 4B 模型中的基准级噪声足够大，因此这些差值不应被解读为一条精度阶梯。

有两行值得单独标注。Brevity Bench 和 When2Call Multi-Turn 是 NVIDIA 称为填补现有基准空白的评估，博客称它们将在之后发布。它们目前无法被独立复现——这一点对 Brevity 最为重要，因为正是该行承载了“输出 token 更少”的说法。

NVIDIA 的核心主张是，该模型平均比 Nemotron 3 Nano-4B 好约 40%，比同类模型好约 10%，而在启用推理的对比中，输出 token 最多可减少 80%。80% 这个数字说的是冗长度，而非准确率，并且与 Brevity Benchmark 的 82.52 分相吻合——NVIDIA 将该基准内置到了自己的套件中。方向可以认真对待，具体百分比则不必太较真。

代码仓库不会告诉你的事

这张卡片坦率地指出了自身的缺口，而这些缺口值得一一列出，因为它们界定了此次发布能够支撑多大程度的信心。

• 无独立评测。撰写本文时，Artificial Analysis 尚未为 E4B 提供模型页面，也没有第三方公布对这 21 行基准测试表的复现结果。

• 没有托管价格。该卡片将 Build.NVIDIA.com 上一则条目的日期标为 10 月 23 日，但那里和卡片上都没有公布按 token 计费的价格。如果你想用 API，那你是在谈判或使用免费层级，而不是在查看价目表。

• 尽管快速入门中包含可用的 llama.cpp 命令，部署仍被标记为“llama.cpp（方案待定）”。这是文档层面的矛盾，而非技术层面的矛盾，但正是这类问题会让自动化部署流水线出错。

• 4GB 目标并未通过文件得到证实。实测的 VRAM 占用范围才是证据；下载大小为 6.18GB。

安全、偏见、可解释性和隐私子卡片以单独文件形式存在。本文不会审计它们，目前任何独立机构也不会。

这些都不会让这次发布变得不可信，只会让它显得为时过早。由训练该模型的团队撰写的模型卡，是对模型用途的最佳现有描述；但它并不能证明模型确实能做到这一点。

本地 4B 模型止步于何处，以及该在它后面接上什么

这类模型真正诚实的架构是拆分式的。放在 Jetson 或 RTX 显卡上的 4B 对话检查点非常擅长反射层：唤醒词响应、人设对话、短工具调用、输入锚定，以及界面中那些不能承受网络往返的部分。它并不适合回答需要 200K 上下文的问题，也不适合制定十步智能体计划，它自己的基准测试表也说明了这一点。

这给每个部署留下了第二个问题：由什么来处理本地模型不应处理的请求。通过 OrcaRouter 将托管模型置于同一应用之后，意味着一个 API 即可访问 200+ 个模型，按提供商标价 0% 加价，以及自动故障转移在提供商服务降级时——因此升级路径是一个路由决策，而不是第二套 SDK、第二个密钥和第二个计费关系。本地模型仍是快速路径；托管模型则是 E4B 从未针对其训练过的情况的兜底方案。

什么会改变这幅画面

三件事，按有用程度排序。在同一测试框架上运行独立基准测试，将能确定这个偏重对话的配置在 NVIDIA 的评估之外是否依然成立。发布一个不超过 4GB 的产物，才能让这个名字名副其实。而给 Build 端点定价，则会把模型从一次下载变成一项可以比较的服务。

在那之前，正确的解读具体而有用：{{1}}NVIDIA{{/1}} 对 {{2}}Gemma 4 E4B{{/2}} 进行了后训练，将其打造成一个明显更优的对话式小型模型，在同一份文档中公布了证据与差距，并在该系列发布一周后几乎悄无声息地将其推出。名称中的 {{3}}4GB{{/3}} 是一个目标：实测运行内存达到了该目标，而下载体积没有。请按 {{4}}6.18GB{{/4}} 规划存储空间，并按 {{5}}每秒 13 到 133 个 token{{/5}} 来设定预期，具体取决于你实际拥有的是哪种设备。