Muse Spark Open 每兆瓦 1.5 亿 Tokens 解读：其中大部分是缓存输入

Meta 发布了Muse Spark Open，发布时间为 2026 年 10 月 15 日；在其公开上线后的头八天里，每篇报道都想要的那个数字却一直缺失。Artificial Analysis 给出了价格，给出了 39 的 Intelligence Index，却完全没有列出服务吞吐量。10 月 23 日，情况改变了：该模型出现在 AA-AgentPerf 上，在四块 NVIDIA GB300 或 B300 GPU 上，每兆瓦加速器功耗最高约为每秒 1.5 亿个 token；在 AMD 的 MI355X 上约为每秒 7000 万个。这不是一篇发布报道——模型权重才发布了九天。这是一个关于那个数字究竟衡量了什么的故事，因为该指标既计入输入 token，也计入输出 token，而在曲线的高并发端，它计入的几乎一切都是缓存读取。

AA-AgentPerf 究竟在统计什么

AA-AgentPerf 不是带秒表的聊天基准测试。Artificial Analysis 是为智能体工作负载构建它的，而工作负载才是关键：它会针对公共代码仓库重放真实的编码智能体轨迹，会话最多运行约 200 轮，每请求输入大致在 5,000 到 131,000 个 token 之间，平均值接近 27,000。输出很短且起伏不定——中位数约为 150 个 token，并穿插着较长的推理爆发。在这种工作负载中，服务器的主要任务是将非常大且基本不变的前缀保留在缓存中，并快速返回小型回复。

在 Artificial Analysis 的数据中心页面上，核心指标单位被定义为每兆瓦加速器功率对应的总服务器吞吐量——即每秒输入加输出的 token 数。功率是在 GPU、裸片和 HBM 层面测量的，而不是在墙端，也不是按额定 TDP 测量，因此这里的“兆瓦”并不是数据中心的电费账单。并发数也不是固定的：测试框架会逐步增加负载，然后二分搜索系统在不破坏交互性目标的前提下所能维持的最高并发智能体数量；评分依据是在每个智能体都至少活跃 30 秒的稳态窗口内，p25 输出速度和 p95 首 token 时间。

这意味着 150M 是上限，而不是巡航速度。它是在并发量达到使单个智能体速度处于目标所允许的最低值时所对应的吞吐量。同一套硬件如果调校得更让智能体反应敏捷，得到的数字会小得多，而且没有任何发布会幻灯片会引用那个数字。

公布的数字

• 吞吐量上限 — 在四块 GB300 或 B300 GPU 上，每兆瓦最高可达约 1.5 亿 tokens/s，Artificial Analysis 于 10 月 23 日报告。

• AMD — 在 MI355X 上每兆瓦约 7000 万 tokens/s，约为同一工作负载下 NVIDIA 结果的一半。

• 在NVIDIA内部——同一份报告显示，一旦输出速度提升，GB300便领先于B300。

• 托管速度 — 该模型列表页显示 142.9 输出 token/秒、首个 token 耗时 0.76 秒，而同类开放权重模型的中位数为 75.4 token/秒。

• 智能——AA Intelligence Index 为 39，而规模相近的开放权重模型的中位数为 19。

• 价格——每百万输入 token 1.25 美元，每百万输出 4.25 美元，享有 88% 的缓存折扣，混合费率为 0.78 美元，每个 Index 任务花费 0.84 美元。

只有前三条是本周新增的。其余从上线起就一直在页面上，它们与吞吐量数字指向不同的方向：按缓存 token 计很便宜，按生成的 token 计很贵。把这两个事实放在一起看，才是有价值的解读所在。

交叉核对：同一工作负载下的 43 个工作点

一个于10月22日合并的 SGLang cookbook 拉取请求公布了五个 GB300 部署，它们均在同一 AA AgentPerf 编程智能体场景下测得，比排行榜更新早一天。这五个点是从43个实测配置中挑选出来的，既保留了延迟-吞吐前沿的两端，又覆盖了其81%的面积。它们是展现 Muse Spark Open 服务曲线究竟如何的最清晰公开图景——而该 PR 本身是一个展示自家技术栈的框架项目，因此应将其视为经过调优的最佳情况，而非中立情况。

• 并发数 1，两个节点，TP8·EP8 — 向单个用户输出 485.8 tokens/s，每 GPU 总吞吐量 2,514 tokens/s，p95 首 token 时间为 0.10s。

• 并发 16，四块 GPU，TP4·EP4——每用户 208.7 tokens/s，每 GPU 总计 49,646 tokens/s。

• 并发 64 — 每用户 97.1 tokens/s，每 GPU 总计 114,342 tokens/s。

• 并发 160，搭配 HiCache — 每用户 40.9 tokens/s，每 GPU 总计 185,382 tokens/s，其中 1,237 为生成的输出。

• 缓存 — 五次运行的前缀命中率在 96.8% 到 97.6% 之间，这正是总 token 数如此之大的原因。

最后一条要点把整个论点浓缩成了一句话。在曲线顶部，生成的输出约占该指标所统计 token 的 0.7%。其余 99.3% 是输入，而其中大约 97% 的输入由缓存提供。150M-per-MW 这个头条数字和 40.9 tokens/s-per-user 这个数字，是同一轮运行从两端读出的结果。两者都没有错，但它们回答的是不同的问题，而第二个才是智能体产品实际关心的问题。

这套算术至少是自洽的，这一点对那个数字有利。四块 GB300 的加速器功耗大约在五到六千瓦；每兆瓦 150M tokens/s 意味着该节点每秒大约 750,000 到 900,000 个 token，也就是每块 GPU 190,000 到 225,000 个。SGLang 的最高点是每块 GPU 总计 185,382 tokens/s。同一数量级，同一形态。这是我们的算术与他们的测量相对照，但这种吻合恰恰说明，那个标题数字并不是从另一次运行中拼凑出来的。

AMD 数值才是会改变决策的那个数值

每兆瓦吞吐量只有一半，并不是供应商之间四舍五入的差异。这是两种部署方案之间的差别，并且与 SemiAnalysis 在 InferenceX 上针对同一模型在 FP4 下发布的成本曲线相符。在每用户 128 tokens/s 时，B300 折算为每百万 tokens 0.019 美元，而 MI355X 为 0.024 美元。在每用户 191 tokens/s 时，为 0.027 美元对 0.044 美元。在 254 时，为 0.046 美元对 0.076 美元。这些是根据实测运行插值得到的图表点，按每 B300 芯片小时 2.26 美元和每 MI355X 芯片小时 1.50 美元计价。

AMD 的芯片在曲线上的每一点都是每小时成本更低、每 token 成本更高，而且随着你要求更高的交互性，差距还会扩大。当一个平台的能效只有另一个的一半时，你预期看到的正是这种形态，这也是为什么 70M 对 150M 的对比比单看 150M 更值得关注。

有两点需要注意，这两点都来自评估方，而不是我们。当 AA-AgentPerf 在六月发布时，Artificial Analysis 指出，其 MI355X 配置是由内部搭建的，而不是由 AMD 提交的；并且在其自行调优的系统上，性能余量可能更大——因此，AMD 的数字在某种意义上是一个下限，而 NVIDIA 的数字则不是。而且，吞吐量数字并不等同于准确率结果。覆盖该模型 ROCm 路径的 MI35x 准确率门禁仍未在硬件上运行，并且其两个通过/失败阈值中的一个只是作为占位符写入的，背后没有任何 AMD 测量数据。截至本周，效率问题已有答案。正确性问题则没有。

它对自托管与租用这笔账的影响

Muse Spark Open 的标价为每百万输入 token 1.25 美元、每百万输出 token 4.25 美元，并提供 88% 的缓存折扣，使 7:2:1 的混合工作负载降至每百万 0.78 美元。这些是自托管部署必须超越的数字，而本周互联网上的大多数人在做比较时恰恰会搞错。

把 InferenceX 给出的数字——在 B300 上、每用户 128 tokens/s 时每百万 tokens 0.019 美元——与 0.78 美元的混合成本放在一起看，自托管似乎便宜四十倍。事实并非如此。0.019 美元是按所有 token 计价的，而在 agent 轨迹中，几乎全是缓存输入。0.78 美元按某种输入输出比例混合，该比例赋予输出的权重远高于 AgentPerf 轨迹。在相信任何倍数之前，请分别核算你自己工作负载的输入和输出价格——并注意，已公布的每 token 硬件成本通常不包括空闲时长、运维人员以及你为峰值保留的容量。

说实话：自托管 Muse Spark Open 是能赢的，而它能赢的那种工作负载，形态几乎和 AgentPerf 测试的一模一样——长而稳定、可缓存的前缀，简短的生成答案，高并发，一个始终忙碌的节点。而提示词短、答案长的聊天产品则几乎相反，并且在每百万输出 token 4.25 美元的价格下，租用价格并不是账单中会让人肉疼的那部分。

• 权重——BF16 检查点约为 1.65TB；NVFP4 构建约为 537GB。

• 最小合理节点——四块 Blackwell Ultra GPU，新吞吐量数据正是来自这一配置。Meta 还演示了该模型在两台 M5 Ultra Mac Studio 上本地运行，但这是另一回事：属于工作站演示，而非服务部署方案。

• 许可证——Muse 模型许可证。大多数用途可免费使用，但年总营收超过 2000 万美元的公司若将其作为服务提供，需与 Meta 签订协议，且基于该模型构建的产品必须标注“Built with Muse Spark Open”。

在哪里运行它，以及路由器会改变什么

OrcaRouter 路由Muse Spark 1.1和Muse Spark 1.2，并且不提供开放检查点，因此这里没有任何关于托管它的主张。值得了解的是，托管检查点的标价与开放模型自身的 API 价格相同，分别为 1.25 美元和 4.25 美元。因此，开放权重并不是调用此模型的更便宜方式；它们是拥有服务路径的一种方式。如果你不打算拥有它，那么选择就在托管检查点之间，而这一选择是配置变更，而不是迁移。

如果你打算自建并自己拥有它，那么要判断你的工作负载是否表现得像 AgentPerf 轨迹，明智的做法是并行运行，而不是直接切换。在你自己的技术栈中保留一个托管检查点作为回退方案，把一部分流量放到新部署上，当数据不理想时再切回去。在这种对比的托管环节，OrcaRouter 按提供商目录价原样传递，0% 加价，因此与你的硬件进行基准对比时，我们这边没有加价；自动故障转移和路由 DSL 让迁移流量成为配置变更，而不是代码变更；如果你更愿意在一组模型之间比较答案，而不是比较基础设施，那么模型融合功能也在这里。

看什么好

• 每兆瓦智能体数——AA-AgentPerf 六月发布的结果以该单位公布：在 20 tokens/s 档位下，GB300 NVL72 运行 DeepSeek V4 Pro 时约为每兆瓦 91,500 个智能体。Muse Spark Open 若能给出可比的智能体数量，才能与其他模型进行排名比较，而不只是被描述。

• Meta 10月26日的推理服务深度解析——由厂商提供，所以发布时要如实标注，但值得留意的有用细节是：该效率数据假设的是哪种并发度。

• AMD 提交的 MI355X 配置——半吞吐量结果是与 Artificial Analysis 自行构建的配置对比测得的，而 AA 表示该配置的提升空间可能更大。

• MI35x 准确率门禁正以真实数字落地——没有正确性检查的效率只是部署决策的一半，而该门禁中占位的那一半仍然只是占位。

本周有用的解读是狭窄而具体的。根据现已公布的证据，Muse Spark Open 是一个异常高效的模型：在 Blackwell 上以高并发、可缓存上下文的方式提供服务时尤其如此；在同一任务上，它在 Blackwell 上的效率约为 MI355X 上的两倍；而按 token 租用时，它的定价属于高端模型。上述每一项说法背后都有一个数字。但它们没有一项说明该模型在用户感知意义上的“快”——那个数字是每秒 40.9 个 token，且处于头条数字所对应的并发水平。