Muse Spark Open 每 MW 150M Tokens 解析：其中大部分是快取輸入

Meta 發布了Muse Spark Open，時間為 2026 年 10 月 15 日；在它公開問世後的頭八天裡，每一篇報導都想知道的數字卻付之闕如。Artificial Analysis 列出了價格，列出了 Intelligence Index 為 39，卻完全沒有列出服務吞吐量。到了 10 月 23 日，情況有了變化：該模型出現在 AA-AgentPerf 上，在四顆 NVIDIA GB300 或 B300 GPU 上，每兆瓦加速器功耗最高可達約每秒 1.5 億個 token；在 AMD 的 MI355X 上則約為每秒 7,000 萬個。這不是一則發布新聞——權重推出至今才九天。這是一則關於那個數字究竟衡量了什麼的報導，因為該指標既計入輸出 token，也計入輸入 token，而在曲線的高併發端，它計入的幾乎全都是快取讀取。

AA-AgentPerf 實際上在計算什麼

AA-AgentPerf 不是一場帶碼錶的聊天基準測試。Artificial Analysis 是為代理工作負載打造它，而工作負載正是重點：它會針對公開儲存庫重播真實的程式設計代理軌跡，工作階段最多執行約 200 回合，而每次請求的輸入範圍約從 5,000 到 131,000 個 token，平均值接近 27,000。輸出簡短且起伏不定——中位數約 150 個 token，並穿插較長的推理爆發。伺服器在該工作負載中的任務，主要是把非常大且大多維持不變的前綴保留在快取中，並快速完成小型回覆。

主要單位在 Artificial Analysis 的資料中心頁面上定義為總伺服器吞吐量——每秒輸入加輸出 token——每兆瓦加速器功耗。功耗是在 GPU、晶粒與 HBM 層級測量，不是在電源插座端，也不是額定 TDP，因此這裡的「兆瓦」不是設施的電費帳單。並行度也不是固定的：測試框架會逐步提高負載，然後以二分搜尋找出系統在未破壞互動性目標下可維持的最高並行代理數量；評分依據是在每個代理都至少已活躍 30 秒的穩態視窗中，p25 輸出速度與 p95 首個 token 時間。

這意味著 150M 是上限，而非巡航速度。它是在每個代理的速度處於目標允許的最低值時，於該併發數下可獲得的吞吐量。同一套硬體若調校成反應更靈敏的代理，得到的數字會小得多，而沒有任何發布簡報會引用那個數字。

依公布數字

• 吞吐量上限——在四顆 GB300 或 B300 GPU 上，每 MW 最高可達約 150M tokens/s，由 Artificial Analysis 於 10 月 23 日報導。

• AMD — 在 MI355X 上每兆瓦約 7,000 萬 tokens/s，約為相同工作負載下 NVIDIA 結果的一半。

• 在 NVIDIA 內部 — 同一份報告指出，一旦輸出速度提升，GB300 便展現出領先 B300 的優勢。

• 託管速度 — 在該模型頁面上，輸出速度為 142.9 token/s，首個 token 延遲 0.76 秒；同類開放權重模型的中位數為 75.4 token/s。

• 智慧 — AA Intelligence Index 39，相較於類似規模開放權重模型的中位數 19。

• 價格 — 每百萬輸入 token 為 $1.25，每百萬輸出 token 為 $4.25，享有 88% 快取折扣，混合費率為 $0.78，每項 Index 任務花費 $0.84。

本週只有前三個是新的。其餘的從上線以來就一直留在頁面上，而且它們與吞吐量數字指向不同方向：每個快取 token 便宜，每個生成 token 昂貴。把這兩個事實並置對照，才能讀出有用的資訊。

交叉核對：相同工作負載上的 43 個運作點

一份於10月22日合併的 SGLang cookbook pull request 發布了五個 GB300 部署，這些部署是在同一個 AA AgentPerf 程式設計代理情境中測量的，時間比排行榜更新早一天。這五個點是從43種實測配置中選出的，保留了延遲-吞吐量前沿的兩端，並涵蓋其81%的面積。它們是目前公開最清晰的圖像，說明 Muse Spark Open 的服務曲線長什麼樣子——而這個 PR 是一個展示自身技術堆疊的框架專案，因此應將其視為經過調校的最佳案例，而非中立案例。

• 併發數 1、兩個節點、TP8·EP8 — 對單一使用者可達 485.8 輸出 token/s，每 GPU 總計 2,514 token/s，p95 首 token 時間為 0.10 秒。

• 並行數 16、四張 GPU、TP4·EP4 — 每位使用者 208.7 tokens/s，每張 GPU 總計 49,646 tokens/s。

• 並行數 64 — 每位使用者 97.1 tokens/s，每張 GPU 總計 114,342 tokens/s。

• 搭配 HiCache 的並行數 160 — 每位使用者 40.9 tokens/s，每張 GPU 總計 185,382 tokens/s，其中 1,237 為生成的輸出。

• 快取 — 五次執行中的前綴命中率為 96.8% 至 97.6%，這正是總 token 數會如此龐大的原因。

最後一個要點就是整個論證的一句話總結。在曲線頂端，生成輸出大約是指標所計 token 數的 0.7%。其餘 99.3% 是輸入，而這些輸入中約有 97% 是由快取提供。150M-per-MW 的標題數字與每位使用者每秒 40.9 個 token 的數字，是同一輪執行從兩端讀出的結果。兩者都沒有錯，但回答的是不同問題，而後者才是代理式產品真正關心的問題。

這些算術至少是自洽的，這對這個數字來說是加分項。四台 GB300 大約消耗五到六千瓦的加速器功耗；每 MW 150M tokens/s 意味著該節點每秒約 750,000 到 900,000 個 token，或每顆 GPU 190,000 到 225,000 個。SGLang 的最高點是每顆 GPU 總計 185,382 tokens/s。同樣的數量級，同樣的型態。這是我們的算術對上他們的測量，但這種程度的一致性，正是告訴你那個頭條數字並非由另一輪執行拼湊而成的依據。

AMD 數字才是會改變決策的那個。

每兆瓦吞吐量只有一半，並不是供應商之間的四捨五入差異，而是兩種部署方案之間的差異，且與 SemiAnalysis 在 InferenceX 上針對同一模型以 FP4 公布的成本曲線一致。在每位使用者每秒 128 個 token 時，B300 換算為每百萬 token 0.019 美元，而 MI355X 為 0.024 美元。在每秒 191 個 token 時，分別為 0.027 美元與 0.044 美元。在每秒 254 個 token 時，分別為 0.046 美元與 0.076 美元。這些是根據實測運行內插得出的圖表資料點，並以每 B300 晶片小時 2.26 美元與每 MI355X 晶片小時 1.50 美元計價。

AMD 的晶片在該曲線上的每一個點，每小時成本都更低，但每個 token 的成本都更高，而且當你要求更高的互動性時，差距還會擴大。這正是當一個平台的能源效率只有另一個平台的一半時，你會預期看到的形狀；也正因如此，70M 對 150M 的拆分，比起單看 150M 本身，更值得關注。

有兩點但書，兩者都來自評測方而非我們。當 AA-AgentPerf 於六月推出時，Artificial Analysis 指出其 MI355X 組態是由他們自行建置，而非由 AMD 提交；而且在他們自行調校的系統上，效能餘裕可能更大——因此 AMD 的數字在某種意義上是下限，NVIDIA 的數字則不然。而且吞吐量數字不等於準確度結果。涵蓋此模型 ROCm 路徑的 MI35x 準確度閘門，仍未在硬體上執行；其兩個通過/失敗門檻之一，是以佔位符形式寫的，背後並沒有 AMD 的測量數據。截至本週，效率問題已有答案。正確性問題則沒有。

它對自架與租用成本合計的影響

Muse Spark Open 的定價為每百萬輸入 token 1.25 美元、每百萬輸出 token 4.25 美元，並具備 88% 的快取折扣，讓 7:2:1 的混合工作負載降至每百萬 0.78 美元。這些就是自架部署必須超越的數字，而這項比較正是本週大多數網路使用者會弄錯的地方。

把 InferenceX 在 B300 上、每位使用者每秒 128 個 token 時每百萬 token 0.019 美元的數字，與混合後的 0.78 美元並列來看，自架似乎便宜四十倍。事實並非如此。0.019 美元是按所有 token 計價，而在 agent trace 中，幾乎所有 token 都是快取輸入。0.78 美元則以某種比例混合輸入與輸出，而該比例賦予輸出的權重遠高於 AgentPerf trace。在相信任何倍數之前，先分別計算你自己工作負載的輸入與輸出價格——並注意，公開的每 token 硬體成本通常不包含閒置時數、維運人員，以及你為峰值保留的容量。

誠實的版本：自行託管 Muse Spark Open 可以勝出，而它勝出的工作負載，形態幾乎與 AgentPerf 測試的完全一樣——長、穩定、可快取的前綴，簡短的生成答案，高併發，以及一個持續忙碌的節點。一個提示簡短、答案冗長的聊天產品則幾乎相反，而以每百萬輸出 token $4.25 的價格來說，租用價格並不是帳單中會讓你痛的那一部分。

• 權重 — BF16 檢查點約 1.65TB；NVFP4 版本約 537GB。

• 最小合理節點 — 四顆 Blackwell Ultra GPU，也就是新吞吐量數據所依據的配置。Meta 也展示了該模型在兩台 M5 Ultra Mac Studio 上本機執行，但這是另一回事：這是工作站演示，不是服務部署方案。

• 授權——Muse 模型授權條款。多數用途可免費使用，但年總收入超過 2,000 萬美元的公司若要以服務形式提供，須與 Meta 簽訂協議；以此為基礎打造的产品必須附上「Built with Muse Spark Open」標示。

要在哪裡執行它，以及路由器會帶來什麼改變

OrcaRouter 會將請求路由至 Muse Spark 1.1與Muse Spark 1.2，且不提供開放檢查點，因此這裡沒有任何內容是在主張託管它。值得知道的是，託管檢查點的標價與開放模型自身的 API 價格相同，都是 $1.25 和 $4.25。因此，開放權重並不是呼叫此模型的更便宜方式；它們是掌控服務路徑的一種方式。如果你不打算自行掌控它，選擇就介於託管檢查點之間，而那個選擇是組態變更，而不是遷移。

如果你打算自行擁有它，判斷你的工作負載是否表現得像 AgentPerf 追蹤的明智做法，是並行執行而不是直接切換。在你自己的技術堆疊中保留一個託管檢查點作為備援，把一部分流量放到新部署上，並在數字令人失望時把它移回來。在那項比較的託管端，OrcaRouter 以 0% 加價原樣傳遞供應商牌價，因此相對於你的硬體所做的基準測試在我們這邊不會被加價；自動容錯移轉和路由 DSL 讓搬移流量成為一項設定變更，而不是程式碼變更；而模型融合則可供你在選擇跨一組模型比較答案、而非比較基礎設施時使用。

看什麼

• 每兆瓦代理數 — AA-AgentPerf 的六月發布結果即以此單位公布：在 20 tokens/s 等級下，GB300 NVL72 搭配 DeepSeek V4 Pro 約為每 MW 91,500 個代理。Muse Spark Open 若能提供可比的代理數量，才能讓它與其他模型一同排名，而不只是被描述。

• Meta 10月26日的 serving 深入剖析 — 由廠商自行報告，因此發布時要如實標註，但值得留意的實用細節是：效率數字假設的是哪種並行度。

• AMD 提交的 MI355X 配置 — 半吞吐量結果是對照 Artificial Analysis 自行建構的配置測得，而 AA 表示該處的餘裕可能更大。

• MI35x 準確度關卡以真實數據落實——沒有正確性檢查的效率，只是部署決策的一半；而該關卡中仍是佔位符的那一半，依然只是佔位符。

本週有用的解讀範圍狹窄且具體。就目前已公布的證據而言，Muse Spark Open 是個在 Blackwell 上以高併發、可快取上下文提供服務時異常高效的模型；在相同任務下，其在該處的效率約為 MI355X 的兩倍，而按 token 租用時，其定價則屬高階模型。上述每一項說法背後都有數字。但它們全都沒有說這個模型在使用者主觀感受上「快」——那個數字是每秒 40.9 個 token，且是在頭條數字所在的那個併發量下。