Muse Spark Openの1MWあたり150Mトークンを読み解く：その数字の大半はキャッシュされた入力

MetaはMuse Spark Openを2026年10月15日に公開した。公開後最初の8日間、あらゆる記事が求めていたその数値は欠けていた。Artificial Analysisは価格を掲載し、Intelligence Index 39を掲載していたが、サービングスループットは一切記載していなかった。10月23日にそれが変わった。AA-AgentPerfでは、NVIDIA GB300またはB300 GPU 4基を使った場合にアクセラレータ電力1メガワットあたり最大で毎秒約1億5000万トークン、AMDのMI355Xでは約7000万トークンとして掲載されている。これはローンチの話ではない——重みは9日前のものだ。これはその数値が何を測っているかについての話だ。というのも、この指標は出力トークンだけでなく入力トークンも数えており、曲線の高並行度の端では、数えているもののほぼすべてがキャッシュ読み取りだからだ。

AA-AgentPerfが実際に何を数えているのか

AA-AgentPerfは、ストップウォッチを片手に行うチャットベンチマークではありません。Artificial Analysisはエージェントのワークロード向けにこれを構築しており、そのワークロードこそが要点です。公開リポジトリに対して実際のコーディングエージェントの軌跡を再生し、セッションは最大約200ターンに及び、リクエストあたりの入力は約5,000から131,000トークン、平均は27,000近くです。出力は短くむらがあり、中央値は約150トークンで、長めの推論バーストがところどころ挟まります。そのワークロードにおけるサーバーの役割は主に、非常に大きくほとんど変化しないプレフィックスをキャッシュに保持し、小さな応答を素早く返すことです。

主要な単位は、Artificial Analysisのデータセンターページで、アクセラレータ電力1メガワットあたりのサーバー総スループット（毎秒あたりの入力トークン数と出力トークン数の合計）として定義されています。電力はGPU（ダイおよびHBM）で測定され、施設の受電点や定格TDPでは測定されません。そのため、ここでの「メガワット」は施設の電気料金を意味するものではありません。同時実行数も固定ではありません。ハーネスは負荷を段階的に引き上げ、その後、インタラクティビティ目標を損なわずにシステムが維持できる同時エージェント数の最大値を二分探索します。スコアは、すべてのエージェントが少なくとも30秒間アクティブであった定常状態のウィンドウ全体におけるp25出力速度とp95初回トークン時間として評価されます。

つまり150Mは上限（シーリング）であって、巡航速度ではない。これは、エージェントあたりの速度がターゲットの許容する最低値にとどまる並行性において得られるスループットだ。同じハードウェアをより機敏なエージェント向けにチューニングすれば、はるかに小さい数値になり、発表資料のスライドにはその数字は載っていない。

公表された数値

• スループット上限 — 4台のGB300またはB300 GPUで1MWあたり最大約1億5000万トークン/秒、Artificial Analysisが10月23日に報告。

• AMD — MI355Xで1MWあたり約7,000万トークン/秒、同じワークロードにおけるNVIDIAの結果の約半分です。

• NVIDIA社内 — 同じ報道によると、出力速度が上がるとGB300はB300に対して優位性を示した。

• ホスト型の速度 — モデルのリスティング上で出力142.9トークン/秒、最初のトークンまで0.76秒。同等のオープンウェイトモデルの中央値75.4トークン/秒と比較した値です。

• インテリジェンス — AA Intelligence Indexは39で、同程度のサイズのオープンウェイトモデルの中央値19に対して高い水準です。

• 価格 — 入力トークン100万個あたり$1.25、出力100万個あたり$4.25、キャッシュ割引88%、ブレンドレート$0.78、Indexタスクあたりの支出は$0.84です。

今週新たに追加されたのは最初の3つだけです。残りはローンチ時からページに掲載されており、スループットの数値とは異なる方向を示しています。キャッシュ済みトークンあたりでは安く、生成トークンあたりでは高いのです。この2つの事実を並べて見ることこそが、有益な読み解きにつながります。

クロスチェック：同一ワークロード上で43の動作点

SGLang cookbookのプルリクエストは10月22日にマージされ、リーダーボード更新の1日前に、同じAA AgentPerfコーディングエージェントシナリオで測定された5つのGB300デプロイメントを公開した。5つの点は43の測定済み構成から選ばれ、レイテンシ・スループット・フロンティアの両端を維持し、その面積の81%をカバーしていた。これらはMuse Spark Openのサービング曲線がどのようなものかを示す最も明確な公開像である――そしてこのPRは自社スタックを実演するフレームワークプロジェクトなので、中立的なケースではなくチューニング済みの最良ケースとして読むべきだ。

• 同時実行数1、2ノード、TP8·EP8 — 単一ユーザーへの出力485.8トークン/秒、GPUあたり合計2,514トークン/秒、最初のトークンまでのp95時間0.10秒。

• 同時実行数16、GPU 4基、TP4·EP4 — ユーザーあたり208.7トークン/秒、GPUあたり合計49,646トークン/秒。

• 同時実行数64 — ユーザーあたり97.1トークン/秒、GPUあたり合計114,342トークン/秒。

• HiCache による同時実行数 160 — ユーザーあたり 40.9 トークン/秒、GPU あたり合計 185,382 トークン/秒、うち 1,237 は生成出力です。

• Cache — 5回の実行全体でプレフィックスヒット率は96.8%から97.6%で、これが総トークン数がこれほど大きくなっている理由です。

最後の箇条書きは、議論の全体を一行で表している。曲線の頂点では、生成出力はその指標が数えるトークンの約0.7%にすぎない。残りの99.3%は入力で、その入力のおよそ97%はキャッシュから供給されていた。150M-per-MWという見出しと40.9 tokens/s-per-userという数値は、同じ実行を両端から読んだものだ。どちらも間違いではないが、答える問いが異なり、2つ目こそがエージェント製品が実際に抱える問いだ。

計算は少なくとも整合しており、これはその数値にとって有利に働く。GB300 4台はアクセラレータ電力にしておよそ5〜6キロワットを消費する。1MWあたり150M tokens/sは、ノード全体で毎秒およそ750,000〜900,000トークン、GPUあたり190,000〜225,000トークンに相当する。SGLangの最高点はGPUあたり合計185,382 tokens/sである。同じ桁、同じ形だ。これは我々の計算を彼らの測定に当てはめたものだが、そうした一致こそ、その見出しの数字が別の実行から組み立てられたものではないことを示している。

AMDの数値こそが、意思決定を変えるものです。

メガワットあたりのスループットが半分というのは、ベンダー間の丸め誤差ではない。それは2つの導入計画の差であり、SemiAnalysisがInferenceXで公開している、同一モデルのFP4におけるコスト曲線と一致する。ユーザーあたり128トークン/秒では、B300は100万トークンあたり$0.019、MI355Xは$0.024となる。ユーザーあたり191トークン/秒では、$0.027対$0.044。254では、$0.046対$0.076。これらは実測実行から補間したグラフ上の点であり、B300のチップ時間単価$2.26、MI355Xのチップ時間単価$1.50で価格を算出している。

AMDのチップは、その曲線上のどの点でも1時間あたりのコストは安く、トークンあたりのコストは高く、より高いインタラクティブ性を求めるとその差は広がる。これは、一方のプラットフォームの電力効率がもう一方の半分であるときに想定される形であり、70M対150Mの分割が、150M単体よりも注目に値する理由でもある。

2つの注意点があり、いずれも私たちではなく評価者によるものです。AA-AgentPerfが6月に開始されたとき、Artificial Analysisは、そのMI355X構成はAMDから提出されたものではなく社内で構築されたものであると指摘し、同社が自ら調整したシステムでは余裕がより大きい可能性があると述べました。そのためAMDの数値は、NVIDIAの数値とは違って、ある意味で下限値です。また、スループットの数値は精度の結果ではありません。このモデルのROCm経路を対象とするMI35x精度ゲートは、まだハードウェア上で実行されておらず、その2つの合否しきい値のうち1つは、AMDの測定値がないプレースホルダーとして書かれていました。今週時点で、効率性の問いには答えがあります。正確性の問いにはありません。

セルフホストとレンタルの合計にそれがどう影響するか

Muse Spark Openは、入力トークン100万あたり$1.25、出力トークン100万あたり$4.25で掲載されており、88%のキャッシュ割引により、7:2:1の混合ワークロードで100万あたり$0.78になります。これらはセルフホスト型デプロイメントが打ち負かさなければならない数字であり、今週、インターネットの大半がこの比較を誤ることになるでしょう。

InferenceXのB300でユーザーあたり毎秒128トークン時の100万トークンあたり0.019ドルという数値を、ブレンドした0.78ドルの隣に置くと、セルフホスティングは40倍安く見える。そうではない。0.019ドルはすべてのトークンにまたがって価格設定されており、エージェントトレースではそのほぼすべてがキャッシュされた入力である。0.78ドルは入力と出力を、AgentPerfのトレースよりも出力に far more weight を与える比率でブレンドしている。倍数を信じる前に、自分のワークロードの入力と出力を別々に価格計算すること——そして、公表されたトークンあたりのハードウェアコストは通常、アイドル時間、運用スタッフ、ピーク用に保持するキャパシティを含まないことに注意すること。

正直に言えば、Muse Spark Open のセルフホスティングは有利になり得るし、それが有利に働くワークロードは、AgentPerf がテストするものとほぼ同じ形をしている — 長く安定したキャッシュ可能なプレフィックス、短い生成回答、高い並行性、稼働し続けるノード。短いプロンプトと長い回答のチャット製品はほぼ正反対であり、出力トークン100万あたり$4.25では、レンタル価格は請求額の中で痛手となる部分ではない。

• 重み — BF16チェックポイントは約1.65TB、NVFP4ビルドは約537GBです。

• 最小限の妥当なノード — Blackwell Ultra GPU 4基。新しいスループット値の基になった構成です。Metaはさらに、2台のM5 Ultra Mac Studio上でモデルをローカル実行するデモも行いましたが、これは別の話です。ワークステーションでのデモであり、サービング計画ではありません。

• ライセンス — Museモデルライセンスです。大半の用途では無料ですが、年間総収益が2,000万ドルを超える企業がこれをサービスとして提供するにはMetaとの契約が必要で、これを基に構築された製品には「Built with Muse Spark Open」の表示が義務付けられます。

実行する場所と、ルーターが変えるもの

OrcaRouter がルーティングするのは Muse Spark 1.1 と Muse Spark 1.2 であり、オープンチェックポイントは提供しないため、ここにはそれをホストしているという主張はありません。知っておく価値があるのは、ホスト型チェックポイントが、オープンモデル自体の API 価格と同じ $1.25 と $4.25 で掲載されていることです。したがって、オープンウェイトはこのモデルを安く呼び出す手段ではなく、サービング経路を所有する手段です。それを所有するつもりがない場合、選択肢はホスト型チェックポイントの中から選ぶことになり、その選択は移行ではなく設定変更です。

自前で運用するつもりなら、自分のワークロードがAgentPerfトレースのように振る舞うかどうかを確かめる賢明な方法は、切り替えるのではなく並行して走らせることです。自社スタック内のフォールバックとしてホスト型チェックポイントを維持し、トラフィックの一部を新しいデプロイメントに流し、数値が期待外れなら元に戻してください。その比較のホスト型側では、OrcaRouterがプロバイダーの定価を0%マークアップでそのまま通すため、お客様のハードウェアとのベンチマークが当社側でマークアップされることはありません。自動フェイルオーバーとルーティングDSLがあるからこそ、トラフィックの移動はコード変更ではなく設定変更になります。また、インフラを比較するよりも複数モデルのパネルで回答を比較したい場合には、モデルフュージョンも用意されています。

何を観るべきか

• メガワットあたりのエージェント数 — AA-AgentPerfの6月のローンチ結果はこの単位で公表され、GB300 NVL72上でDeepSeek V4 Proを20 tokens/sティアで実行した場合、1 MWあたり約91,500エージェントでした。Muse Spark Openについても同等のエージェント数があれば、単に説明可能なだけでなく、他のモデルと比較して順位付けできるようになります。

• Metaの10月26日公開のサービングに関する深掘り — ベンダー報告によるものなので、公開された際にはその旨を明記すべきですが、注目すべき有用なポイントは、その効率値がどの並行度を前提としているかです。

• AMDが提出したMI355X構成 — 半スループットの結果は、Artificial Analysisが独自に構築した構成を基準に測定されたものであり、AAはそこでのヘッドルームはさらに大きい可能性があると述べている。

• MI35xの精度ゲートが実際の数値で着地する — 正確性のチェックを伴わない効率性はデプロイ判断の半分にすぎず、そのゲートのプレースホルダー側の半分は依然としてプレースホルダーです。

今週の有用な読み取りは、狭く具体的なものだ。現在公表されている証拠によれば、Muse Spark Open は、キャッシュ可能なコンテキストを伴う高い並列度で Blackwell 上で提供するのに異常なほど効率的なモデルであり、同じタスクでは MI355X 上よりも約2倍効率的で、トークン単位でレンタルする場合はプレミアムモデルとして価格設定されている。これらの主張にはいずれも数字の裏付けがある。しかし、そのどれも、ユーザーが体感する意味でこのモデルが速いとは述べていない。その数字とは、見出しの数値が示される並列度における{{1}}毎秒40.9トークン{{/1}}である。