Die 150 Mio. Token pro MW von Muse Spark Open entschlüsselt: Der Großteil dieser Zahl ist zwischengespeicherte Eingabe

Meta veröffentlichte Muse Spark Open am 15. Oktober 2026, und in den ersten acht Tagen nach seiner öffentlichen Verfügbarkeit fehlte die Zahl, die jeder Artikel haben wollte. Artificial Analysis gab den Preis an, gab einen Intelligence Index von 39 an und nannte überhaupt keinen Serving-Durchsatz. Am 23. Oktober änderte sich das: Das Modell erscheint bei AA-AgentPerf mit bis zu rund 150 Millionen Tokens pro Sekunde je Megawatt Beschleunigerleistung auf vier NVIDIA GB300- oder B300-GPUs und mit rund 70 Millionen auf AMDs MI355X. Dies ist keine Launch-Story – die Gewichte sind neun Tage alt. Es ist eine Geschichte darüber, was diese Zahl misst, denn die Metrik zählt sowohl Eingabe- als auch Ausgabe-Tokens, und am High-Concurrency-Ende der Kurve ist fast alles, was sie zählt, ein Cache-Read.

Was AA-AgentPerf tatsächlich zählt

AA-AgentPerf ist kein Chat-Benchmark mit Stoppuhr. Artificial Analysis hat ihn für Agent-Workloads entwickelt, und der Workload ist der entscheidende Punkt: Er spielt echte Coding-Agent-Trajektorien gegen öffentliche Repositories ab, Sitzungen laufen bis zu etwa 200 Turns, und die Eingaben pro Anfrage reichen von ungefähr 5.000 bis 131.000 Tokens mit einem Mittelwert nahe 27.000. Die Ausgaben sind kurz und ungleichmäßig – ein Median von etwa 150 Tokens, unterbrochen von längeren Reasoning-Ausbrüchen. Die Aufgabe eines Servers in diesem Workload besteht hauptsächlich darin, ein sehr großes, weitgehend unverändertes Präfix im Cache zu halten und kleine Antworten schnell zurückzugeben.

Die zentrale Kennzahl wird auf der Datacenter-Seite von Artificial Analysis definiert als Gesamtserverdurchsatz – Eingabe- plus Ausgabe-Tokens pro Sekunde – pro Megawatt Beschleunigerleistung. Die Leistung wird am GPU, am Die und am HBM gemessen, nicht an der Steckdose und nicht bei der Nenn-TDP; ein „Megawatt“ ist hier also nicht die Stromrechnung eines Rechenzentrums. Auch die Parallelität ist nicht fest: Die Testumgebung erhöht die Last schrittweise und sucht dann per Binärsuche die höchste Zahl gleichzeitig aktiver Agenten, die das System aufrechterhält, ohne ein Interaktivitätsziel zu verletzen; bewertet wird dies als p25-Ausgabegeschwindigkeit und p95-Zeit bis zum ersten Token über ein stationäres Zeitfenster, in dem jeder Agent mindestens 30 Sekunden lang aktiv war.

Das bedeutet, 150M sind eine Obergrenze, keine Reisegeschwindigkeit. Es ist der Durchsatz, der bei der Parallelität verfügbar ist, bei der die Geschwindigkeit pro Agent auf dem niedrigsten Wert liegt, den das Ziel zulässt. Dieselbe Hardware, auf einen flinkeren Agenten abgestimmt, liefert eine viel kleinere Zahl, und keine Launch-Folie nennt diese.

Die Zahlen wie veröffentlicht

• Durchsatzobergrenze – bis zu ~150 Mio. Token/s pro MW auf vier GB300- oder B300-GPUs, berichtet von Artificial Analysis am 23. Oktober.

• AMD — ~70 Mio. Tokens/s pro MW auf MI355X, etwa die Hälfte des NVIDIA-Ergebnisses bei derselben Workload.

• Innerhalb von NVIDIA — GB300 zeigte einen Vorsprung gegenüber B300, sobald die Ausgabegeschwindigkeiten stiegen, laut demselben Bericht.

• Hosted-Geschwindigkeit — 142,9 Ausgabe-Token/s und 0,76 s bis zum ersten Token im Listing des Modells, gegenüber einem Median von 75,4 Token/s bei vergleichbaren Open-Weight-Modellen.

• Intelligenz — AA Intelligence Index 39, gegenüber einem Median von 19 für Open-Weight-Modelle ähnlicher Größe.

• Preis — 1,25 $ pro Million Eingabe-Tokens und 4,25 $ pro Million Ausgabe-Tokens, mit 88 % Cache-Rabatt, einem kombinierten Satz von 0,78 $ und 0,84 $ Ausgaben pro Index-Aufgabe.

Nur die ersten drei sind diese Woche neu. Die übrigen stehen seit dem Start auf der Seite und ziehen in eine andere Richtung als die Durchsatzzahl: günstig pro zwischengespeichertem Token, teuer pro generiertem. Diese beiden Fakten nebeneinanderzuhalten, darin liegt die aussagekräftige Lesart.

Die Gegenprobe: 43 Betriebspunkte bei derselben Workload

{{1}}Ein am 22. Oktober gemergter Pull Request aus dem SGLang-Cookbook{{/1}} veröffentlichte {{2}}fünf GB300-Deployments{{/2}}, gemessen im selben {{3}}AA AgentPerf{{/3}}-Coding-Agent-Szenario, {{4}}einen Tag vor dem Leaderboard-Update{{/4}}. Die fünf Punkte wurden aus {{5}}43 gemessenen Konfigurationen{{/5}} ausgewählt, wobei beide Enden der Latenz-Durchsatz-Grenzkurve beibehalten und {{6}}81 % ihrer Fläche{{/6}} abgedeckt wurden. Sie sind {{7}}das klarste öffentliche Bild{{/7}} davon, wie {{8}}die Serving-Kurve von Muse Spark Open{{/8}} aussieht — und der PR ist {{9}}ein Framework-Projekt, das seinen eigenen Stack demonstriert{{/9}}, daher sollten Sie ihn als {{10}}einen optimierten Best Case und nicht als neutralen Fall{{/10}} betrachten.

• Parallelität 1, zwei Knoten, TP8·EP8 — 485,8 Ausgabe-Tokens/s für einen einzelnen Nutzer, 2.514 Gesamt-Tokens/s pro GPU, p95-Zeit bis zum ersten Token von 0,10 s.

• Nebenläufigkeit 16, vier GPUs, TP4·EP4 — 208,7 Tokens/s pro Nutzer, 49.646 Tokens/s insgesamt pro GPU.

• Parallelität 64 — 97,1 Tokens/s pro Nutzer, 114.342 Tokens/s insgesamt pro GPU.

• Parallelität 160 mit HiCache — 40,9 Tokens/s pro Nutzer, 185.382 Tokens/s gesamt pro GPU, davon 1.237 generierte Ausgabe.

• Cache — Prefix-Trefferquoten von 96,8 % bis 97,6 % über die fünf Läufe hinweg, was dafür sorgt, dass die Gesamt-Token-Zahlen so hoch ausfallen.

Der letzte Punkt fasst das gesamte Argument in einer Zeile zusammen. Am oberen Ende der Kurve macht die generierte Ausgabe etwa 0,7 % der Tokens aus, die die Metrik zählt. Die übrigen 99,3 % sind Eingabe, und rund 97 % dieser Eingabe wurden aus dem Cache bedient. Die Schlagzeile von 150 M pro MW und die Zahl von 40,9 Tokens/s pro Nutzer sind derselbe Lauf, von entgegengesetzten Enden gelesen. Keine von beiden ist falsch, aber sie beantworten unterschiedliche Fragen, und die zweite ist die Frage, die ein Agentenprodukt tatsächlich hat.

Die Rechnung ist zumindest konsistent, was für die Zahl spricht. Vier GB300 ziehen in der Größenordnung von fünf bis sechs Kilowatt Beschleuniger-Leistungsaufnahme; 150 M Tokens/s pro MW bedeuten grob 750.000 bis 900.000 Tokens pro Sekunde für den Knoten bzw. 190.000 bis 225.000 pro GPU. SGLangs Spitzenwert liegt bei 185.382 Gesamttokens/s pro GPU. Gleiche Größenordnung, gleiche Form. Das ist unsere Rechnung gegen ihre Messung, aber eine solche Übereinstimmung ist es, die einem sagt, dass die Schlagzeile nicht aus einem anderen Lauf zusammengesetzt wurde.

Die AMD-Nummer ist diejenige, die eine Entscheidung verändert

Der halbe Durchsatz pro Megawatt ist keine Rundungsdifferenz zwischen Anbietern. Er ist der Unterschied zwischen zwei Bereitstellungsplänen und deckt sich mit der Kostenkurve, die SemiAnalysis auf InferenceX für dasselbe Modell in FP4 veröffentlicht. Bei 128 Tokens/s pro Nutzer ergibt sich für B300 $0,019 pro Million Tokens gegenüber MI355X mit $0,024. Bei 191 Tokens/s pro Nutzer $0,027 gegenüber $0,044. Bei 254 $0,046 gegenüber $0,076. Das sind interpolierte Diagrammpunkte aus Messläufen, bepreist mit $2,26 pro B300-Chipstunde und $1,50 pro MI355X-Chipstunde.

AMDs Chip ist pro Stunde günstiger und pro Token teurer – an jedem Punkt dieser Kurve –, und die Lücke wird größer, je mehr Interaktivität man verlangt. Das ist die Form, die man erwartet, wenn die Energieeffizienz einer Plattform halb so hoch ist wie die der anderen, und deshalb verdient die Aufteilung 70M gegen 150M mehr Aufmerksamkeit als die 150M allein.

Zwei Vorbehalte, beide von den Evaluatoren und nicht von uns. Als AA-AgentPerf im Juni startete, merkte Artificial Analysis an, dass seine MI355X-Konfiguration im Haus gebaut und nicht von AMD eingereicht wurde und dass der Spielraum bei Systemen, die es selbst optimiert hat, größer sein könnte – daher ist der AMD-Wert in gewissem Sinne eine Untergrenze, was auf die NVIDIA-Werte nicht zutrifft. Und eine Durchsatzzahl ist kein Genauigkeitsergebnis. Das MI35x-Genauigkeitsgate, das den ROCm-Pfad dieses Modells abdeckt, wurde noch immer nicht auf Hardware ausgeführt, und eine seiner beiden Bestehen/Nichtbestehen-Schwellen wurde als Platzhalter festgelegt, ohne dass eine AMD-Messung dahintersteht. Seit dieser Woche hat die Effizienzfrage eine Antwort. Die Korrektheitsfrage nicht.

Was es an der Summe aus Selbsthosten und Mieten ändert

Muse Spark Open ist mit 1,25 US-Dollar pro Million Eingabe-Token und 4,25 US-Dollar pro Million Ausgabe-Token gelistet, mit einem Cache-Rabatt von 88 %, der eine gemischte Workload im Verhältnis 7:2:1 auf 0,78 US-Dollar pro Million bringt. Das sind die Zahlen, die ein selbst gehostetes Deployment unterbieten muss, und genau bei diesem Vergleich werden die meisten im Internet es diese Woche falsch machen.

Stellt man die InferenceX-Kennzahl von 0,019 US-Dollar pro Million Tokens auf B300 bei 128 Tokens/s pro Nutzer neben 0,78 US-Dollar gemischt, wirkt Self-Hosting vierzigmal günstiger. Das ist es nicht. Die 0,019 US-Dollar werden über alle Tokens hinweg berechnet, und in einem Agent-Trace sind fast alle davon gecachte Eingaben. Die 0,78 US-Dollar mischen Eingabe und Ausgabe in einem Verhältnis, das der Ausgabe deutlich mehr Gewicht gibt, als es ein AgentPerf-Trace tut. Bepreist Eingabe und Ausgabe eurer eigenen Workload getrennt, bevor ihr einem beliebigen Vielfachen glaubt – und beachtet, dass veröffentlichte Hardwarekosten pro Token in der Regel die Leerlaufstunden, das Betriebspersonal und die für Spitzenlast vorgehaltene Kapazität ausschließen.

Die ehrliche Version: Self-Hosting von Muse Spark Open kann gewinnen, und die Workload, bei der es gewinnt, ist fast genau so geformt wie die, die AgentPerf testet – lange, stabile, cachebare Präfixe, kurze generierte Antworten, hohe Parallelität, ein Knoten, der ausgelastet bleibt. Ein Chat-Produkt mit kurzen Prompts und langen Antworten ist nahezu das Gegenteil, und bei 4,25 US-Dollar pro Million Ausgabe-Tokens ist der Mietpreis nicht der Teil der Rechnung, der schmerzt.

• Gewichte – der BF16-Checkpoint umfasst etwa 1,65 TB; der NVFP4-Build misst rund 537 GB.

• Minimal sinnvoller Knoten — vier Blackwell Ultra GPUs, die Konfiguration, aus der die neuen Durchsatzzahlen stammen. Meta hat das Modell außerdem lokal auf zwei M5 Ultra Mac Studios laufen lassen, was etwas anderes ist: eine Workstation-Demonstration, kein Serving-Plan.

• Lizenz — die Muse Model License. Für die meisten Nutzungen kostenlos, aber Unternehmen mit einem jährlichen Bruttoumsatz von über 20 Mio. USD benötigen eine Vereinbarung mit Meta, um sie als Dienst anzubieten, und Produkte, die darauf aufbauen, müssen einen Hinweis „Built with Muse Spark Open“ tragen.

Wo man es ausführt und was ein Router ändert

OrcaRouter routet Muse Spark 1.1 und Muse Spark 1.2 und stellt den offenen Checkpoint nicht bereit, daher stellt nichts hier eine Aussage über dessen Hosting dar. Wissenswert ist, dass die gehosteten Checkpoints zu denselben $1.25 und $4.25 gelistet sind wie der eigene API-Preis des offenen Modells. Die offenen Gewichte sind daher kein günstigerer Weg, dieses Modell aufzurufen; sie sind ein Weg, den Serving-Pfad selbst zu besitzen. Wenn Sie ihn nicht selbst betreiben wollen, liegt die Wahl zwischen gehosteten Checkpoints, und diese Wahl ist eine Konfigurationsänderung statt einer Migration.

Wenn Sie es selbst betreiben wollen, besteht der vernünftige Weg herauszufinden, ob sich Ihre Workload wie ein AgentPerf-Trace verhält, darin, parallel zu laufen, statt umzuschalten. Behalten Sie einen gehosteten Checkpoint als Fallback in Ihrem eigenen Stack, legen Sie einen Teil des Traffics auf das neue Deployment und verschieben Sie ihn zurück, wenn die Zahlen enttäuschen. Auf dem gehosteten Teil dieses Vergleichs gibt OrcaRouter den Listenpreis des Anbieters mit 0 % Aufschlag weiter, sodass der Benchmark gegen Ihre Hardware auf unserer Seite nicht aufgeschlagen wird; automatisches Failover und die Routing-DSL sorgen dafür, dass das Verschieben von Traffic eine Konfigurationsänderung statt einer Codeänderung ist; und Modellfusion ist verfügbar, wenn Sie lieber Antworten über ein Panel als Infrastruktur vergleichen möchten.

Was zu sehen

• Agenten pro Megawatt — Die Ergebnisse des Juni-Launches von AA-AgentPerf wurden in dieser Einheit veröffentlicht, etwa 91.500 Agenten pro MW für ein GB300 NVL72 mit DeepSeek V4 Pro auf der Stufe von 20 Tokens/s. Eine vergleichbare Agentenzahl für Muse Spark Open wäre nötig, damit es gegen andere Modelle eingestuft werden kann, statt lediglich beschrieben zu werden.

• Metas Serving-Deep-Dive vom 26. Oktober — vom Anbieter berichtet, also als solches kennzeichnen, wenn er veröffentlicht wird; das nützliche Detail, auf das man achten sollte, ist jedoch, welche Concurrency die Effizienzangabe voraussetzt.

• Eine von AMD eingereichte MI355X-Konfiguration — das Ergebnis mit halbem Durchsatz wird gegen eine Konfiguration gemessen, die Artificial Analysis selbst erstellt hat, und AA hat erklärt, dass der Spielraum dort größer sein könnte.

• Das MI35x-Genauigkeitsgate kommt mit echten Zahlen – Effizienz ohne Korrektheitsprüfung ist nur die Hälfte einer Deployment-Entscheidung, und die Platzhalterhälfte dieses Gates ist immer noch ein Platzhalter.

Die nützliche Lesart dieser Woche ist eng und spezifisch. Muse Spark Open ist – nach den derzeit veröffentlichten Belegen – ein ungewöhnlich effizient zu betreibendes Modell auf Blackwell bei hoher Parallelität mit cachebarem Kontext, dort bei derselben Aufgabe etwa doppelt so effizient wie auf MI355X, und als Premiummodell bepreist, wenn man es tokenweise mietet. Hinter jeder dieser Aussagen steht eine Zahl. Keine davon besagt, dass das Modell schnell ist in der Art, wie ein Nutzer Schnelligkeit erlebt – diese Zahl ist 40,9 Token pro Sekunde bei der Parallelität, auf die sich die Schlagzeile bezieht.