Muse Spark Open: 150M tokens per MW ontcijferd: het grootste deel van dat aantal is gecachte invoer

Meta bracht Muse Spark Open op 15 oktober 2026 uit, en gedurende de eerste acht dagen van zijn publieke leven ontbrak het getal waar elk artikel naar zocht. Artificial Analysis vermeldde de prijs, vermeldde een Intelligence Index van 39 en noemde helemaal geen servingdoorvoer. Op 23 oktober veranderde dat: het model verschijnt op AA-AgentPerf met tot ongeveer 150 miljoen tokens per seconde per megawatt aan acceleratorvermogen op vier NVIDIA GB300- of B300-GPU's, en met ongeveer 70 miljoen op AMD's MI355X. Dit is geen lanceerverhaal — de gewichten zijn negen dagen oud. Het is een verhaal over wat dat getal meet, want de metriek telt zowel invoertokens als uitvoertokens, en aan het uiteinde met hoge gelijktijdigheid van de curve is bijna alles wat hij telt een cachelezing.

Wat AA-AgentPerf eigenlijk telt

AA-AgentPerf is geen chatbenchmark met een stopwatch. Artificial Analysis heeft hem gebouwd voor agentworkloads, en de workload is het punt: hij speelt echte coding-agent-trajectories af tegen openbare repositories, sessies lopen tot ongeveer 200 turns, en de invoer per verzoek varieert van ruwweg 5.000 tot 131.000 tokens met een gemiddelde rond 27.000. De uitvoer is kort en ongelijkmatig — een mediaan rond 150 tokens, afgewisseld met langere redeneeruitbarstingen. De taak van een server in die workload is vooral een zeer grote, grotendeels ongewijzigde prefix in cache houden en kleine antwoorden snel afhandelen.

De kopregel-eenheid wordt op de datacenterpagina van Artificial Analysis gedefinieerd als de totale serverdoorvoer — invoer- plus uitvoertokens per seconde — per megawatt aan acceleratorvermogen. Het vermogen wordt gemeten bij de GPU, de die en het HBM, niet aan de wand en niet bij de nominale TDP, dus een "megawatt" is hier niet de elektriciteitsrekening van een faciliteit. Ook de gelijktijdigheid ligt niet vast: de harnas rampt de belasting op en doet vervolgens een binaire zoektocht naar het hoogste aantal gelijktijdige agents dat het systeem volhoudt zonder een interactiviteitsdoel te doorbreken, gescoord als p25-uitvoersnelheid en p95-tijd tot het eerste token over een venster in stabiele toestand waarin elke agent minstens 30 seconden actief is geweest.

Wat betekent dat 150M een plafond is, geen kruissnelheid. Het is de doorvoer die beschikbaar is bij de gelijktijdigheid waarbij de snelheid per agent op de laagste waarde zit die het doel toelaat. Dezelfde hardware, afgestemd op een responsievere agent, levert een veel kleiner getal op, en geen enkele lanceerslide noemt dat getal.

De cijfers zoals gepubliceerd

• Doorvoerplafond — tot ~150M tokens/s per MW op vier GB300- of B300-GPU's, gerapporteerd door Artificial Analysis op 23 oktober.

• AMD — ~70M tokens/s per MW op de MI355X, ongeveer de helft van het NVIDIA-resultaat bij dezelfde werklast.

• Binnen NVIDIA — GB300 liet een voorsprong op B300 zien zodra de outputsnelheden toenamen, volgens hetzelfde rapport.

• Gehoste snelheid — 142,9 outputtokens/s en 0,76 s tot het eerste token op de vermelding van het model, tegenover een mediaan van 75,4 tokens/s voor vergelijkbare open-weight modellen.

• Intelligentie — AA Intelligence Index 39, tegen een mediaan van 19 voor open-weight modellen van vergelijkbare grootte.

• Prijs — $1,25 per miljoen inputtokens en $4,25 per miljoen output, met 88% cachekorting, een gecombineerd tarief van $0,78 en $0,84 aan kosten per Index-taak.

Alleen de eerste drie zijn deze week nieuw. De rest staat sinds de lancering op de pagina, en ze wijzen in een andere richting dan het doorvoergetal: goedkoop per gecacht token, duur per gegenereerd token. Door die twee feiten naast elkaar te leggen, ontstaat de nuttige interpretatie.

De kruiscontrole: 43 bedrijfspunten op dezelfde werklast

Een pull request voor de SGLang-cookbook die op 22 oktober werd samengevoegd, publiceerde vijf GB300-implementaties die zijn gemeten in hetzelfde AA AgentPerf coding-agent-scenario, één dag vóór de update van het klassement. De vijf punten zijn geselecteerd uit 43 gemeten configuraties, waarbij beide uitersten van de latentie-doorvoer-frontier behouden bleven en 81% van het oppervlak ervan werd gedekt. Ze vormen het duidelijkste publieke beeld van hoe de servingcurve van Muse Spark Open eruitziet — en de PR is een frameworkproject dat zijn eigen stack demonstreert, dus lees het als een afgestemd best-case-scenario in plaats van een neutraal scenario.

• Gelijktijdigheid 1, twee nodes, TP8·EP8 — 485,8 outputtokens/s naar één gebruiker, 2.514 totale tokens/s per GPU, p95 tijd tot eerste token van 0,10 s.

• Gelijktijdigheid 16, vier GPU's, TP4·EP4 — 208,7 tokens/s per gebruiker, 49.646 totale tokens/s per GPU.

• Gelijktijdigheid 64 — 97,1 tokens/s per gebruiker, 114.342 totale tokens/s per GPU.

• Gelijktijdigheid 160 met HiCache — 40,9 tokens/s per gebruiker, 185.382 totale tokens/s per GPU, waarvan 1.237 gegenereerde uitvoer.

• Cache — prefix-hitpercentages van 96,8% tot 97,6% over de vijf runs, waardoor de total-tokencijfers zo groot zijn als ze zijn.

Die laatste bullet is het hele argument in één regel. Aan de top van de curve is gegenereerde output ongeveer 0,7% van de tokens die de metriek telt. De overige 99,3% is input, en ruwweg 97% van die input werd uit cache geleverd. De kop van 150M per MW en het cijfer van 40,9 tokens/s per gebruiker zijn dezelfde run, gelezen vanaf tegenovergestelde uiteinden. Geen van beide is fout, maar ze beantwoorden verschillende vragen, en de tweede is de vraag die een agentproduct daadwerkelijk heeft.

De rekensom is op zijn minst consistent, wat in het voordeel van het getal pleit. Vier GB300s verbruiken in de orde van vijf tot zes kilowatt aan acceleratorvermogen; 150M tokens/s per MW impliceert ruwweg 750.000 tot 900.000 tokens per seconde voor de node, of 190.000 tot 225.000 per GPU. Het hoogste punt van SGLang is 185.382 totale tokens/s per GPU. Dezelfde orde, dezelfde vorm. Dat is onze rekensom tegenover hun meting, maar juist dat soort overeenstemming vertelt je dat het kopcijfer niet uit een andere run is samengesteld.

Het AMD-nummer is het nummer dat een beslissing verandert.

De helft van de doorvoer per megawatt is geen afrondingsverschil tussen leveranciers. Het is het verschil tussen twee uitrolplannen, en het sluit aan bij de kostencurve die SemiAnalysis publiceert op InferenceX voor hetzelfde model in FP4. Bij 128 tokens/s per gebruiker komt B300 uit op $0,019 per miljoen tokens, tegenover MI355X op $0,024. Bij 191 tokens/s per gebruiker: $0,027 tegenover $0,044. Bij 254: $0,046 tegenover $0,076. Dat zijn geïnterpoleerde grafiekpunten uit gemeten runs, geprijsd op $2,26 per B300-chipuur en $1,50 per MI355X-chipuur.

De chip van AMD is per uur goedkoper en per token duurder op elk punt van die curve, en de kloof wordt groter naarmate je meer interactiviteit vraagt. Dat is de vorm die je verwacht wanneer de energie-efficiëntie van het ene platform de helft is van die van het andere, en dat is waarom de 70M-versus-150M-verdeling meer aandacht verdient dan de 150M op zichzelf.

Twee kanttekeningen, beide van de evaluatoren en niet van ons. Toen AA-AgentPerf in juni werd gelanceerd, merkte Artificial Analysis op dat de MI355X-configuratie ervan in eigen huis was gebouwd in plaats van door AMD te zijn ingediend, en dat er op systemen die het zelf heeft afgesteld mogelijk meer headroom is — dus het AMD-cijfer is een ondergrens, op een manier waarop de NVIDIA-cijfers dat niet zijn. En een doorvoercijfer is geen nauwkeurigheidsresultaat. De MI35x-nauwkeurigheidspoort die het ROCm-pad van dit model bestrijkt, is nog steeds niet op hardware uitgevoerd, en een van de twee pass/fail-drempels ervan was als placeholder opgeschreven zonder dat er een AMD-meting achter zat. Sinds deze week heeft de efficiëntievraag een antwoord. De correctheidsvraag niet.

Wat het doet met de rekensom van zelf hosten versus huren

Muse Spark Open staat vermeld voor $1,25 per miljoen inputtokens en $4,25 per miljoen output, met een cachekorting van 88% waardoor een gemengde workload van 7:2:1 op $0,78 per miljoen uitkomt. Dat zijn de cijfers die een self-hosted deployment moet verslaan, en de vergelijking is waar het grootste deel van het internet het deze week verkeerd zal krijgen.

Zet het InferenceX-cijfer van $0,019 per miljoen tokens op B300 bij 128 tokens/s per gebruiker naast de blended $0,78, en self-hosting lijkt veertig keer goedkoper. Dat is het niet. De $0,019 wordt over alle tokens gerekend, en in een agent-trace zijn bijna al die tokens gecachte invoer. De $0,78 mengt invoer en uitvoer in een verhouding die uitvoer veel zwaarder laat wegen dan een AgentPerf-trace doet. Bereken de prijs van invoer en uitvoer van je eigen workload apart voordat je een veelvoud gelooft — en bedenk dat gepubliceerde hardwarekosten per token meestal de idle-uren, het ops-personeel en de capaciteit die je voor piekbelasting aanhoudt, uitsluiten.

De eerlijke versie: zelfhosting van Muse Spark Open kan winnen, en de workload waarin het wint lijkt bijna exact op die welke AgentPerf test — lange, stabiele, cachebare prefixen, korte gegenereerde antwoorden, hoge concurrency, een node die bezet blijft. Een chatproduct met korte prompts en lange antwoorden is bijna het tegenovergestelde, en bij $4,25 per miljoen outputtokens is de huurprijs niet het deel van de rekening dat pijn gaat doen.

• Gewichten — het BF16-checkpoint is ongeveer 1,65 TB; de NVFP4-versie is ongeveer 537 GB.

• Minimaal zinvolle node — vier Blackwell Ultra GPU's, de configuratie waar de nieuwe doorvoercijfers vandaan komen. Meta demonstreerde het model ook lokaal op twee M5 Ultra Mac Studios, wat een ander verhaal is: een demonstratie op een workstation, geen plan voor het aanbieden als dienst.

• Licentie — de Muse Model License. Gratis voor de meeste toepassingen, maar bedrijven met meer dan $20M aan jaarlijkse bruto-omzet hebben een overeenkomst met Meta nodig om het als dienst aan te bieden, en producten die erop zijn gebouwd moeten een vermelding "Built with Muse Spark Open" dragen.

Waar je het kunt uitvoeren, en wat een router verandert

OrcaRouter routeert Muse Spark 1.1 en Muse Spark 1.2 en serveert het open checkpoint niet, dus niets hier is een bewering over het hosten ervan. Wat de moeite waard is om te weten, is dat de gehoste checkpoints worden vermeld tegen dezelfde $1,25 en $4,25 als de eigen API-prijs van het open model. De open modelgewichten zijn daarom geen goedkopere manier om dit model aan te roepen; ze zijn een manier om het serveerpad in eigen hand te hebben. Als je het niet in eigen beheer gaat nemen, is de keuze tussen gehoste checkpoints, en die keuze is een configuratiewijziging in plaats van een migratie.

Als je het zelf wilt beheren, is de verstandige manier om erachter te komen of je workload zich gedraagt als een AgentPerf-trace, parallel te draaien in plaats van over te stappen. Houd een gehost checkpoint als fallback in je eigen stack, zet een deel van het verkeer op de nieuwe deployment en zet het terug wanneer de cijfers tegenvallen. Aan de gehoste kant van die vergelijking geeft OrcaRouter de lijstprijs van de provider door met 0% markup, zodat de benchmark tegen je hardware aan onze kant niet wordt verhoogd; automatische failover en de routing-DSL zorgen ervoor dat het verplaatsen van verkeer een configuratiewijziging is in plaats van een codewijziging; en model fusion is beschikbaar als je liever antwoorden over een panel vergelijkt dan infrastructuur.

Wat te kijken

• Agenten per megawatt — De resultaten van de juni-lancering van AA-AgentPerf werden in die eenheid gepubliceerd: ongeveer 91.500 agenten per MW voor een GB300 NVL72 op DeepSeek V4 Pro in de categorie van 20 tokens/s. Een vergelijkbaar agentenaantal voor Muse Spark Open is wat het mogelijk zou maken om het tegen andere modellen te rangschikken in plaats van het slechts te beschrijven.

• Meta's deep dive van 26 oktober over serving — door de leverancier gerapporteerd, dus label het als zodanig wanneer het verschijnt, maar het nuttige detail om op te letten is welke concurrency het efficiëntiecijfer veronderstelt.

• Een door AMD ingediende MI355X-configuratie — het resultaat met halve doorvoer is gemeten ten opzichte van een configuratie die Artificial Analysis zelf heeft gebouwd, en AA heeft gezegd dat de marge daar wel eens groter zou kunnen zijn.

• De MI35x-nauwkeurigheidsdrempel landt met echte cijfers — efficiëntie zonder een correctheidscontrole is de helft van een uitrolbeslissing, en de placeholdervhelft van die drempel is nog steeds een placeholder.

De nuttige interpretatie van deze week is smal en specifiek. Muse Spark Open is, op basis van de nu gepubliceerde gegevens, een uitzonderlijk efficiënt model om te serveren op Blackwell bij hoge gelijktijdigheid met cachebare context, daar ongeveer twee keer zo efficiënt als op MI355X bij dezelfde taak, en geprijsd als een premiummodel wanneer je het per token huurt. Elk van die beweringen heeft een getal achter zich. Geen ervan zegt dat het model snel is op de manier waarop een gebruiker snel ervaart — dat getal is 40,9 tokens per seconde bij de gelijktijdigheid waarop de kop is gebaseerd.