Muse Spark Opens 150M tokens per MW, avkodat: Merparten av den siffran är cachad indata

Meta släppte Muse Spark Open den 15 oktober 2026, och under de första åtta dagarna av dess offentliga liv saknades den siffra som varje artikel ville ha. Artificial Analysis redovisade priset, redovisade ett Intelligence Index på 39 och listade ingen serveringsgenomströmning alls. Den 23 oktober ändrades det: modellen finns med i AA-AgentPerf på upp till ungefär 150 miljoner tokens per sekund för varje megawatt acceleratorkraft på fyra NVIDIA GB300- eller B300-GPU:er, och på ungefär 70 miljoner på AMD:s MI355X. Det här är inte en lanseringshistoria – vikterna är nio dagar gamla. Det är en historia om vad den siffran mäter, eftersom måttet räknar in indatatokens likaväl som utdata, och vid den ände av kurvan som har hög samtidighet är nästan allt det räknar en cacheläsning.

Vad AA-AgentPerf faktiskt räknar

AA-AgentPerf är inte ett chattbenchmark med ett stoppur. Artificial Analysis byggde det för agentarbetsbelastningar, och arbetsbelastningen är själva poängen: det spelar upp verkliga kodagentbanor mot offentliga repon, sessioner pågår i upp till cirka 200 turer, och indata per begäran varierar från ungefär 5 000 till 131 000 tokens med ett medelvärde nära 27 000. Utdatan är kort och ojämn – en median på omkring 150 tokens, med inslag av längre resonemangsutbrott. En servers uppgift i den arbetsbelastningen är mestadels att hålla ett mycket stort, till största delen oförändrat prefix i cache och snabbt producera små svar.

Huvudmåttet definieras på Artificial Analysiss datacenter-sida som total servergenomströmning – in- plus uttoken per sekund – per megawatt acceleratorkraft. Effekten mäts vid GPU:n, die och HBM, inte vid vägguttaget och inte vid nominell TDP, så en "megawatt" här är inte en anläggnings elräkning. Samtidigheten är inte heller fast: testramverket trappar upp belastningen och gör sedan en binärsökning efter det högsta antal samtidiga agenter som systemet klarar utan att bryta mot ett interaktivitetsmål, poängsatt som p25 utmatningshastighet och p95 tid till första token över ett fönster i stabilt tillstånd där varje agent har varit aktiv i minst 30 sekunder.

Vilket innebär att 150M är ett tak, inte en marschfart. Det är den genomströmning som finns tillgänglig vid den samtidighet där hastigheten per agent ligger på det lägsta värde som målet tillåter. Samma hårdvara, inställd för en snabbare agent, ger ett mycket lägre tal, och ingen lanseringsbild anger det.

Siffrorna i publicerad form

• Genomströmningstak — upp till ~150 miljoner tokens/s per MW på fyra GB300- eller B300-GPU:er, rapporterat av Artificial Analysis den 23 oktober.

• AMD — ~70M tokens/s per MW på MI355X, ungefär hälften av NVIDIA-resultatet för samma arbetsbelastning.

• Inom NVIDIA — GB300 visade sig ligga före B300 när utdatahastigheterna steg, enligt samma rapport.

• Hostad hastighet — 142,9 output-tokens/s och 0,76 s till första token i modellens listning, jämfört med en median på 75,4 tokens/s för jämförbara öppna viktmodeller.

• Intelligens — AA Intelligence Index 39, jämfört med en median på 19 för modeller med öppna vikter av liknande storlek.

• Pris — $1,25 per miljon indatatokens och $4,25 per miljon utdatatokens, med 88 % cacherabatt, en blandad taxa på $0,78 och $0,84 i utgift per Index-uppgift.

Endast de tre första är nya den här veckan. Resten har stått på sidan sedan lanseringen, och de drar i en annan riktning än genomströmningstalet: billiga per cachad token, dyra per genererad sådan. Det är när man håller dessa två fakta bredvid varandra som den användbara läsningen uppstår.

Korskontrollen: 43 driftpunkter på samma arbetsbelastning

En pull request till SGLang-cookbooken som mergades den 22 oktober publicerade fem GB300-driftsättningar uppmätta i samma AA AgentPerf-scenario för kodningsagenter, en dag före uppdateringen av resultattavlan. De fem punkterna valdes ut från 43 uppmätta konfigurationer, behöll båda ändarna av fronten för latens kontra genomströmning och täckte 81 % av dess yta. De är den tydligaste offentliga bilden av hur Muse Spark Opens serveringskurva ser ut – och PR:en är ett ramverksprojekt som demonstrerar sin egen stack, så läs den som ett intrimmat bästa fall snarare än ett neutralt.

• Samtidighet 1, två noder, TP8·EP8 — 485,8 utdatatokens/s till en enskild användare, 2 514 totala tokens/s per GPU, p95-tid till första token på 0,10 s.

• Samtidighet 16, fyra GPU:er, TP4·EP4 — 208,7 tokens/s per användare, 49 646 tokens/s totalt per GPU.

• Samtidighet 64 — 97,1 tokens/s per användare, 114 342 tokens/s totalt per GPU.

• Samtidighet 160 med HiCache — 40,9 tokens/s per användare, 185 382 tokens/s totalt per GPU, varav 1 237 är genererad utdata.

• Cache — träfffrekvenser för prefix på 96,8 % till 97,6 % över de fem körningarna, vilket är det som gör att siffrorna för totalt antal token blir så stora som de är.

Den sista punkten är hela argumentet i en rad. Vid kurvans topp utgör genererad utdata cirka 0,7 % av de tokens som mätvärdet räknar. De övriga 99,3 % är indata, och ungefär 97 % av den indatan serverades från cache. Rubriken 150M per MW och siffran 40,9 tokens/s per användare är samma körning läst från motsatta ändar. Ingen av dem är fel, men de besvarar olika frågor, och den andra är frågan ett agentprodukt faktiskt har.

Räkningen är åtminstone konsekvent, vilket talar till siffrans fördel. Fyra GB300 drar i storleksordningen fem till sex kilowatt acceleratorkraft; 150M tokens/s per MW innebär grovt räknat 750 000 till 900 000 tokens i sekunden för noden, eller 190 000 till 225 000 per GPU. SGLang:s högsta punkt är 185 382 totala tokens/s per GPU. Samma storleksordning, samma form. Det är vår räkning mot deras mätning, men den sortens överensstämmelse är vad som säger att rubriksiffran inte var ihopsatt från en annan körning.

AMD-numret är det som förändrar ett beslut.

Hälften av genomströmningen per megawatt är inte en avrundningsskillnad mellan leverantörer. Det är skillnaden mellan två driftsättningsplaner, och den stämmer överens med den kostnadskurva som SemiAnalysis publicerar på InferenceX för samma modell i FP4. Vid 128 tokens/s per användare landar B300 på 0,019 USD per miljon tokens mot MI355X på 0,024 USD. Vid 191 tokens/s per användare, 0,027 USD mot 0,044 USD. Vid 254, 0,046 USD mot 0,076 USD. Det är interpolerade diagrampunkter från uppmätta körningar, prissatta till 2,26 USD per B300-chiptimme och 1,50 USD per MI355X-chiptimme.

AMD:s chip är billigare per timme och dyrare per token vid varje punkt på den kurvan, och gapet ökar när man efterfrågar mer interaktivitet. Det är den form man förväntar sig när den ena plattformens energieffektivitet är hälften av den andras, och det är därför uppdelningen 70M mot 150M förtjänar mer uppmärksamhet än vad 150M gör på egen hand.

Två förbehåll, båda från utvärderarna snarare än från oss. När AA-AgentPerf lanserades i juni noterade Artificial Analysis att dess MI355X-konfiguration var byggd internt i stället för att ha skickats in av AMD, och att utrymmet kan vara större på system som den själv har trimat – så AMD-siffran är en undre gräns på ett sätt som NVIDIA-siffrorna inte är. Och ett genomströmningstal är inte ett noggrannhetsresultat. Noggrannhetsgrinden för MI35x som omfattar den här modellens ROCm-väg har fortfarande inte körts på hårdvara, och en av dess två trösklar för godkänt/underkänt skrevs som en platshållare utan någon AMD-mätning bakom sig. Från och med den här veckan har effektivitetsfrågan ett svar. Korrekthetsfrågan har det inte.

Vad det gör med summan för självhosting kontra hyra

Muse Spark Open listas till 1,25 dollar per miljon input-tokens och 4,25 dollar per miljon output, med en cacherabatt på 88 % som gör att en blandad arbetsbelastning på 7:2:1 landar på 0,78 dollar per miljon. Det är siffrorna som en egenhostad driftsättning måste slå, och jämförelsen är där större delen av internet kommer att få det fel den här veckan.

Sätt InferenceX-siffran på 0,019 USD per miljon token på B300 vid 128 token/s per användare bredvid 0,78 USD blandat, och egen drift ser ut att vara fyrtio gånger billigare. Det är det inte. De 0,019 USD är prissatt över alla token, och i ett agentspår är nästan alla av dem cachad indata. De 0,78 USD blandar indata och utdata i ett förhållande som ger utdata långt mer vikt än ett AgentPerf-spår gör. Prissätta din egen arbetsbelastnings indata och utdata separat innan du tror på någon multipel – och notera att en publicerad hårdvarukostnad per token vanligtvis utesluter stilleståndstimmar, driftpersonalen och den kapacitet du håller för topplast.

Den ärliga versionen: egen drift av Muse Spark Open kan vinna, och arbetsbelastningen där den vinner är utformad nästan exakt som den AgentPerf testar – långa, stabila, cachebara prefix, korta genererade svar, hög samtidighet, en nod som förblir upptagen. En chattprodukt med korta prompter och långa svar är nästan motsatsen, och till $4,25 per miljon utdatatokens är hyrpriset inte den del av räkningen som kommer att svida.

• Vikter — BF16-kontrollpunkten är cirka 1,65 TB; NVFP4-versionen är ungefär 537 GB.

• Minsta förnuftiga nod — fyra Blackwell Ultra-GPU:er, den konfiguration som de nya genomströmningssiffrorna kommer från. Meta demonstrerade också modellen lokalt över två M5 Ultra Mac Studios, vilket är en annan sak: en arbetsstationsdemonstration, inte en serveringsplan.

• Licens — Muse Model License. Gratis för de flesta användningsområden, men företag med över 20 miljoner dollar i årlig bruttointäkt behöver ett avtal med Meta för att erbjuda den som en tjänst, och produkter som bygger på den måste bära en märkning "Built with Muse Spark Open".

Var det ska köras, och vad en router förändrar

OrcaRouter dirigerar Muse Spark 1.1 och Muse Spark 1.2 och servar inte den öppna checkpointen, så inget här är ett påstående om att hosta den. Det som är värt att veta är att de hostade checkpointarna listas till samma $1.25 och $4.25 som den öppna modellens eget API-pris. De öppna vikterna är därför inte ett billigare sätt att anropa den här modellen; de är ett sätt att äga serveringsvägen. Om du inte ska äga den är valet mellan hostade checkpoints, och det valet är en konfigurationsändring snarare än en migrering.

Om du ska äga det är det förnuftiga sättet att ta reda på om din arbetsbelastning beter sig som ett AgentPerf-spår att köra parallellt i stället för att byta. Behåll en hostad checkpoint som reserv i din egen stack, lägg en del av trafiken på den nya driftsättningen och flytta tillbaka den när siffrorna gör dig besviken. På den hostade delen av jämförelsen förmedlar OrcaRouter leverantörens listpris vidare med 0 % påslag, så benchmarken mot din hårdvara har inget påslag från vår sida; automatisk failover och routing-DSL är det som gör att flytta trafik till en konfigurationsändring i stället för en kodändring; och modellfusion finns där om du hellre vill jämföra svar från en panel än att jämföra infrastruktur.

Vad du ska titta på

• Agenter per megawatt — AA-AgentPerf:s junilanseringsresultat publicerades i den enheten, cirka 91 500 agenter per MW för en GB300 NVL72 på DeepSeek V4 Pro vid 20 tokens/s-nivån. Ett jämförbart agentantal för Muse Spark Open är vad som skulle göra den rangordningsbar mot andra modeller i stället för bara beskrivbar.

• Metas djupdykning i serving den 26 oktober — leverantörsrapporterad, så märk den som sådan när den publiceras, men den användbara detaljen att leta efter är vilken samtidighet effektivitetssiffran förutsätter.

• En MI355X-konfiguration som skickats in av AMD — resultatet med halv genomströmning mäts mot en konfiguration som Artificial Analysis har byggt själva, och AA har sagt att utrymmet där kan vara större.

• MI35x-noggrannhetsgrinden landar med riktiga siffror — effektivitet utan en korrekthetskontroll är halva ett driftsättningsbeslut, och platshållarhalvan av den grinden är fortfarande en platshållare.

Den användbara tolkningen av den här veckan är snäv och specifik. Muse Spark Open är, enligt de bevis som nu publicerats, en ovanligt effektiv modell att servera på Blackwell vid hög samtidighet med cachelagringsbar kontext, ungefär dubbelt så effektiv där som på MI355X för samma uppgift, och prissatt som en premiummodell när man hyr den per token. Varje sådant påstående har en siffra bakom sig. Inget av dem säger att modellen är snabb på det sätt en användare upplever snabbhet – den siffran är 40,9 tokens per sekund vid den samtidighet där rubriksiffran ligger.