I 150M token per MW di Muse Spark Open, decifrati: la maggior parte di quel numero è input in cache

Meta ha rilasciato Muse Spark Open il 15 ottobre 2026 e, per i primi otto giorni della sua vita pubblica, mancava il numero che ogni articolo cercava. Artificial Analysis riportava il prezzo, riportava un Intelligence Index di 39 e non indicava affatto il throughput di servizio. Il 23 ottobre la situazione è cambiata: il modello compare su AA-AgentPerf a fino a circa 150 milioni di token al secondo per ogni megawatt di potenza degli acceleratori su quattro GPU NVIDIA GB300 o B300, e a circa 70 milioni su MI355X di AMD. Non è una storia di lancio — i pesi hanno nove giorni. È una storia su ciò che quel numero misura, perché la metrica conta sia i token di input sia quelli di output e, all'estremo ad alta concorrenza della curva, quasi tutto ciò che conta è una lettura dalla cache.

Cosa conta effettivamente AA-AgentPerf

AA-AgentPerf non è un benchmark di chat con un cronometro. Artificial Analysis lo ha creato per carichi di lavoro agentici, e il carico di lavoro è il punto: riproduce traiettorie reali di agenti di coding su repository pubblici, le sessioni durano fino a circa 200 turni, e gli input per richiesta vanno da circa 5.000 a 131.000 token con una media vicina a 27.000. Gli output sono brevi e irregolari — una mediana intorno ai 150 token, intervallata da raffiche di ragionamento più lunghe. Il compito di un server in quel carico di lavoro è soprattutto mantenere in cache un prefisso molto grande e per lo più invariato e restituire rapidamente risposte brevi.

L'unità principale è definita nella pagina datacenter di Artificial Analysis come throughput totale del server — token di input più output al secondo — per megawatt di potenza degli acceleratori. La potenza è misurata a livello di GPU, die e HBM, non alla presa e non al TDP nominale, quindi un "megawatt" qui non è la bolletta elettrica di una struttura. Anche la concorrenza non è fissa: l'harness aumenta gradualmente il carico, poi esegue una ricerca binaria per il numero più alto di agenti concorrenti che il sistema sostiene senza violare un obiettivo di interattività, valutato come velocità di output p25 e tempo al primo token p95 su una finestra di stato stazionario in cui ogni agente è stato attivo per almeno 30 secondi.

Il che significa che 150M è un tetto, non una velocità di crociera. È il throughput disponibile al livello di concorrenza in cui la velocità per agente si attesta al valore più basso consentito dal target. Lo stesso hardware ottimizzato per un agente più reattivo restituisce un numero molto più piccolo, e nessuna slide di lancio cita quello.

I numeri come pubblicati

• Tetto di throughput — fino a ~150M token/s per MW su quattro GPU GB300 o B300, riportato da Artificial Analysis il 23 ottobre.

• AMD — ~70M token/s per MW su MI355X, circa la metà del risultato NVIDIA sullo stesso carico di lavoro.

• All'interno di NVIDIA — GB300 ha mostrato un vantaggio su B300 una volta aumentate le velocità di output, secondo lo stesso rapporto.

• Velocità in hosting — 142,9 token di output/s e 0,76 s al primo token nella scheda del modello, rispetto a una mediana di 75,4 token/s per modelli open-weight comparabili.

• Intelligenza — AA Intelligence Index 39, rispetto a una mediana di 19 per modelli open-weight di dimensioni simili.

• Prezzo — $1,25 per milione di token di input e $4,25 per milione di output, con uno sconto dell'88% sulla cache, una tariffa combinata di $0,78 e $0,84 di spesa per ogni attività Index.

Solo i primi tre sono nuovi questa settimana. Gli altri sono sulla pagina fin dal lancio, e tirano in una direzione diversa rispetto al numero di throughput: economici per token in cache, costosi per token generato. Tenere questi due fatti uno accanto all'altro è dove vive la lettura utile.

Il controllo incrociato: 43 punti operativi sullo stesso carico di lavoro

Una pull request del cookbook SGLang, mergiata il 22 ottobre, ha pubblicato cinque deployment GB300 misurati sullo stesso scenario coding-agent di AA AgentPerf, un giorno prima dell'aggiornamento della classifica. I cinque punti sono stati selezionati tra 43 configurazioni misurate, mantenendo entrambi gli estremi della frontiera latenza-throughput e coprendo l'81% della sua area. Sono l'immagine pubblica più chiara di come appare la curva di serving di Muse Spark Open — e la PR è un progetto di framework che dimostra il proprio stack, quindi leggila come un caso migliore ottimizzato anziché neutrale.

• Concorrenza 1, due nodi, TP8·EP8 — 485,8 token di output/s per un singolo utente, 2.514 token totali/s per GPU, tempo p95 al primo token pari a 0,10 s.

• Concorrenza 16, quattro GPU, TP4·EP4 — 208,7 token/s per utente, 49.646 token/s totali per GPU.

• Concorrenza 64 — 97,1 token/s per utente, 114.342 token/s totali per GPU.

• Concorrenza 160 con HiCache — 40,9 token/s per utente, 185.382 token/s totali per GPU, di cui 1.237 sono output generati.

• Cache — tassi di successo del prefisso dal 96,8% al 97,6% nelle cinque esecuzioni, ed è questo che rende così elevati i valori totali dei token.

Quell'ultimo punto è l'intero argomento in una riga. Al vertice della curva, l'output generato è circa lo 0,7% dei token conteggiati dalla metrica. L'altro 99,3% è input, e circa il 97% di quell'input è stato servito dalla cache. Il dato in evidenza di 150M per MW e quello di 40,9 token/s per utente sono la stessa esecuzione letta da estremità opposte. Nessuno dei due è sbagliato, ma rispondono a domande diverse, e la seconda è la domanda che un prodotto basato su agenti si pone davvero.

L'aritmetica è quantomeno coerente, il che depone a favore del numero. Quattro GB300 assorbono dell'ordine di cinque-sei chilowatt di potenza degli acceleratori; 150M token/s per MW implicano circa 750.000-900.000 token al secondo per il nodo, ovvero 190.000-225.000 per GPU. Il punto massimo di SGLang è 185.382 token/s totali per GPU. Stesso ordine di grandezza, stessa forma. Questa è la nostra aritmetica contro la loro misurazione, ma un accordo di questo tipo è ciò che ti dice che il dato principale non è stato assemblato da un'esecuzione diversa.

Il numero AMD è quello che cambia una decisione

La metà del throughput per megawatt non è una differenza di arrotondamento tra fornitori. È la differenza tra due piani di implementazione, e coincide con la curva dei costi che SemiAnalysis pubblica su InferenceX per lo stesso modello in FP4. A 128 token/s per utente, B300 risulta pari a 0,019 $ per milione di token rispetto a MI355X a 0,024 $. A 191 token/s per utente, 0,027 $ contro 0,044 $. A 254, 0,046 $ contro 0,076 $. Si tratta di punti del grafico interpolati da esecuzioni misurate, con un prezzo di 2,26 $ per ora-chip B300 e 1,50 $ per ora-chip MI355X.

Il chip di AMD costa meno all'ora e di più per token in ogni punto di quella curva, e il divario si allarga man mano che si richiede maggiore interattività. È la forma che ci si aspetta quando l'efficienza energetica di una piattaforma è la metà di quella dell'altra, ed è il motivo per cui la suddivisione 70M contro 150M merita più attenzione di quanta ne meriti il 150M da solo.

Due avvertenze, entrambe provenienti dai valutatori anziché da noi. Quando AA-AgentPerf è stato lanciato a giugno, Artificial Analysis ha osservato che la sua configurazione MI355X era stata realizzata internamente anziché essere stata inviata da AMD, e che il margine di miglioramento potrebbe essere maggiore sui sistemi che ha messo a punto essa stessa — quindi il dato AMD è un limite inferiore, in un senso in cui i dati NVIDIA non lo sono. E un valore di throughput non è un risultato di accuratezza. Il controllo di accuratezza MI35x che copre il percorso ROCm di questo modello non è ancora stato eseguito sull'hardware, e una delle sue due soglie pass/fail è stata inserita come segnaposto senza alcuna misurazione AMD a sostegno. A partire da questa settimana, la questione dell'efficienza ha una risposta. Quella della correttezza no.

Che cosa comporta per il calcolo tra self-host e affitto

Muse Spark Open è indicato a $1,25 per milione di token di input e $4,25 per milione di output, con uno sconto cache dell'88% che porta un carico di lavoro misto 7:2:1 a $0,78 per milione. Questi sono i numeri che un deployment self-hosted deve battere, e il confronto è proprio dove la maggior parte di internet sbaglierà questa settimana.

Metti la cifra di InferenceX di 0,019 $ per milione di token su B300 a 128 token/s per utente accanto a 0,78 $ misto e l'auto-hosting sembra quaranta volte più economico. Non lo è. Lo 0,019 $ è prezzato su tutti i token e, in una traccia di agente, quasi tutti sono input in cache. Lo 0,78 $ combina input e output in un rapporto che dà all'output un peso molto maggiore di quanto faccia una traccia AgentPerf. Prezza separatamente input e output del tuo carico di lavoro prima di credere a qualsiasi multiplo — e tieni presente che un costo hardware pubblicato per token di solito esclude le ore di inattività, il personale operativo e la capacità che tieni per i picchi.

La versione onesta: il self-hosting di Muse Spark Open può vincere, e il carico di lavoro in cui vince ha una forma quasi identica a quella testata da AgentPerf — prefissi lunghi, stabili e memorizzabili in cache, risposte generate brevi, elevata concorrenza, un nodo che resta occupato. Un prodotto di chat con prompt brevi e risposte lunghe è quasi l'opposto, e a $4,25 per milione di token di output il prezzo del noleggio non è la parte della bolletta che farà male.

• Pesi — il checkpoint BF16 è di circa 1,65 TB; la build NVFP4 è all'incirca 537 GB.

• Nodo minimo sensato — quattro GPU Blackwell Ultra, la configurazione da cui provengono i nuovi numeri di throughput. Meta ha anche dimostrato il modello in esecuzione localmente su due Mac Studio M5 Ultra, il che è una proposta diversa: una dimostrazione su workstation, non un piano di serving.

• Licenza — la Muse Model License. Gratuita per la maggior parte degli usi, ma le aziende con un fatturato annuo lordo superiore a 20 milioni di dollari devono stipulare un accordo con Meta per offrirla come servizio, e i prodotti basati su di essa devono riportare l'avviso "Built with Muse Spark Open".

Dove eseguirlo e cosa cambia un router

OrcaRouter instrada Muse Spark 1.1 e Muse Spark 1.2 e non serve il checkpoint aperto, quindi nulla qui è un'affermazione sul suo hosting. Ciò che vale la pena sapere è che i checkpoint ospitati sono elencati allo stesso prezzo di $1.25 e $4.25 del prezzo API del modello aperto stesso. I pesi aperti quindi non sono un modo più economico di chiamare questo modello; sono un modo di possedere il percorso di servizio. Se non hai intenzione di possederlo, la scelta è tra checkpoint ospitati, e quella scelta è una modifica di configurazione anziché una migrazione.

Se hai intenzione di gestirlo in proprio, il modo sensato per scoprire se il tuo carico di lavoro si comporta come una traccia AgentPerf è eseguire in parallelo anziché passare al nuovo sistema. Mantieni un checkpoint ospitato come fallback nel tuo stack, destina una quota di traffico al nuovo deployment e riportala indietro quando i numeri deludono. Nel segmento ospitato di questo confronto, OrcaRouter applica il prezzo di listino del provider con markup 0%, quindi il benchmark rispetto al tuo hardware non è maggiorato da parte nostra; il failover automatico e il DSL di routing sono ciò che rende lo spostamento del traffico una modifica di configurazione anziché una modifica del codice; e la fusione dei modelli è lì se preferisci confrontare le risposte su un pannello anziché confrontare l'infrastruttura.

Cosa guardare

• Agenti per megawatt — I risultati del lancio di giugno di AA-AgentPerf sono stati pubblicati in tale unità: circa 91.500 agenti per MW per un GB300 NVL72 su DeepSeek V4 Pro al livello di 20 token/s. Un numero comparabile di agenti per Muse Spark Open è ciò che lo renderebbe classificabile rispetto ad altri modelli, anziché semplicemente descrivibile.

• Approfondimento tecnico di Meta sul serving del 26 ottobre — riportato dal fornitore, quindi etichettalo come tale quando arriverà, ma il dettaglio utile da cercare è quale livello di concorrenza presuppone il dato di efficienza.

• Una configurazione MI355X presentata da AMD — il risultato a metà throughput è misurato rispetto a una configurazione costruita da Artificial Analysis stessa, e AA ha affermato che il margine di miglioramento in quel caso potrebbe essere maggiore.

• Il gate di accuratezza MI35x arriva con numeri reali — l'efficienza senza un controllo di correttezza è metà di una decisione di deployment, e la metà segnaposto di quel gate è ancora un segnaposto.

La lettura utile di questa settimana è ristretta e specifica. Muse Spark Open, stando alle prove finora pubblicate, è un modello insolitamente efficiente da servire su Blackwell ad alta concorrenza con contesto cacheabile, circa due volte più efficiente in quel contesto rispetto a MI355X nello stesso compito, e con un prezzo da modello premium quando lo si noleggia a token. Ognuna di queste affermazioni ha un numero dietro. Nessuna di esse dice che il modello è veloce nel modo in cui un utente percepisce la velocità: quel numero è 40,9 token al secondo alla concorrenza a cui si riferisce il dato di punta.