Muse Glimmer raggiunge 230 token/s su una singola RTX 5090: il supporto Day-0 di SGLang è la vera storia del lancio

Duecentotrenta token al secondo è un numero notevole per qualsiasi modello. Per {{1}}Muse Glimmer{{/1}} — {{2}}il rilascio open-weight denso da 30B di Meta, proveniente da Meta Superintelligence Labs, pubblicato il 10 agosto 2026 con licenza Apache 2.0{{/2}} — è il numero che separa un modello che "gira sulla mia GPU" da uno che "serve un agente reale". {{3}}SGLang{{/3}} ha annunciato il supporto day-0 per {{1}}Muse Glimmer{{/1}} lo stesso giorno in cui i pesi sono stati pubblicati, e la sua misurazione pubblicata su una singola {{4}}GeForce RTX 5090{{/4}} è di 236,4 token al secondo per utente con batch 1, con quantizzazione NVFP4 e il drafter di decodifica speculativa DFlash di Meta entrambi attivi.

Quella singola cifra racconta gran parte della storia di questa release, ma vale la pena soffermarsi sul resto, perché la parte interessante non è la velocità di punta. La parte interessante è che il modello funziona anche out of the box su una RTX PRO 6000, su un NVIDIA DGX Spark e su silicio Apple tramite MLX — e che SGLang definisce il lavoro una collaborazione con Meta Superintelligence Labs, non un ripensamento della community. Questo è il primo modello Meta vicino alla frontiera da molto tempo, progettato attorno allo stack di serving e non solo attorno ai pesi.

Cosa significa realmente "day-0 support" qui

Il supporto Day-0 in SGLang v0.5.17 significa che il modello non è stato aggiunto a posteriori: il lavoro sul runtime è arrivato nella stessa finestra di rilascio dei pesi, con un percorso costruito appositamente per l'hardware che Meta punta realmente. Il backend SM120 di SGLang copre la linea Blackwell-desktop e workstation — la RTX 5090, la RTX PRO 6000 e la DGX Spark eseguono tutte lo stesso percorso ottimizzato — mentre Apple silicon riceve un backend MLX nativo invece di una lenta porta.

Lo stack per cui SGLang e Meta hanno effettuato il tuning è specifico. Il modello viene eseguito come checkpoint NVFP4 da 18GB abbinato a un drafter DFlash BF16 da 5GB, ovvero il modello compagno di decodifica speculativa che Meta ha addestrato per Muse Glimmer. Questa combinazione entra in una scheda da 32GB con spazio in abbondanza, e l'intero percorso di quantizzazione mista NVFP4-plus-MXFP8 si attesta su circa 19.5GB di memoria residente. Lato SGLang, le note di rilascio citano tre meccanismi di affidabilità come parte della stessa storia: decodifica speculativa DFlash, RadixAttention per il caching dei prefissi e CUDA graph interrompibili.

Il numero, e ciò che è e non è

I numeri RTX 5090 pubblicati da SGLang, tutti con NVFP4 e il percorso SM120, si suddividono così:

• Decodifica per singolo utente (batch 1) — 63.9 token/s standard, 236.4 token/s con decodifica speculativa DFlash. Questo aumento di 3.7x è il numero interattivo, quello che determina se un agente locale sembra una conversazione o una coda.

• Output aggregato (batch 8) — 501 token/s standard, 1.452 token/s con DFlash. Questo è il numero di throughput per un server locale che serve più richieste contemporaneamente.

• Per confronto, un GGUF q4_k_m sulla stessa GPU — il percorso che la maggior parte delle persone userà con runtime in stile llama.cpp — raggiunge 72.6 token/s in standard e 140.7 token/s con DFlash. Il percorso NVFP4 è nettamente in vantaggio.

Questi sono i dati pubblicati da SGLang e Meta il giorno del lancio, non riproduzioni indipendenti — l'etichetta onesta è riportata da vendor e framework, e la verifica della community arriverà nelle prossime settimane. Ma lo schema tra i due stack che hanno annunciato i numeri è coerente. In llama.cpp, Meta ha riportato da 74,9 a 233,4 token/s su una RTX 5090 con DFlash, un incremento di 3,1x; la M5 Max passa da 26,6 a 50,2; la M4 Max da 23,7 a 37,8. Due runtime diversi, due stili di misurazione diversi, stesso ordine di grandezza: un modello da 30B che decodifica a oltre 200 token al secondo su una singola GPU consumer, e DFlash che triplica circa il throughput su ogni configurazione Nvidia che ha pubblicato numeri.

Perché "serves" conta più di "runs"

Il blog hardware di Meta fa un'affermazione più netta rispetto ai numeri desktop. Su NVIDIA Blackwell Ultra — la generazione per data center, non la scheda desktop — il blog cita oltre 20.000 token al secondo per GPU in BF16/NVF4, con SGLang e vLLM entrambi indicati come stack open-source supportati. Questa è un'altra lega, ed è il segnale di ciò che Meta sta effettivamente costruendo: gli stessi pesi sono pensati per funzionare ovunque, da un laptop a un rack di server GPU, e i framework di serving sono stati trattati come cittadini di prima classe fin dal primo giorno, piuttosto che come porting da scrivere in seguito.

La parte dell'affidabilità conta tanto quanto la velocità. Un agente locale che muore a metà attività perché il livello di servizio ha avuto un intoppo non è significativamente migliore di un agente cloud limitato nella frequenza delle richieste. I meccanismi dello stack day-0 — decodifica speculativa interrompibile, caching dei prefissi che mantiene economici da riprendere i contesti lunghi degli agenti, e un drafter ottimizzato per il modello base — sono esattamente le componenti che rendono sopravvivibili gli agenti locali sempre attivi. Questo è il "velocità e affidabilità" a cui il lancio ha puntato, ed è una vera posizione ingegneristica, non una frase di marketing.

Cosa puoi effettivamente farci

Muse Glimmer è un modello multimodale denso da 30B — input di testo e immagini tramite un encoder percettivo congelato, output di testo — addestrato su più di 100 lingue, con una finestra di contesto di 131.072 token e un taglio delle conoscenze al 4 gennaio 2026. Il suo compito è il lavoro da agente poco appariscente: chiamata di funzioni, uso di strumenti, gestione di calendari e file, valutazione LLM-as-a-judge e attività multi-step con recupero dagli errori — quando una chiamata a uno strumento fallisce, il modello è addestrato a diagnosticare e riprovare piuttosto che fermarsi. Espone livelli di sforzo di ragionamento (da low a xhigh) che imposti nel prompt di sistema, ed è così che si scambia latenza con profondità sugli stessi pesi.

Il dato di 230 token al secondo è ciò che rende tutto ciò utilizzabile su una singola macchina. Sotto i circa 50 token/s, un agente interattivo sembra una sessione di debug remoto; oltre i 200, sembra uno strumento locale. Questo è l'intero argomento a favore del modello in un solo numero, ed è il motivo per cui l'elenco dell'hardware — RTX 5090, RTX PRO 6000, DGX Spark, MLX Macs — si legge come una guida allo shopping per l'era degli agenti locali, piuttosto che come una nota di compatibilità.

Quanto costa

Muse Glimmer in sé è gratuito: pesi Apache 2.0 su Hugging Face all'indirizzo meta-models/Muse-Glimmer-30B, con quantizzazioni GGUF già pubblicate per runtime stile llama.cpp e nessuna API pubblica Meta. Il costo reale è l'hardware sottostante: un checkpoint NVFP4 da 18GB più il drafter da 5GB significa che ti serve una scheda da 24GB o 32GB, oppure un Mac di fascia alta con chip serie M. Se lo possiedi già, il costo marginale di un agente locale sempre attivo è l'elettricità. Se non lo possiedi, la GPU è la voce di spesa, ed è questo il modo onesto di confrontare un "modello gratuito" con un'API hosted.

Quando fai quel confronto, calcola entrambi i lati in modo diretto. Su OrcaRouter, il prezzo che vedi per uno qualsiasi dei 200 e più modelli ospitati è il prezzo di listino del provider applicato con margine dello 0%, quindi un taglio di prezzo del venditore è attivo qui lo stesso giorno — il che mantiene onesta l'aritmetica tra locale e ospitato. Muse Glimmer stesso non è su OrcaRouter oggi, perché nessun provider di inferenza lo sta ancora servendo; viene distribuito come download. Nel momento in cui un provider inizierà a servirlo, la stessa chiave che raggiunge il resto del catalogo raggiungerà anche lui, e il failover automatico è il meccanismo che rende sicuro puntare il traffico di produzione verso un modello nuovo di zecca e riportato dal fornitore, prima che abbia una track record indipendente.

La storia più grande dietro la velocità

Leggete il lavoro day-0 su SGLang come un segnale, e il rilascio smette di essere un singolo modello. Muse Glimmer è una versione distillata del modello di punta proprietario di Meta, Muse Spark 1.2, e Meta ha dichiarato che i pesi del teacher arriveranno "nelle prossime settimane". Un agente locale da 30B con uno stack di serving ottimizzato, un modello teacher in procinto di diventare open e un fondo comunitario da 1 miliardo di dollari annunciato insieme al rilascio: non è una release minore. È l'inizio di una lineup open-weight rivolta direttamente al mercato degli agenti locali, e il supporto framework disponibile fin dal primo giorno è la parte che dimostra che Meta intende far eseguire davvero il modello alle persone, non solo farlo scaricare.

La precisazione da tenere presente: ogni dato di velocità e benchmark associato a questo lancio finora è riportato dal fornitore o dal framework. I numeri di throughput sono coerenti tra due stack indipendenti, il che è rassicurante, ma saranno i benchmark indipendenti, una voce su Artificial Analysis e le riproduzioni nel mondo reale a confermare la storia dei 230 token al secondo — e di solito arrivano entro poche settimane da un rilascio di questo tipo.

Cosa tenere d'occhio, in ordine approssimativo di velocità: il rilascio dei pesi aperti di Muse Spark 1.2 (la lettura strategica di «Meta è tornato» dipende da questo); le prime riproduzioni indipendenti di throughput su hardware non Nvidia, dove il percorso MLX è quello da monitorare; e il primo provider di inferenza che attiva un endpoint Glimmer — il momento in cui gli argomenti «modello locale gratuito» e «API ospitata» smettono di essere ipotetici e diventano una scelta che puoi fare con un solo tasto.