Muse Code vs Muse Spark 1.1: Cosa misura effettivamente il miglioramento di 6,7 punti di Meta
Guides & Insights

Muse Code vs Muse Spark 1.1: Cosa misura effettivamente il miglioramento di 6,7 punti di Meta

Autore

Rowan Sterling

Data di pubblicazione

Ultimi modelli · 20Vedi tutti i modelli
Benchmark: Artificial Analysis · aggiornato ogni giorno
Torna a tutti gli articoli

Fate prima la sottrazione. Il deck di lancio di Meta per Muse Code, l'agente di programmazione da terminale rilasciato il 5 agosto 2026, riporta l'82,9% su Terminal-Bench 2.1 e lo attribuisce a un guadagno di 6,7 punti rispetto a Muse Spark 1.1, il modello che la maggior parte di chi sta leggendo paga già. Sottraete 6,7 da 82,9 e otterrete 76,2 — che non è un numero pubblicato da Meta, ma è esattamente il punteggio presente nella classifica pubblica di Terminal-Bench 2.1 per Muse Spark 1.1 con xhigh effort, presentato a luglio ed eseguito con l'harness mini-SWE-agent di Princeton.

Questa coincidenza è il fatto più utile in questo confronto, perché mini-SWE-agent è un'impalcatura volutamente minimale — poche centinaia di righe, nessun subagente persistente, nessun log degli eventi, nessuna capacità di pianificazione. L'82,9% di Meta è Muse Spark 1.2 in esecuzione all'interno di un agente appositamente costruito, con cui Meta ha co-addestrato il modello. Se quelle due righe rappresentano l'intervallo di 6,7 punti, allora il guadagno generazionale principale è un aggiornamento del modello e un aggiornamento dell'harness racchiusi in un unico numero, e Meta non ha pubblicato nulla che li separi.

Meta non ha dichiarato quale banco di prova abbia usato per la sua baseline 1.1, quindi l'accostamento è indicativo, non dimostrato. Ma riformula la decisione di fronte a chiunque stia attualmente chiamando Muse Spark 1.1 tramite un'API, ed è questa la versione onesta del confronto: non stai scegliendo tra due modelli. Stai scegliendo tra un modello che guidi tu stesso e un agente che guida per te un modello più recente, e solo una di queste due cose è stata misurata da qualcuno diverso da Meta.

Non sono la stessa categoria, e la scheda tecnica lo dice.

Metà della confusione su questo abbinamento deriva dal trattare Muse Code come una release del modello. Non lo è. È una CLI, e Muse Spark 1.2 è ciò che chiama.

Cos'è — Muse Code è un agente terminale installato con una riga (curl -fsSL https://dev.meta.ai/install.sh | bash); Muse Spark 1.1 è un endpoint del modello che puoi chiamare dal tuo codice, dal tuo framework per agenti o da qualsiasi CLI che accetti un URL base personalizzato.

Modello sottostante — Muse Code esegue Muse Spark 1.2, co-addestrato con l'agente; Muse Spark 1.1 è la generazione di luglio, ancora servito e ancora elencato.

Dove gira — Muse Code funziona solo su macOS e Linux, esclusivamente da terminale, senza GUI né estensioni IDE; Muse Spark 1.1 gira ovunque funzioni HTTPS, incluso Windows.

Input — Muse Code prende un repository e un prompt; Muse Spark 1.1 accetta testo, immagini, video, audio e documenti PDF in un singolo contesto di 1.048.576 token e restituisce testo.

Stato — Muse Code è in beta pubblica ed è etichettato come tale; Muse Spark 1.1 è generalmente disponibile da luglio 2026 e sta gestendo traffico di produzione reale.

Prezzo di listino — entrambi vengono addebitati tramite l'API Meta Model a $1,25 per milione di token di input, $0,15 per input in cache e $4,25 per output sul livello standard. Il tariffario è lo stesso tariffario.

L'ultima riga è quella che sorprende le persone, e demolisce il presupposto ovvio. Adottare Muse Code non costa più per token di ciò che già esegui. Ciò che costa si misura in altre valute — supporto della piattaforma, latenza, modalità e, nel livello economico, il tuo codice sorgente. Questi sono i quattro assi su cui vale la pena discutere.

Il benchmark in cui divergono, letto con il cablaggio collegato

Meta ha pubblicato due delta generazionali rispetto a Muse Spark 1.1: +6,7 punti su Terminal-Bench 2.1 e +6,3 su DeepSWE 1.1. Entrambi sono dichiarati dal fornitore, entrambi provengono da grafici pubblicati come immagini senza una descrizione della metodologia, e nessuno dei due è stato riprodotto da terze parti. Escludendoli, le baseline implicite di Meta per la versione 1.1 sono circa 76,2% e 53,0%.

Ora mettete l'82,9% di Meta accanto alla classifica che non ha citato. La classifica pubblica Terminal-Bench 2.1, al momento in cui scriviamo, vede Claude Code abbinato a Claude Fable 5 all'83,8% ± 1,2%, Codex con GPT-5.5 all'83,1% ± 1,1%, Terminus 2 con Claude Fable 5 all'80,4%, Cursor CLI con Grok 4.5 al 79,3%, e mini-SWE-agent con Muse Spark 1.1 al 76,2% in ottava posizione. L'82,9% auto-dichiarato di Muse Code si collocherebbe al terzo posto — sotto due coppie agente-modello che non compaiono da nessuna parte nel deck di Meta, che invece confronta con Claude Opus 5 all'86,7%, GPT-5.6 Terra all'81,8% e Grok 4.5 all'81,6% in esecuzioni separate con il massimo sforzo.

Due classifiche, un benchmark, numeri che non combaciano — e una terza scala del tutto diversa se si guarda Artificial Analysis, la cui valutazione indipendente su Terminal-Bench v2.1 raggiunge quasi l'89,5% per GPT-5.6 Sol contro un tetto dell'83,8% nella classifica pubblica. Nessuna di queste parti sta mentendo. Una riga di Terminal-Bench è un punteggio per un'infrastruttura di valutazione, più un modello, più un livello di effort, più un budget di calcolo, e cambiare anche uno solo di questi elementi sposta il risultato di più dell'intero scarto che Meta rivendica come una generazione.

Ecco perché la cifra interessante nella classifica pubblica non è la colonna dell'accuratezza, ma quella dei costi. Muse Spark 1.1 ha concluso la sua corsa al 76.2% per $198.05. Claude Code con Claude Fable 5 ha ottenuto l'83.8% per $552.67, e Codex con GPT-5.5 ha pagato $2,059.19 per l'83.1%. Si tratta di 7.6 punti di accuratezza per 2.8x il denaro nel primo caso e circa 10x nel secondo — il tutto misurato dallo stesso operatore, sugli stessi compiti, alle stesse regole, che è esattamente il confronto alla pari che il grafico di Meta non ti dà. La classifica applica anche detrazioni per i compiti risolti sfruttando l'ambiente; la submission di Muse Spark 1.1 non mostra alcuna detrazione, mentre la run di Grok 4.5 di Cursor CLI ne presenta una di 9 punti.

Meta non ha pubblicato alcuna cifra sui costi per il suo 82.9%.

Ciò che Muse Spark 1.1 fa già e che Muse Code non può fare

La tesi di Muse Code è che un agente co-addestrato batte "un wrapper generico attorno a un modello esterno" — la formulazione di Meta, l'affermazione di Meta, non testata da nessun altro. È un'affermazione ragionevole. È anche rivolta a una lacuna che Muse Spark 1.1 è stato specificamente progettato per colmare.

Muse Spark 1.1 parla nativamente il Model Context Protocol, gestisce le proprie connessioni MCP senza un framework esterno, orchestra internamente i ruoli di agente primario e subagente e generalizza in modalità zero-shot a nuovi strumenti e skill personalizzate. I numeri di lancio di Meta erano numeri di utilizzo degli strumenti: 88,1 su MCP Atlas per l'utilizzo degli strumenti su larga scala — davanti agli 82,2 riportati per Claude Opus 4.8 e ai 75,3 per GPT-5.5 — e 54,7 su JobBench. Tutti forniti dal produttore, tutti di luglio, nessuno riprodotto in modo indipendente. Il punto resta comunque valido: 1.1 non è un modello chat a cui qualcuno ha agganciato un agente. Inseriscilo in OpenCode, Cline o qualsiasi CLI che accetti un endpoint personalizzato e oggi hai un agente.

E poi c'è tutto ciò che Muse Code strutturalmente non può toccare. Muse Spark 1.1 ragiona su immagini, video, audio e PDF in un'unica finestra di contesto. Un agente di codifica da terminale non ha alcun uso per quella superficie e nessun modo per esporla. Se il tuo carico di lavoro è un mock di design trasformato in componenti, una chiamata di supporto trascritta e smistata, o un documento di specifiche di 400 pagine confrontato con un'implementazione, la cosa più nuova è la cosa meno capace — e il posizionamento di Meta per la generazione 1.2 è passato da "ricerca profonda multimodale su media misti" a refactoring multi-file e generazione dell'intero repository, senza alcun risultato video o audio pubblicato per la 1.2 da nessuno.

La vera asimmetria va nell'altra direzione, ed è una proprietà a runtime, non una capacità. Muse Code aggiunge ogni chiamata del modello, esecuzione di strumenti, approvazione e modifica a un registro eventi locale, che secondo Meta rende la sessione riproducibile con esattezza e sicura al riavvio: se va in crash, l'agente riprende da dove si era fermato invece di ricostruire il proprio contesto da zero. I suoi agenti in background persistono per l'intera sessione, invece di essere avviati e chiusi a ogni sott'attività. L'evidenza portata da Meta è un singolo caso di studio: un'esecuzione di 24 ore con oltre mille chiamate a strumenti per ottimizzare kernel GPU su hardware NVIDIA Hopper. Non è stato pubblicato alcun numero di accelerazione, quindi l'affermazione è la durata stessa. Se hai mai perso una migrazione di nove ore perché il sistema si era dimenticato cosa stava facendo al passo 300, questa è un'esigenza reale, e per quanto supporto MCP tu metta nel modello, non la ottieni.

Stesso prezzo di listino, finché non leggi il secondo livello.

Poiché il tier standard è identico in entrambi i casi, l'argomento dei prezzi in questo confronto risiede interamente nel tier che Meta ha introdotto insieme a Muse Code. Il tier contributor costa $0,10 per milione di token di input, $0,002 per input in cache e $0,20 per output — 12,5x più economico sull'input, 21x sull'output, 75x sull'input in cache — in cambio del permesso esplicito di usare i tuoi prompt e le tue completions per addestrare i futuri modelli Meta. Il traffico del tier standard, afferma Meta, non viene usato in questo modo.

Esegui un passaggio realistico dell'agente attraverso il processo — 60.000 token di contesto del repository in ingresso, 3.000 token di piano e patch in uscita — e mille passaggi costano 87,75 dollari sul livello standard a freddo, 21,75 dollari quando il contesto del repository viene servito dalla cache, 6,60 dollari sul livello contributor a freddo e 0,72 dollari sul livello contributor con cache a caldo. L'esecuzione del kernel di 24 ore di Meta si attesta vicino ai novanta dollari sul livello che protegge il tuo codice e sotto un dollaro su quello che non lo fa.

Non è una scelta di fatturazione. I prompt di un agente di codifica sono il tuo codebase — API interne, il commento che spiega perché esiste il workaround, qualunque cosa contengano le tue fixture. In un albero open-source il livello contributor è quasi denaro gratis. In un repository proprietario è una decisione di licenza dei dati che indossa i panni di uno sconto, e va portata davanti a chi decide sulla gestione dei dati piuttosto che a chi controlla la bolletta del cloud. Meta ha fissato lo sconto a 12x perché i dati valgono almeno tanto per Meta.

Rimanere su Muse Spark 1.1 evita del tutto la questione, e vale la pena sapere esattamente quanto costa e dove. Muse Spark 1.1 è nel catalogo OrcaRouter a $1,25 e $4,25 — il prezzo di listino di Meta al centesimo, perché applichiamo un ricarico dello 0% e trasferiamo direttamente i prezzi del provider, il che spiega anche perché una variazione delle tariffe di Meta compare dalla nostra parte il giorno stesso in cui Meta la effettua, invece che dopo un ciclo contrattuale. La nostra telemetria di produzione su sette giorni registra per questo modello un p50 del tempo al primo token di 1,84 secondi e un p95 di 6,00 secondi, un'aspettativa molto più utile di qualsiasi suite di benchmark possa fornirti. Muse Spark 1.2 non è nel nostro catalogo; è servito direttamente da Meta e da nessun altro, quindi la parte più recente di questo confronto ha attualmente esattamente un provider e nessun percorso di failover per costruzione. Se lo stai valutando, l'esposizione a un unico fornitore fa parte di ciò che stai valutando.

Il trade-off di latenza che nessuno menziona nella copertura del lancio.

Artificial Analysis, misurando in modo indipendente al massimo sforzo di ragionamento di ciascun modello, ha cronometrato il tempo al primo token di Muse Spark 1.1 in 2,90 secondi e quello di Muse Spark 1.2 in 26,12 secondi. La velocità di output è scesa da 213,5 a 165 token al secondo. Il guadagno è stato di tre punti di Intelligence Index, da 51 a 54, e un salto dal #22 al #13 su 185 modelli.

Letto come rilascio di un modello generalista, è un pessimo affare — nove volte l'attesa per tre punti. Letto come motore di un agente di codifica, è ovviamente quello giusto, perché chi aspetta un refactor di dodici file non si accorge di ventisei secondi di pianificazione, mentre tutti coloro che aspettano una risposta chat li notano tutti. Questa è la dichiarazione più chiara di a chi è destinato ciascun lato del confronto, ed è stata misurata da una terza parte, non affermata da Meta.

Significa anche che il passaggio non è gratuito anche se ti interessa solo il codice. Qualsiasi cosa interattiva che avevi puntato su Muse Spark 1.1 — completamento inline, un bot di revisione, una superficie di chat sui tuoi documenti — peggiora materialmente se la sposti alla generazione 1.2 con grande sforzo. L'aggiornamento è mirato, e il targeting ha una direzione.

Quale dovresti effettivamente eseguire

Resta su Muse Spark 1.1 se il tuo lavoro non è un repository.Pipeline multimodali, analisi di lungo contesto, ricerca su media misti, qualsiasi cosa interattiva, qualsiasi cosa su Windows, qualsiasi cosa già collegata tramite MCP e funzionante. Niente nel lancio di Muse Code migliora queste cose, e la misurazione della latenza peggiora almeno una di esse.

Prova Muse Code se la tua modalità di errore è la durata. Migrazioni di monorepo, aggiornamenti delle dipendenze, refactoring che durano una settimana — lavori a cui attualmente fai da babysitter perché l'agente perde il filo. Il registro degli eventi e gli agenti persistenti in background mirano esattamente a questo, e un deficit di benchmark di qualche punto conta meno proprio dove l'esecuzione è più lunga. Beta, su un clone temporaneo, su un repository che puoi permetterti di perdere.

Fai l'esperimento onesto se stai cercando di decidere sul modello. Mantieni costante il tuo harness e sostituisci Muse Spark 1.1 con Muse Spark 1.2 al suo interno. Questo isola l'unica variabile che il grafico di Meta raggruppa, ed è l'unico modo per scoprire se il premio del co-training è reale o se 1.2 è semplicemente un modello di codifica competente ovunque lo si metta. Un singolo gateway rende questa operazione un semplice cambio di stringa piuttosto che un esercizio di procurement — Muse Spark 1.1, Claude Opus 5, GPT-5.6 Terra, Grok 4.5 e Claude Fable 5 stanno tutti dietro un'unica chiave OrcaRouter al prezzo di listino con failover automatico tra i provider, quindi mantenere il set di confronto non ti costa nulla. Muse Spark 1.2 è l'eccezione e deve provenire da Meta.

Domande che vale la pena porsi prima di installare qualsiasi cosa

Posso puntare Muse Code su Muse Spark 1.1 invece di 1.2?

Il materiale di lancio di Meta non lo dice, e i due sono stati distribuiti come una coppia co-addestrata, il che è un argomento contro il fatto che sia supportato o utile. La direzione inversa è comunque ben documentata: Muse Spark 1.1 funziona in qualsiasi agente che accetta un endpoint personalizzato, ed è così che oggi la maggior parte delle persone lo esegue come agente. Se il tuo obiettivo è un confronto controllato, esegui 1.1 e 1.2 nel tuo banco di prova piuttosto che cercare di piegare quello di Meta.

Il livello contributore si applica anche a Muse Spark 1.1?

Meta ha introdotto la struttura a due livelli con il lancio di Muse Code e Muse Spark 1.2, e il suo listino prezzi pubblicato attribuisce i prezzi per i contributor a quella release. Considera lo sconto 12x come un'offerta della generazione 1.2 finché Meta non dichiara diversamente, e prezza qualsiasi carico di lavoro 1.1 a $1,25 e $4,25. Se sei su OrcaRouter, sei per definizione al prezzo di listino, quindi non esiste un livello di condivisione dati a cui aderire o da cui uscire.

Quindi, l'affermazione sui 6,7 punti è sbagliata?

No — non è stato sottoposto a revisione ed è sotto-specificato, il che è diverso. Meta potrebbe benissimo aver eseguito la sua baseline 1.1 in un harness comparabile a quello di Muse Code, nel qual caso il guadagno è un risultato pulito modello-su-modello. Ma non è stata pubblicata alcuna metodologia, la baseline implicita si colloca esattamente sul punteggio di uno scaffold minimale di terze parti, e lo stesso benchmark produce tre scale diverse a seconda di chi lo esegue. Tratta il +6.7 come indicativo e fatti un numero tuo prima di pianificare di conseguenza.

{{1}}Cosa risolverebbe questo{{/1}}

Un solo invio. Se Meta inserisce Muse Code nella classifica pubblica di Terminal-Bench 2.1 alle stesse regole seguite da tutti gli altri — niente timeout o risorse modificati, colonna dei costi compilata, detrazioni per hack applicate — l'82,9% diventa confrontabile con il 76,2% accanto al nome di Muse Spark 1.1 e con l'83,8% in cima, e l'intera questione si risolve in un pomeriggio. Fino ad allora, l'unico dato verificato in modo indipendente in questo confronto appartiene al modello più vecchio, e dice che Muse Spark 1.1 ha risolto tre quarti di Terminal-Bench 2.1 dentro uno scaffold abbastanza piccolo da leggere in una sola seduta, per meno di duecento dollari.

La seconda cosa da osservare è più circoscritta e arriva prima: se Artificial Analysis pubblicherà i sottopunteggi di coding e agentici per la generazione 1.2, che già pubblica per la 1.1. La performance agentica era la dimensione pubblicata più debole della 1.1, con ampio margine. È esattamente il numero che Meta sostiene di aver corretto, ed esattamente quello che nessuno al di fuori di Meta ha ancora misurato.

Confrontati in questo articolo1

Rilevato da questo articolo · Benchmark: Artificial Analysis · aggiornato ogni giorno

© 2026 OrcaRouter

Per i provider

Gestisci una piattaforma di inferenza? Porta i tuoi modelli su OrcaRouter.

Contattaci

Unisciti alla community

DiscordEmailXGitHubYouTube