Muse Code
Guides & Insights

Muse Code: Meta lanserade en kodningsagent som förlorar på sitt eget benchmark

Författare

Jim Song

Publiceringsdatum

Senaste modellerna · 20Visa alla modeller
Benchmarks: Artificial Analysis · uppdateras dagligen
Tillbaka till alla inlägg

Leverantörer publicerar vanligtvis inte det diagram där de kommer tvåa. Meta publicerade tre sådana. I lanseringspresentationen för Muse Code – terminalkodningsagenten som Meta Superintelligence Labs släppte den 5 augusti 2026, som körs på Muse Spark 1.2Claude Opus 5 ligger före på varje topplista Meta valde att visa, inklusive den som Meta själv byggde och kontrollerar. På Terminal-Bench 2.1 är gapet 3,8 poäng. På DeepSWE 1.1 är det 5,7, med GPT-5.6 Terra också före. På Metas eget interna kodningsbenchmark är det 8,8. Den virala versionen av denna lansering — "59% på DeepSWE 1.1, som överträffar Grok 4.5 och Gemini 3.6 Flash" — är sann, och det är det snävaste sanna påstående som finns.

Vilket gör lanseringen mer intressant, inte mindre. Meta skickade med en benchmark-presentation som de inte vinner, och skickade den ändå, eftersom poängen inte är vad de säljer. Vad de säljer är en runtime som överlever ett 24-timmarsjobb, och ett pris som underskrider konkurrenterna med mer än en storleksordning – så länge du är villig att låta Meta läsa ditt repository. Alla benchmarksiffror nedan kommer från Metas egna diagram, som publicerades utan metodik; där en oberoende mätning finns, säger meningen det.

Vad Meta faktiskt släppte

Två saker samma dag, medvetet kopplade.

Muse Code — en terminalkodningsagent, offentlig beta, installeras med en rad: curl -fsSL https://dev.meta.ai/install.sh | bash. Endast macOS och Linux; det finns ingen inbyggd Windows-version, inget GUI och inget IDE-tillägg. Meta beskriver sin uppgift som att ta sig an komplex programvaruutveckling över stora kodarkiv — planera ändringar, skriva kod, validera resultat.

Muse Spark 1.2 — en kodningsfokuserad revision av Metas resonemangsmodell, med en kontext på 1 048 576 tokens, tillgänglig i Muse Code och via Meta Model API i offentlig förhandsvisning. Meta uppger att man skalat upp beräkningskraften för träning på kodningsuppgifter och breddat mångfalden av träningsmiljöer, med målet att hantera arbete över långa tidshorisonter: generering av hela repositories, refaktorering av flera filer, utökad felsökning.

Kopplingen är påståendet. Meta uppger att de två tränades tillsammans, och att kombinationen därför ger "bättre verktygsanvändning, färre omförsök och högre kvalitet på utdata än ett generiskt omslag runt en extern modell." Det är Metas formulering och Metas påstående; ingen tredje part har testat modellen i en konkurrerande testmiljö för att kontrollera om samträningsfördelen är verklig eller om Muse Spark 1.2 helt enkelt beter sig som en kompetent kodningsmodell oavsett var man placerar den.

Tre inbyggda färdigheter levereras med agenten, och de beskriver den avsedda arbetsstilen bättre än marknadsföringstexten gör: /plan producerar en godkännandestyrd plan innan något skrivs, /grill stresstestar den planen, och /goal driver mot slutförandet av ett angivet mål. Planera, attackera planen, verkställ sedan — vilket är det mönster som erfarna användare av Claude Code och Codex manuellt enades om, nu levererat som förstklassiga kommandon.

Benchmark-decket, läst ärligt

Muse Code

Meta publicerade jämförelser på Terminal-Bench 2.1, DeepSWE 1.1, sitt eget Meta Internal Coding Bench och GDPval. Siffrorna, som rapporterats av Meta:

Terminal-Bench 2.1 — Claude Opus 5 med maximal ansträngning i Claude Code 86,7 %, Muse Spark 1.2 i Muse Code 82,9 %, GPT-5.6 Terra i Codex 81,8 %, Grok 4.5 i Grok Build 81,6 %. Andraplats, och tvåan till fyran skiljs åt med 1,3 poäng.

DeepSWE 1.1 — Claude Opus 5 65,0 %, GPT-5.6 Terra 64,8 %, Muse Spark 1.2 59,3 %. Tredje plats, och den enda brädan där gapet är avgörande snarare än kosmetiskt.

Meta Internal Coding Bench — Claude Opus 5 79,4 %, Muse Spark 1.2 70,6 %. Metas hemmamatch, och Metas största förlust.

Generation efter generation — Meta rapporterar +6,7 poäng på Terminal-Bench och +6,3 på DeepSWE mot Muse Spark 1.1. Det är de största siffrorna i presentationen, och de är de som en Muse Spark 1.1-användare faktiskt bör bry sig om.

En aritmetisk hake är värd att nämna, eftersom den är anledningen till att betrakta allt ovanstående som riktningsgivande. Räknar man bort Metas +6,7 hamnar Muse Spark 1.1 på nära 76 % på Terminal-Bench 2.1 – men den offentliga tbench.ai-ledartavlan har sedan slutet av juli visat en verifierad 80,0 % för Muse Spark 1.1. Båda siffrorna kan vara ärliga och ändå inte överensstämma, eftersom en rad i Terminal-Bench inte är en modellpoäng. Det är en poäng för en harness plus en modell plus en ansträngningsinställning, och Metas interna harness för 1.1 var inte den som tbench körde. Det enda faktumet gör mer skada för benchmark-jämförelser mellan leverantörer än någon enskild ifrågasatt siffra, och det leder direkt till nästa avsnitt.

Runtime är produkten.

Muse Code

Ta bort poängen och det som återstår är en ingenjörspitch om att inte dö. Två mekanismer bär den.

Det första är händelseloggen. Muse Code lägger till varje modellanrop, varje verktygskörning, varje godkännande och varje redigering i en lokal logg, som enligt Meta gör sessionen återspelnings-exakt och omstartssäker: döda den, krascha den, förlora maskinen, så återupptar agenten exakt där den slutade i stället för att på nytt härleda sitt sammanhang från grunden. Konkurrenter har återställning efter krascher av varierande kvalitet; ingen av dem har gjort det till sin huvudrubrik. Det är för övrigt också en revisionsartefakt — en fullständig lokal registrering av vad en autonom process gjorde med ditt arbetsträd, vilket är exakt det dokument som en säkerhetsgranskning efterfrågar och som de flesta agent-CLI:er inte kan producera.

Det andra är vad Meta kallar asynkrona bakgrundsagenter. Skillnaden jämfört med vanliga subagenter är att de inte skapas för varje deluppgift och rivs ner; de förblir aktiva under hela sessionen, utför nästa steg på egen hand och väljer när de ska rapportera tillbaka till huvudloopen. Den påstådda fördelen är lägre latens, eftersom orkestratorn inte betalar uppstartskostnad varje gång den delegerar.

Metas stödbevis är en fallstudie: Muse Code som körs i 24 timmar över mer än 1 000 verktygsanrop, autonomt optimerar GPU-kärnor på NVIDIA Hopper-maskinvara, med vad Meta kallar avsevärda förbättringar jämfört med den medföljande baskodens implementering. Ingen siffra för hastighetsökning publicerades, så det intressanta måttet är inte resultatet utan tidslängden. Tusen verktygsanrop utan mänsklig räddning är en annan typ av felmarginal än en refaktorisering med femtio anrop, och det är en arbetsbelastning där en benchmarkskillnad på 3,8 poäng spelar långt mindre roll än huruvida processen fortfarande är vid liv timme nio.

Priset är vapnet — och en del av det betalas i källkod.

Det finns ingen Muse Code-prenumeration. Fakturering sker i tokens, på en av två nivåer, och skillnaden mellan dem är det mest aggressiva inslaget i den här lanseringen:

Standard — $1,25 per miljon inmatade tokens, $0,15 per miljon cachad inmatning, $4,25 per miljon utdata. Promptar på denna nivå används inte för att förbättra Metas produkter.

Bidragsgivare — $0.10 per miljon indata, $0.002 per miljon cachad indata, $0.20 per miljon utdata. I utbyte får Meta använda datan för att förbättra sina modeller.

Det är 12,5 gånger billigare på inmatning, 21 gånger billigare på utmatning och 75 gånger billigare på cachad inmatning. Kör det genom ett realistiskt agentsteg — 60 000 tokens av repositorykontext in, 3 000 tokens av plan-och-patch ut — och prisrutnätets fyra hörn är häpnadsväckande. Standardnivån med en kall prompt: 8,8 cent per steg, 87,75 dollar för tusen steg. Standardnivån med repositorykontexten som träffar cachen: 2,2 cent, 21,75 dollar per tusen. Bidragsnivån kall: 0,66 cent, 6,60 dollar per tusen. Bidragsnivån med en varm cache: 0,72 dollar för samma tusen steg.

Samma arbete, till 122 gånger kostnaden eller 1/122 av den, beroende på två val. Metas egen 24-timmars kernelkörning med 1 000 anrop kostar ungefär nittio dollar i tokens på den nivå som skyddar dina data, och under en dollar på den nivå som inte gör det.

Vad är det faktiska beslut som denna lansering ställer teamen inför, och det är inte ett prisbeslut. En terminalbaserad kodningsagent läser din kodbas – det är hela dess funktion – så promptarna på bidragsnivån innehåller din källkod, dina interna API:er, dina kommentarer om varför workarounden finns, och alla testfixturer som ditt repo råkar innehålla. För ett sidoprojekt eller ett open source-träd är bidragsnivån i det närmaste gratis pengar. För en proprietär kodbas, eller något repo som kan rymma kunddata, är det ett licensbeslut förklätt till en rabatt, och det bör läggas fram för den som godkänner datahantering snarare än inför den som håller koll på molnfakturan. Meta prissatte det med en 12x rabatt eftersom datan är värd minst så mycket för Meta.

Vad du inte kan få via API:et

Muse Code

De 82,9 % tillhör Muse Spark 1.2 i Muse Code. Om du anropar modellen från ditt eget agentramverk, har du köpt modellhalvan av den kombinationen och ingen av selhalvan — ingen händelselogg, inga beständiga bakgrundsagenter, och, om Metas samträningspåstående betyder något, inget av det finjusterade verktygsanvändningsbeteendet heller. Det finns alltså två separata utvärderingar här och att blanda ihop dem är det enklaste misstaget att göra den här veckan: slår Muse Code agenten du redan kör, och är Muse Spark 1.2 en bättre modell än den du för närvarande anropar?

Den andra frågan är den billigare att besvara, eftersom den bara kräver att du håller din harness konstant och byter ut modellen under den. Värt att vara noggrann med tillgängligheten: Muse Spark 1.2 levereras direkt av Meta och finns inte i OrcaRouter-katalogen. Muse Spark 1.1 är det, till $1,25 och $4,25 — exakt Metas listpris, eftersom OrcaRouter lägger på 0 % påslag och förmedlar leverantörens prissättning rakt igenom, vilket också är anledningen till att en prisändring från leverantören dyker upp hos oss samma dag som den sker i stället för efter en kontraktscykel. Vår sjudagars produktionstelemetri för 1.1 visar p50 time-to-first-token på 1,84 sekunder och p95 på 6,00 sekunder, vilket är en mer användbar latensförväntan än någon benchmark-harness kan ge dig.

Det praktiska värdet av en enda gateway under en vecka som denna är att jämförelsegruppen — Claude Opus 5, GPT-5.6 Terra, Grok 4.5, Gemini 3.6 Flash och Muse Spark 1.1 — ligger bakom en enda nyckel till listpris, så ett A/B-test är en strängändring snarare än en upphandlingsövning. Det täcker också den strukturella risken i Metas erbjudande: Muse Spark 1.2 har exakt en leverantör, vilket gör den till en enda felkälla per konstruktion. Automatisk växling mellan leverantörer är skillnaden mellan att en dålig eftermiddag för Meta är en dålig eftermiddag för din agent, eller inte.

Detta är också anledningen till att 1.2 släpptes tyst och långsamt.

Muse Spark 1.2 dök upp på Metas API den 5 augusti utan tillkännagivande och utan ändrade siffror – samma 1M-kontext, samma $1.25 och $4.25, samma femstegs resonemangsvred som Muse Spark 1.1. Det enda som rörde sig mättes utifrån: Artificial Analysis uppmätte tid-till-första-token till 26,12 sekunder jämfört med 1.1:ans 2,90 sekunder vid maximal resonemangsansträngning, vilket köpte tre poäng på Intelligence Index, från 51 till 54. Sett som en generell modellrelease är det ett märkligt byte – nio gånger väntan för tre poäng.

Läst som modellhalvan av en samtränad agent är det den uppenbara växlingen. Ingen som väntar på en refaktorering av tolv filer märker tjugosex sekunders planering; den som väntar på ett chatt-svar märker alltihop. Meta levererade inte en chattmodell i tysthet och hoppades att ingen skulle mäta latensen. Det levererade motorn innan bilen, och tillkännagivandet kom när bilen kom. Metas utvecklarsida för Muse Spark visar nu också 1.2.

Korollariet är en varning för alla som antog denna familj för dess bredd. Muse Spark 1.1 såldes som en multimodal resonemangsmodell — text, bilder, video, ljud och PDF:er, bra för forskning i blandade medier. Version 1.2:s positionering är mjukvaruarbete, och dess lanseringsmaterial är en kodningsagent. Den multimodala ytan har inte tagits bort, men den är inte längre vad Meta optimerar eller annonserar, och ingen utanför Meta har publicerat ett video- eller ljudresultat för 1.2.

Där Muse Code fortfarande är tunn.

Det är beta, och märkt som sådant. Ingenting om händelselogg-garantin har verifierats av någon utanför Meta.

Endast macOS och Linux. Windows-utvecklare använder WSL eller ingenting, vilket är en verklig begränsning för företagsflottor snarare än en olägenhet.

Endast terminal. Inget GUI, ingen IDE-integration och inga molnbaserade parallella agenter av det slag Codex redan erbjuder. Metas lanseringsmaterial nämner inte MCP-stöd.

Ingen publicerad metodik bakom något av benchmarkdiagrammen, och ingen oberoende utvärdering ännu av varken agenten eller Muse Spark 1.2:s kodningsdelpoäng. Artificial Analysis har ett sammansatt index för 1.2 men inte den uppdelning per benchmark av kodning och agentisk förmåga som den publicerar för 1.1 — och 1.1:s agentiska poäng var dess svagaste dimension med bred marginal, vilket gör det precis till det nummer som skulle avgöra denna release.

Meta är försenad. Claude Code och Codex har ett års vana, plugin-ekosystem och teamarbetsflöden uppbyggda runt dem. En kraschsäker händelselogg är ett bra skäl att prova något; det är inte i sig ett skäl att flytta ett team.

Frågor som folk faktiskt frågar

Är Muse Code gratis?

Nej, men det finns ingen prenumeration heller — till skillnad från Claude Code- och Codex-planerna som den konkurrerar med, fakturerar Muse Code enbart per token via Meta Model API:et. Kostnaden skalar därför med hur mycket repository-kontext dina sessioner skickar, inte med antal användare, vilket gynnar sporadiska storanvändare och missgynnar ständigt aktiva agenter. Contributor-nivån är nära nog gratis att priset inte är något verkligt hinder för att prova det.

Tränar bidragsnivån på min privata kod?

Metas villkor för den nivån är att datan får användas för att förbättra dess modeller, och en kodningsagents prompter innehåller din kod. Meta uppger att prompter på standardnivån inte används för att förbättra dess produkter; det är den nivån man ska använda för allt proprietärt. Behandla valet som ett datahanteringsbeslut med en tillhörande rabatt, inte en faktureringspreferens — och observera att rabatten gäller per token, så incitamentet att i tysthet nedgradera växer exakt i takt med din användning.

Kan jag använda Muse Spark 1.2 med Claude Code eller min egen agent?

Modellen är tillgänglig via Meta Model API oberoende av Muse Code, så ja, för allt som accepterar en anpassad slutpunkt. Vad du inte får är den samtränade kombination som Meta krediterar för sina benchmarkresultat, och den ärliga förväntningen är att en modell som körs utanför den testmiljö den trimmades med presterar under siffran i diagrammet. Om målet är att utvärdera modellen snarare än agenten, kör den mot Claude Opus 5 och GPT-5.6 Terra i din egen testmiljö och ignorera presentationen helt.

Vem bör installera det den här veckan

Om du kör långvariga autonoma jobb – migreringar, beroendeuppgraderingar i ett monorepo, eller vad som helst du i nuläget skulle sitta och passa eftersom agenten tappar bort sig – så är Muse Code värd en eftermiddag på en engångsklon. Händelseloggen och beständiga bakgrundsagenter är riktade precis mot den typen av fel, och benchmarkgapet är minst där uppgifterna varar längst.

Om du arbetar på en öppen källkods- eller icke-känslig kodbas och kostnad är din bindande begränsning, är contributor tier det mest intressanta numret på coding-agent-marknaden just nu, och 0,66 cent per steg är inget tryckfel.

Om du driver ett team på Claude Code eller Codex mot ett proprietärt repo, finns det ingenting här som tvingar fram ett byte ännu. Muse Code är tvåa eller trea på varje lista som dess egen leverantör valt, standardpriserna ligger i paritet med fältet snarare än under det, och differentieringen är en tillförlitlighetsegenskap som ingen utanför Meta har testat. Det man ska hålla ögonen på är inte nästa benchmark. Det är om händelseloggen håller när någon som inte arbetar på Meta kör tusen verktygsanrop genom den.

Jämförda i den här artikeln3

Identifierat från den här artikeln · Benchmarks: Artificial Analysis · uppdateras dagligen

© 2026 OrcaRouter

För leverantörer

Driver du en inferensplattform? Få dina modeller på OrcaRouter.

Kontakta oss

Gå med i vår community

DiscordEmailXGitHubYouTube