Obsidian 3: En dold benchmarkrad, en 3,6× räkning och Fable 5.5-frågan

Det mest intressanta numret på Cognitions nya kodningsto pplista den här veckan tillhör en modell som ingen kan namnge. En dold post märkt Obsidian 3 dök upp i datafilen bakom FrontierCode 2.0 med en high-effort-poäng på 46,77 %, över Claude Opus 5.5 på 45,5 % – den modell som Cognitions egen tabell listar först. Raden kördes i claude-code-harnesset, som bara Anthropics modeller använder på den leaderboarden, och spekulationerna delade sig omedelbart mellan Claude Fable 5.5, det flaggskepp som Anthropic inte har lanserat, och en mid-cycle-uppdatering som en person i ett inlägg kallade "Opus 5.6". Inget av detta är bekräftat. Anthropic har inte sagt något, det finns varken modellkort eller API-ID, och varje siffra för Obsidian 3 i den här artikeln är ett obekräftat påstående från X-inlägg snarare än ett resultat som vi kunde reproducera.

Det som går att kontrollera är snävare och mer användbart: den offentliga filen som läckan pekade på, ansträngningskurvan som tillskrivs den dolda raden och aritmetiken bakom påståendet om ”3,6× kostnad”. Lägger man samman dem upphör historien att vara ”Anthropics nästa modell slår företagets nuvarande”. Det blir något mer specifikt – en rad som toppar vid hög ansträngning och sedan går baklänges, en jämförelse som bara fungerar om man har olika ansträngningsnivåer på vardera sidan, och en datafil som inte innehåller raden alls.

Vad läckte, och när

Cognition publicerade FrontierCode 2.0 den 27 oktober. Benchmarken är avsiktligt svår att manipulera: 132 uppgifter byggda från verkliga öppna källkodsarkiv av fler än 20 projektunderhållare, där varje uppgift tar ungefär 40 timmar, och bedöms utifrån om en patch faktiskt skulle mergas snarare än om den klarar ett test. Varje körning upprepas tre gånger, uppgifterna är privata, och ett enda misslyckat blockerande kriterium ger noll poäng. Cognitions egen tabell placerade Claude Opus 5.5 först på 45,5 % vid maximal ansträngning, GPT-6 Astra tvåa på 42,8 %, Claude Sonnet 5.5 trea på 41,0 %, och ingen modell över 50 %. Artificial Analysis antog benchmarken som 15 % av sitt nya Intelligence Index v5 och rapporterade oberoende samma ledare, Claude Opus 5.5 på 46 % när det avrundades.

Den kvällen, klockan 21:10 UTC den 27 oktober, skrev @tensorson att Cognitions datafil innehöll en modell som tabellen inte visade: "Obsidian 3", på 46,8 %, "över #1 Opus 5.5 (45,5 %)." Inlägget nämnde claude-code-harnessen och gissade på Fable 5.5. Tolv timmar senare listade en tråd på linux.do fem separata effort-poäng för raden – low 39,19 %, medium 39,84 %, high 46,77 %, xHigh 45,90 %, max 45,53 % – och bifogade en kopia av datan. Klockan 09:12 UTC den 28 oktober postade @teortaxesTex ett citat med kostnadssiffrorna: Opus 5.5 på high får 34,5 % för $2,42 per rollout, Opus 5.5 på max får 45,5 % för $12,82, och Obsidian 3 på high får 46,7 % "uppenbarligen för $8,62", utan att nå längre ens vid $47 för max. "Är FrontierCode redan trasigt?" frågade inlägget. "Eller är Fable 5.5 en flopp?" Klockan 16:18 UTC förstärkte @CodexResets1 samma siffror och frågade om modellen var Fable 5.5 eller Opus 5.6.

Filens Last-Modified-huvud anger 17:44 UTC den 28 oktober. Versionen vi hämtade en dag senare är 32 055 byte, listar 24 modeller och innehåller ingen rad med namnet Obsidian 3 någonstans i sin struktur. En cache-bustad begäran returnerade samma filhash. Den officiella resultattabellen visade aldrig raden, BenchLMs 20-radiga spegel visade den inte heller, och Anthropic har inte publicerat något.

En rad, fem ansträngningsnivåer, tre olika berättelser

Den publicerade hälften av den här jämförelsen är solid, eftersom den kommer direkt från Cognitions nedladdningsbara data. Claude Opus 5.5:s mergebarhetsjusterade poäng stiger vid varje steg: 14,7 % vid låg, 30,1 % vid medium, 34,5 % vid hög, 43,4 % vid xHigh och 45,5 % vid max. Dess genomsnittliga uppgiftskostnad stiger från 2,42 $ vid hög till 12,82 $ vid max. Det är kurvan för en modell som blir bättre när man betalar den för att tänka längre.

Den påstådda Obsidian 3-kurvan beter sig inte så:

• Låg ansträngning — 39,19 % uppgivet, redan över Claude Opus 5.5:s höga ansträngning på 34,5 %.

• Medelhög insats – 39,84 % enligt uppgift, en ökning med 0,65 punkter.

• Hög ansträngning — 46,77 % uppgivet, toppen, till ett uppgivet pris av 8,62 USD per uppgift.

• xHigh-ansträngning — 45,90 % uppgivet, ned 0,87 poäng.

• Maximal ansträngning – 45,53 % uppgivet, ned ytterligare 0,37, till en uppgiven kostnad på nära 47 $.

Fem inställningar för ansträngningsnivå, och den bästa poängen kommer på tredje plats. Att lägga ungefär 5,5 gånger budgeten för hög ansträngning för att nå max ger ett resultat som är 1,24 poäng lägre. Cognition varnar självt för att detta kan inträffa: högre resonemangsinställningar sänker ibland poängen eftersom modeller skriver mer kod och rör fler filer, och benchmarkens egna exempel innehåller en max-ansträngningskörning som raderade en offentlig API-klass medan den fixade ett race condition. Men storleken på fallet spelar roll. En modell som stannar på toppen är en tidig checkpoint eller en destillationsartefakt långt oftare än en färdig flaggskeppsmodell.

Nu jämförelserna, eftersom rubriken helt och hållet beror på vilken du väljer:

• Bäst mot bäst — Obsidian 3:s 46,77 % vid high mot Claude Opus 5.5:s 45,5 % vid max är +1,32 punkter, till $8,62 mot $12,82, eller cirka 33 % billigare. Enligt denna tolkning vinner den dolda raden på båda axlarna.

• Hög mot hög — 46,77 % mot 34,5 % är +12,24 punkter, till $8,62 mot $2,42, eller 3,56× kostnaden. Enligt denna tolkning är det en stor kvalitetsvinst till ett stort pris.

Max mot max – 45,53 % mot 45,45 % är +0,08 punkter, till ungefär 47 $ mot 12,82 $, eller 3,67× kostnaden. Enligt denna tolkning är det oavgjort till ett ruinerande pris.

Alla tre är aritmetiskt sanna. Det är därför X-tråden argumenterade förbi sig själv: @tensorson jämförde high med max och kallade det en seger på 1,3 poäng; @teortaxesTex jämförde high med high och frågade om benchmarken var trasig. Siffran "3,6× kostnad vid samma insats" är korrekt, och det är även "billigare än Opus 5.5:s bästa körning" — de beskriver olika par av körningar.

Det finns ett större förbehåll under allt detta. Cognitions data lagrar två siffror per körning: en rå andel korrekta svar och ett resultat justerat för sammanslagningsbarhet. Det publicerade värdet 45,5 % för Claude Opus 5.5 är den justerade siffran; dess råa andel korrekta svar är 49,7 % vid max och 37,9 % vid high. Justeringen kostar de offentliga Claude-raderna tre till fyra punkter. Vi vet inte vilken kolumn de läckta siffrorna för Obsidian 3 kom från. Om 46,77 % är en rå andel korrekta svar skulle det justerade resultatet landa nära 43 % – under Claude Opus 5.5 – och hela påståendet om att ligga ovanför #1 försvinner. Det enda okända är större än marginalen på 1,3 punkter som alla argumenterade om.

Varför etiketten claude-code är hela argumentet för Anthropic

Ett harness är byggnadsställning, inte ett fingeravtryck. FrontierCode kör varje modell i en agentloop, och datafilen mappar modeller till den loop de använde: OpenAI:s rader körs i codex, Googles i devin-cli, xAI:s i grok-build, Metas Muse Wonder i muse, Cognitions egna SWE-modeller i devin-cli-swe1 och alla sex Claude-rader i claude-code. En anonym rad i Claude-harnesset är en stark antydan om att modellen bakom den byggdes för att fungera med Anthropics verktyg. Det är inte ett bevis på att Anthropic byggde den. En benchmark-operatör kan testa en partners modell före lansering i vilket harness som helst som passar, och ett labb kan testa sin egen modell under ett embargo-namn.

Namnet i sig självt säger dig nästan ingenting. Anthropics offentliga utbud – kontrollerat mot deras egen modellöversikt den 29 oktober – är Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5 och Claude Haiku 5.5. Det finns ingen Fable 5.5, ingen Opus 5.6 och ingen produkt som heter Obsidian. "Obsidian 3" är ett kodnamn i ädelstensstil av det slag som labb använder internt, men det finns inget offentligt register att kontrollera det mot, och det avslutande "3":et motsvarar inte någon sekvens som Anthropic har lanserat.

Det lämnar tre tolkningar, och evidensen väljer inte mellan dem:

• En version på Fable-nivå. Claude Fable 5.1 är flaggskeppet för $10 / $50 för krävande resonemang, lanserat 1 september, och Fable-serien är den uppenbara luckan i det nuvarande sortimentet. Gissningen från @tensorson, och flera svar på inlägget, landade här eftersom kostnadsprofilen ser ut som en premiumnivå snarare än en värdenivå.

En Opus-uppdatering mitt i cykeln. @teortaxesTexs förhandsuppfattning är att "Obsidian 3 är Opus 5.6", med argumentet att Anthropic tidigare har släppt modeller mitt i cykeln med liten förbättring av resonemangsförmågan. Den platta toppen på den påstådda kurvan passar in i den bilden, men poängen för låg ansträngning – 39,19 % mot Claude Opus 5.5:s 14,7 % – ser ut som en annan träningskörning, inte en liten uppdatering.

• En destillationsartefakt eller en tidig checkpoint. @teortaxesTex:s andra hypotes, och den som kurvformen bäst stöder: stark vid låg och medelhög ansträngning, toppar vid hög, och försämras sedan när den får mer utrymme. En färdig frontier-modell bör inte bli sämre varje gång man ökar dess budget.

Vad tidpunkten för IPO:n tillför – och vad den inte tillför

Signalen som startade den här tråden var en fråga om timing: varför har inte Fable lanserats före IPO:n? Anthropic offentliggjorde sin S-1 den 26 oktober, dagen innan FrontierCode 2.0 lanserades, för en beräknad emission på 75 miljarder dollar på Nasdaq under tickern ANT. Roadshowen väntas under veckan som börjar den 9 november och prissättningen under veckan som börjar den 16 november, enligt Renaissance Capital. Ett nästa flaggskepp som lanseras före prissättningen skulle ge noteringen en produktberättelse; ett som lanseras efter ger den en vägkarteperättelse.

Men en dold benchmarkrad är inte en lanseringssignal. Labb testar modeller före lansering med benchmarkoperatörer rutinmässigt, vanligtvis under embargo, och operatörens uppgift är att hålla modellen anonym tills leverantören säger annat. Om Cognition testade en Anthropic-version är den korrekta tolkningen att Anthropic fortfarande itererar – inte att en lansering är några dagar bort. Den enda officiella datapunkten är fortfarande Anthropics dokumentation, som listar fyra aktuella modeller och ingen av dem är Obsidian. Börsnoteringen förklarar varför folk följer Fable-nivån så noga. Det gör inte raden verklig.

Vad en läsare faktiskt kan göra i dag

Inget med Obsidian 3 går att anropa, är prissatt eller dokumenterat, så det ändrar inget beslut den här veckan. Om du behöver den bästa mergebarhetspoängen som finns nu är Claude Opus 5.5 allmänt tillgänglig: $4 för indata och $20 för utdata per miljon token, ett kontextfönster på 1 miljon token, maximalt 128K utdata, API-ID claude-opus-5-5, släppt den 22 september. Om kostnaden är begränsningen uppnådde GPT-6.1 Sol 39,0 % till en kostnad av cirka 1,03 USD per uppgift på samma resultattavla – en långt bättre poäng-per-dollar-affär än någon av Claude-körningarna, och siffran som är värd att kontrollera innan du antar att toppen av tabellen är den enda användbara raden.

Claude Opus 5.5 är dirigerbar via OrcaRouter till Anthropics listpris utan påslag, tillsammans med över 200 andra modeller på ett och samma API med automatisk failover. Det spelar roll för det enda experiment som den här läckan faktiskt inbjuder till: kör Claude Opus 5.5 på hög och på max på din egen arbetsbelastning och mät kostnaden per accepterad patch. FrontierCodes egen kurva säger att de två sista effort-stegen kostar 10,40 dollar mer per uppgift för 11 poäng; ditt repo kanske inte prissätter det på samma sätt. Effort-inställningen och priset per token är Anthropics egna, vidarebefordrade, så jämförelsen är en parameterändring snarare än ett andra avtal – och om Anthropic sänker listpriset är sänkningen live på rutten samma dag.

Vad skulle göra Obsidian 3 till ett faktum?

• Raden returneras i en nedladdningsbar datafil, med en modellnyckel och alla fem ansträngningsposter, så att siffrorna kan läsas utan en skärmbild.

• Cognition säger om det testade en modell före lansering, och under vilka villkor. En benchmarkoperatör som bekräftar en embargoerad körning skulle avgöra härkomsten utan att namnge leverantören.

Anthropic publicerar ett modellkort, ett API-ID eller en dokumentationspost. Det är den enda händelsen som förvandlar en benchmarkrad till en produkt.

• Ett pris visas. En modell utan pris är en jämförelsepost, inte ett alternativ som läsaren kan välja.

• En andra operatör mäter det. Artificial Analysis kör sin egen FrontierCode 2.0-harness med andra yttre inställningar; en Obsidian-rad där skulle vara en bekräftelse snarare än en återpublicering av samma skärmbild.

Raden är ett kvitto, inte en lansering. Det den kvitterar ut är mer intressant än rubriken: en modell som är stark vid låg ansträngning, toppar vid hög och sedan förbrukar fem gånger budgeten för att bli sämre. Om den kurvan tillhör Anthropics nästa flaggskepp har företaget ett problem med resonemangsskalning att lösa innan det har en lansering. Om den tillhör en tidig checkpoint kommer siffran att ändras innan namnet gör det. Hur som helst är 46,8 inte siffran att bevaka. Siffran att bevaka är huruvida kurvan någonsin blir monoton.

Vanliga frågor

Har Obsidian 3 släppts?

Nej. Ingen modell som heter Obsidian 3 förekommer i Anthropics dokumentation eller i Cognitions publicerade FrontierCode 2.0-tabell, och vi hittade ingen API-katalog som listar den. Det enda beviset är en dold rad som rapporterats i X-inlägg den 27 och 28 oktober och en forumtråd som återgav fem effort-poäng. Anthropic har inte kommenterat, och den offentliga datafil vi laddade ner den 29 oktober innehåller inte raden.

Är Obsidian 3 Claude Fable 5.5 eller Claude Opus 5.6?

Okänt. Båda är gissningar utifrån etiketten i claude-code-ramverket, inte från någon identifierare. Fable 5.5 passar in i den tomma platsen ovanför Claude Fable 5.1 i Anthropics sortiment; Opus 5.6 passar in i teorin att Anthropic släpper mindre givande uppdateringar mitt i cykeln. Inget av namnen förekommer i Anthropics dokumentation, och kostnadsprofilen stämmer bättre överens med en premiumnivå för Fable än med en värdeorienterad Opus-nivå.

Varför saknas Obsidian 3 i FrontierCode 2.0 nu?

Vi kan inte bekräfta varför. Filen som länkades i det ursprungliga inlägget ändrades senast 17:44 UTC den 28 oktober, och kopian vi laddade ner den 29 oktober listar 24 modeller utan någon Obsidian 3-post. Den kan ha tagits bort efter att inläggen cirkulerade, eller så kan den offentliga versionen aldrig ha innehållit den. X-inläggen och forumarkivet är den enda dokumentation vi kunde hitta, och ingen av dem kommer från en förstahandskälla.

Håller kostnadspåståendet på 3,6×?

Aritmetiken stämmer, om man jämför med Cognitions publicerade kostnader för Claude Opus 5.5: $8,62 är 3,56× körningen med hög insats på $2,42 och cirka 3,67× maxkörningen på $12,82 jämfört med den ungefärliga maxsiffran på $47. Det som inte går att kontrollera är Obsidian 3-sidan av liggaren, eftersom dess kostnadssiffror bara finns i X-inlägg, inte i någon nedladdningsbar fil.