Obsidian 3: Een verborgen benchmarkrij, een 3,6× rekening en de Fable 5.5-vraag

Het interessantste getal op het nieuwe codeerleaderboard van Cognition deze week is van een model dat niemand bij naam kan noemen. Een verborgen vermelding met het label Obsidian 3 verscheen in het databestand achter FrontierCode 2.0 met een high-effortscore van 46,77%, boven Claude Opus 5.5 met 45,5% — het model dat de eigen tabel van Cognition als eerste vermeldt. De rij liep in de claude-code-harnass, die op dat leaderboard alleen door de modellen van Anthropic wordt gebruikt, en de speculatie splitste zich onmiddellijk tussen Claude Fable 5.5, het vlaggenschip dat Anthropic nog niet heeft uitgebracht, en een mid-cycle refresh die een poster "Opus 5.6" noemde. Niets daarvan is bevestigd. Anthropic heeft niets gezegd, er bestaat geen modelcard of API-ID, en elk cijfer over Obsidian 3 in dit stuk is een niet-geverifieerde bewering uit X-posts, geen resultaat dat we konden reproduceren.

Wat gecontroleerd kan worden, is beperkter en nuttiger: het openbare bestand waarnaar de leak verwees, de effortcurve die aan de verborgen rij wordt toegeschreven, en de berekening achter de bewering over ‘3,6× kosten’. Als je die samenvoegt, is het verhaal niet langer ‘Het volgende model van Anthropic verslaat zijn huidige model.’ Het wordt iets specifieker: een rij die piekt bij hoge effort en daarna achteruitgaat, een vergelijking die alleen werkt als je aan elke kant andere effortniveaus aanhoudt, en een databestand dat de rij helemaal niet bevat.

Wat is er uitgelekt, en wanneer?

Cognition publiceerde op 27 oktober FrontierCode 2.0. De benchmark is bewust moeilijk te manipuleren: 132 taken, opgesteld uit echte open-source repositories door meer dan 20 maintainers, die elk ongeveer 40 uur in beslag nemen en worden beoordeeld op de vraag of een patch daadwerkelijk zou worden gemerged, niet op de vraag of hij een test doorstaat. Elke run wordt drie keer herhaald, de taken zijn privé, en één niet-voldaan blokkerend criterium levert een score van nul op. Cognition's eigen tabel plaatste Claude Opus 5.5 op de eerste plaats met 45,5% bij maximale inzet, GPT-6 Astra tweede met 42,8%, Claude Sonnet 5.5 derde met 41,0%, en geen enkel model boven 50%. Artificial Analysis nam de benchmark op met een gewicht van 15% in zijn nieuwe Intelligence Index v5 en meldde onafhankelijk dezelfde koploper: Claude Opus 5.5 met 46% na afronding.

Die avond, om 21:10 UTC op 27 oktober, postte @tensorson dat het databestand van Cognition een model bevatte dat de tabel niet toonde: "Obsidian 3," met 46,8%, "boven #1 Opus 5.5 (45,5%)." De post merkte de claude-code-harness op en raadde Fable 5.5. Twaalf uur later vermeldde een linux.do-thread vijf afzonderlijke effort-scores voor de rij — low 39,19%, medium 39,84%, high 46,77%, xHigh 45,90%, max 45,53% — en voegde een kopie van de data toe. Om 09:12 UTC op 28 oktober quote-postte @teortaxesTex met de kostencijfers: Opus 5.5 bij high scoort 34,5% voor $2,42 per rollout, Opus 5.5 bij max scoort 45,5% voor $12,82, en Obsidian 3 bij high scoort 46,7% "ogenschijnlijk voor $8,62", en komt zelfs bij $47 voor max niet verder. "Is FrontierCode nu al stuk?" vroeg de post. "Of is Fable 5.5 een flop?" Om 16:18 UTC versterkte @CodexResets1 dezelfde cijfers en vroeg of het model Fable 5.5 of Opus 5.6 was.

De Last-Modified-header van het bestand vermeldt 17:44 UTC op 28 oktober. De versie die we een dag later downloadden, is 32.055 bytes, vermeldt 24 modellen en bevat nergens in de structuur een rij met de naam Obsidian 3. Een aanvraag die de cache omzeilt, gaf dezelfde bestandshash terug. De officiële leaderboardtabel toonde de rij nooit, de 20-rijige mirror van BenchLM toonde die ook niet, en Anthropic heeft niets gepubliceerd.

Eén rij, vijf inspanningsniveaus, drie verschillende verhalen

De gepubliceerde helft van deze vergelijking is solide, want die komt rechtstreeks uit Cognition's downloadbare data. Claude Opus 5.5's mergeability-gecorrigeerde score stijgt bij elke stap: 14,7% bij laag, 30,1% bij midden, 34,5% bij hoog, 43,4% bij xHigh, en 45,5% bij max. De gemiddelde taakkosten stijgen van $2,42 bij hoog naar $12,82 bij max. Dat is de curve van een model dat beter wordt wanneer je betaalt om langer te denken.

De beweerde Obsidian 3-curve gedraagt zich niet zo:

• Lage inspanning — 39,19% geclaimd, al boven de hoge inspanning van Claude Opus 5.5 met 34,5%.

• Gemiddelde inspanning — 39,84% geclaimd, een winst van 0,65 punten.

• Hoge inspanning — 46,77% geclaimd, de piek, bij een geclaimde $8,62 per taak.

• xHigh effort — 45,90% geclaimd, 0,87 punten gedaald.

• Maximale inspanning — 45,53% geclaimd, nog eens 0,37 gedaald, tegen een geclaimde kostprijs van bijna $47.

Vijf inspanningsinstellingen, en de beste score staat op de derde plaats. Ongeveer 5,5× het high-effort-budget uitgeven om max te bereiken, levert een score op die 1,24 punten lager is. Cognition zelf waarschuwt dat dit kan gebeuren: hogere reasoning-instellingen verlagen soms de scores omdat modellen meer code schrijven en meer bestanden wijzigen, en de eigen voorbeelden van de benchmark bevatten een max-effort-run die een openbare API-klasse verwijderde tijdens het oplossen van een race condition. Maar de grootte van de daling is belangrijk. Een model dat aan de top stokt, is veel vaker een vroeg checkpoint of een distillatie-artefact dan een voltooid vlaggenschipmodel.

Nu de vergelijkingen, want de kop hangt volledig af van welke je kiest:

• Best tegen best — Obsidian 3's 46,77% op high tegenover Claude Opus 5.5's 45,5% op max is +1,32 punt, bij $8,62 tegenover $12,82, ofwel ongeveer 33% goedkoper. Zo gelezen wint de verborgen rij op beide assen.

• Hoog versus hoog — 46,77% tegen 34,5% is +12,24 punten, voor $8,62 tegen $2,42, of 3,56× de kosten. Zo gelezen is het een grote kwaliteitswinst tegen een hoge prijs.

• Max versus max — 45,53% tegen 45,45% is +0,08 punten, bij ongeveer $47 tegen $12,82, of 3,67× de kosten. Zo gelezen is het een gelijkspel tegen een rampzalige prijs.

Alle drie zijn rekenkundig waar. Daarom spraken de deelnemers aan de X-thread elkaar voorbij: @tensorson vergeleek high met max en noemde het een overwinning van 1,3 punt; @teortaxesTex vergeleek high met high en vroeg of de benchmark stuk was. Het cijfer "3.6× kosten bij dezelfde inspanning" is juist, en dat geldt ook voor "goedkoper dan de beste run van Opus 5.5" — ze beschrijven verschillende paren runs.

Daaronder zit een groter voorbehoud. Cognition slaat per run twee getallen op: een ruwe correctheidsratio en een op mergeability gecorrigeerde score. De gepubliceerde 45,5% voor Claude Opus 5.5 is het gecorrigeerde cijfer; zijn ruwe correctheidsratio op max is 49,7%, en op high is die 37,9%. De correctie kost de publieke Claude-rijen drie tot vier punten. We weten niet uit welke kolom de uitgelekte cijfers van Obsidian 3 komen. Als 46,77% een ruwe correctheidsratio is, zou zijn gecorrigeerde score rond 43% liggen — onder Claude Opus 5.5 — en verdwijnt de hele claim "boven #1". Die ene onbekende is groter dan de 1,3-puntsmarge waar iedereen over discussieerde.

Waarom het claude-code-label het volledige argument voor Anthropic is

Een harness is steigerwerk, geen vingerafdruk. FrontierCode draait elk model binnen een agent-loop, en het databestand koppelt modellen aan de loop die ze gebruikten: OpenAI's rijen draaien in codex, die van Google in devin-cli, die van xAI in grok-build, Meta's Muse Wonder in muse, Cognition's eigen SWE-modellen in devin-cli-swe1, en alle zes Claude-rijen in claude-code. Een anonieme rij in de Claude-harness is een sterk signaal dat het model erachter is gebouwd om met de tooling van Anthropic te werken. Het is geen bewijs dat Anthropic het heeft gebouwd. Een benchmarkoperator kan het nog niet uitgebrachte model van een partner testen in welke harness dan ook die daarvoor geschikt is, en een lab kan zijn eigen model testen onder een embargo-naam.

De naam zelf zegt je bijna niets. De openbare line-up van Anthropic — gecontroleerd aan de hand van het eigen modellenoverzicht op 29 oktober — is Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5 en Claude Haiku 5.5. Er is geen Fable 5.5, geen Opus 5.6 en geen product dat Obsidian heet. "Obsidian 3" is een codenaam in de stijl van een edelsteen, zoals labs die intern gebruiken, maar er is geen openbaar register om hem mee te vergelijken, en de "3" aan het einde komt niet overeen met een reeks die Anthropic heeft uitgebracht.

Dat laat drie lezingen over, en het bewijs kiest er niet tussen:

• Een build op Fable-niveau. Claude Fable 5.1 is het $10 / $50-vlaggenschip voor veeleisend redeneren, gelanceerd op 1 september, en de Fable-lijn is de voor de hand liggende leemte in het huidige aanbod. De gok van @tensorson, en meerdere reacties op de post, kwamen hier terecht omdat het kostenprofiel er meer als een premiumniveau dan als een voordelig niveau uitziet.

• Een Opus-refresh midden in de cyclus. @teortaxesTex gaat ervan uit dat "Obsidian 3 gelijk is aan Opus 5.6", met het argument dat Anthropic eerder modellen midden in de cyclus heeft uitgebracht met weinig redeneerwinst. De vlakke top van de geclaimde curve past bij dat verhaal, maar de scores bij lage inspanning — 39,19% tegen 14,7% voor Claude Opus 5.5 — zien eruit als een andere trainingsrun, niet als een kleine refresh.

• Een distillatie-artefact of een vroeg checkpoint. De andere hypothese van @teortaxesTex, en degene die de vorm van de curve het beste ondersteunt: sterk bij lage en gemiddelde inspanning, piekt bij hoge, en gaat daarna achteruit wanneer er meer ruimte wordt gegeven. Een voltooid frontier model zou niet slechter moeten worden telkens wanneer je het budget verhoogt.

Wat de timing van de IPO toevoegt — en wat niet.

Het signaal dat deze thread startte, was een vraag over timing: waarom is Fable niet vóór de IPO uitgebracht? Anthropic heeft op 26 oktober openbaar zijn S-1 ingediend, een dag voordat FrontierCode 2.0 werd gelanceerd, voor een geschatte opbrengst van $75 miljard op Nasdaq onder ticker ANT. De roadshow wordt verwacht in de week van 9 november en de prijsstelling in de week van 16 november, volgens Renaissance Capital. Een volgende flagship die vóór de prijsstelling verschijnt, zou de notering een productverhaal geven; een die daarna verschijnt, geeft haar een routekaartverhaal.

Maar een verborgen benchmarkrij is geen lanceringssignaal. Labs testen modellen vóór hun release routinematig met benchmarkoperators, meestal onder embargo, en het is de taak van de operator om het model anoniem te houden tot de leverancier anders aangeeft. Als Cognition een Anthropic-build heeft getest, is de juiste lezing dat Anthropic nog steeds itereert — niet dat een release binnen enkele dagen voor de deur staat. Het enige officiële gegeven blijft de documentatie van Anthropic, die vier actuele modellen vermeldt en geen daarvan is Obsidian. De IPO verklaart waarom mensen de Fable-tier zo nauwlettend volgen. Het maakt de rij niet echt.

Wat een lezer vandaag de dag echt kan doen

Aan Obsidian 3 is niets aanroepbaar, geprijsd of gedocumenteerd, dus het verandert deze week geen enkele beslissing. Als je nu de beste beschikbare mergeability-score nodig heb, is Claude Opus 5.5 beschikbaar: $4 voor input en $20 voor output per miljoen tokens, een contextvenster van 1M tokens, maximaal 128K output, API-ID claude-opus-5-5, uitgebracht op 22 september. Als kosten de beperking zijn, scoorde GPT-6.1 Sol 39,0% bij ongeveer $1,03 per taak op hetzelfde board — een veel betere score-per-dollar-verhouding dan beide Claude-runs, en het getal dat je moet checken voordat je aanneemt dat de bovenkant van de tabel de enige nuttige rij is.

Claude Opus 5.5 is routeerbaar via OrcaRouter tegen de lijstprijs van Anthropic, zonder opslag, naast meer dan 200 andere modellen op één API met automatische failover. Dat is van belang voor het ene experiment waar deze leak eigenlijk toe uitnodigt: voer Claude Opus 5.5 uit op high en op max op je eigen workload en meet de kosten per geaccepteerde patch. FrontierCode's eigen curve zegt dat de laatste twee effort-stappen $10,40 meer per taak kosten voor 11 punten; je repository prijst dat mogelijk niet op dezelfde manier. De effort-instelling en de prijs per token zijn die van Anthropic zelf, doorgegeven, dus de vergelijking is een parameterwijziging, geen tweede contract — en als Anthropic de lijstprijs verlaagt, is die verlaging dezelfde dag live op de route.

Wat zou van Obsidian 3 een feit maken?

• De rij komt terug in een downloadbaar gegevensbestand, met een modelsleutel en alle vijf inspanningswaarden, zodat de getallen zonder schermafbeelding gelezen kunnen worden.

• Cognition geeft aan of het een pre-releasemodel heeft getest, en onder welke regeling. Een benchmarkoperator die een run onder embargo bevestigt, zou de herkomst duidelijk maken zonder de leverancier te noemen.

Anthropic publiceert een modelkaart, een API-ID of een documentatie-vermelding. Dat is het enige moment waarop een benchmarkrij een product wordt.

• Er verschijnt een prijs. Een model zonder prijs is een benchmark-item, geen optie die een lezer kan kiezen.

• Een tweede operator meet het. Artificial Analysis voert zijn eigen FrontierCode 2.0-testharnas uit met andere externe instellingen; een Obsidian-rij daar zou eerder een bevestiging zijn dan een herpost van dezelfde screenshot.

De rij is een ontvangstbewijs, geen release. Wat eruit valt af te lezen, is interessanter dan de kop: een model dat sterk is bij lage inspanning, piekt bij hoge en vervolgens vijfmaal het budget besteedt om slechter te worden. Als die curve toebehoort aan Anthropics volgende flagship, heeft het bedrijf een probleem met het opschalen van redeneren op te lossen voordat het kan lanceren. Als die bij een vroege checkpoint hoort, zal het cijfer veranderen voordat de naam dat doet. Hoe dan ook, 46,8 is niet het cijfer om in de gaten te houden. Het cijfer om in de gaten te houden is of de curve ooit monotoon wordt.

Veelgestelde vragen

Is Obsidian 3 al uitgebracht?

Nee. Er staat geen model met de naam Obsidian 3 in de documentatie van Anthropic of in de gepubliceerde FrontierCode 2.0-tabel van Cognition, en we vonden geen API-catalogus die het vermeldt. Het enige bewijs is een verborgen rij die wordt gemeld in X-posts op 27 en 28 oktober en een forumthread die vijf effort-scores reproduceerde. Anthropic heeft geen commentaar gegeven, en het openbare databestand dat we op 29 oktober hebben gedownload, bevat de rij niet.

Is Obsidian 3 Claude Fable 5.5 of Claude Opus 5.6?

Onbekend. Beide zijn gissingen op basis van het claude-code-harnesslabel, niet op basis van een identificatie. Fable 5.5 past in de lege plek boven Claude Fable 5.1 in Anthropic's line-up; Opus 5.6 past bij de theorie dat Anthropic tussentijdse refreshes met geringe verbetering uitbrengt. Geen van beide namen komt voor in Anthropic's documentatie, en het kostenprofiel past beter bij een premium Fable-tier dan bij een value-Opus-tier.

Waarom ontbreekt Obsidian 3 nu in FrontierCode 2.0?

We kunnen niet bevestigen waarom. Het bestand dat in de oorspronkelijke post is gelinkt, is laatst gewijzigd op 28 oktober om 17:44 UTC, en de kopie die we op 29 oktober hebben gedownload, vermeldt 24 modellen zonder vermelding van Obsidian 3. Mogelijk is het verwijderd nadat de posts de ronde deden, of heeft de publieke build het nooit bevat. De X-posts en het forumarchief zijn de enige gegevens die we konden vinden, en geen van beide is first-party.

Klopt de claim over 3,6× kosten?

De rekensom klopt, afgezet tegen de door Cognition gepubliceerde kosten voor Claude Opus 5.5: $8,62 is 3,56× de high-effort-run van $2,42 en ongeveer 3,67× de max-run van $12,82 in vergelijking met het maximumbedrag van ongeveer $47. Wat niet kan worden gecontroleerd, is de Obsidian 3-kant van het grootboek, omdat de kostencijfers daarvan alleen in berichten op X bestaan, niet in een downloadbaar bestand.