Obsidian 3: Eine versteckte Benchmark-Zeile, eine 3,6-fache Rechnung und die Frage nach Fable 5.5

Die interessanteste Zahl auf dem neuen Coding-Leaderboard von Cognition gehört diese Woche zu einem Modell, das niemand aufrufen kann. Ein versteckter Eintrag mit der Bezeichnung Obsidian 3 erschien in der Datendatei hinter FrontierCode 2.0 mit einem High-Effort-Score von 46,77 % – über Claude Opus 5.5 mit 45,5 %, dem Modell, das Cognitions eigene Tabelle an erster Stelle führt. Die Zeile lief im claude-code-Harness, den auf diesem Board allein die Modelle von Anthropic verwenden, und die Spekulationen teilten sich sofort auf zwischen Claude Fable 5.5, dem Flaggschiff, das Anthropic noch nicht ausgeliefert hat, und einer Mid-Cycle-Auffrischung, die ein Poster „Opus 5.6“ nannte. Nichts davon ist bestätigt. Anthropic hat sich nicht geäußert, es gibt weder Model Card noch API-ID, und jede Obsidian 3 betreffende Zahl in diesem Artikel ist eine unbestätigte Behauptung aus X-Posts und kein Ergebnis, das wir reproduzieren konnten.

Was sich überprüfen lässt, ist enger und nützlicher: die öffentliche Datei, auf die der Leak verwies, die der verborgenen Zeile zugeschriebene Aufwandskurve und die Arithmetik hinter der Behauptung „3,6× Kosten“. Setzt man diese zusammen, hört die Geschichte auf, „Anthropics nächstes Modell schlägt sein aktuelles“ zu sein. Sie wird etwas Spezifischeres – eine Zeile, die bei hohem Aufwand ihren Höhepunkt erreicht und dann rückwärts geht, ein Vergleich, der nur funktioniert, wenn man auf jeder Seite unterschiedliche Aufwandsniveaus ansetzt, und eine Datendatei, die die Zeile überhaupt nicht enthält.

Was ist durchgesickert, und wann?

Cognition veröffentlichte FrontierCode 2.0 am 27. Oktober. Der Benchmark ist bewusst schwer zu manipulieren: 132 Aufgaben, die aus echten Open-Source-Repositories von mehr als 20 Maintainern erstellt wurden und jeweils etwa 40 Stunden in Anspruch nahmen, bewertet danach, ob ein Patch tatsächlich gemergt würde, statt danach, ob er einen Test besteht. Jeder Lauf wird dreimal wiederholt, die Aufgaben sind privat, und ein einziges nicht erfülltes blockierendes Kriterium ergibt null Punkte. Cognitions eigene Tabelle setzte Claude Opus 5.5 mit 45,5 % bei maximalem Aufwand auf Platz eins, GPT-6 Astra mit 42,8 % auf Platz zwei, Claude Sonnet 5.5 mit 41,0 % auf Platz drei, und kein Modell lag über 50 %. Artificial Analysis übernahm den Benchmark mit 15 % Gewicht in seinem neuen Intelligence Index v5 und meldete unabhängig denselben Spitzenreiter: Claude Opus 5.5 mit gerundet 46 %.

An jenem Abend, um 21:10 UTC am 27. Oktober, postete @tensorson, dass die Datendatei von Cognition ein Modell enthalte, das die Tabelle nicht zeige: „Obsidian 3" mit 46,8 %, „über #1 Opus 5.5 (45,5 %)". Der Beitrag erwähnte das claude-code-Harness und vermutete Fable 5.5. Zwölf Stunden später listete ein linux.do-Thread fünf separate Effort-Werte für die Zeile auf — low 39,19 %, medium 39,84 %, high 46,77 %, xHigh 45,90 %, max 45,53 % — und fügte eine Kopie der Daten bei. Um 09:12 UTC am 28. Oktober zitierte @teortaxesTex den Beitrag mit den Kostenzahlen: Opus 5.5 bei high erzielt 34,5 % für 2,42 $ pro Rollout, Opus 5.5 bei max erzielt 45,5 % für 12,82 $, und Obsidian 3 bei high erzielt 46,7 % „anscheinend für 8,62 $", wobei es selbst bei 47 $ für max nicht weiter kam. „Ist FrontierCode schon kaputt?", fragte der Beitrag. „Oder ist Fable 5.5 ein Flop?" Um 16:18 UTC griff @CodexResets1 dieselben Zahlen auf und fragte, ob das Modell Fable 5.5 oder Opus 5.6 sei.

Der Last-Modified-Header der Datei lautet 17:44 UTC am 28. Oktober. Die Version, die wir einen Tag später heruntergeladen haben, ist 32.055 Bytes groß, listet 24 Modelle auf und enthält in ihrer Struktur nirgends eine Zeile namens Obsidian 3. Eine Anfrage mit Cache-Busting lieferte denselben Datei-Hash. Die offizielle Leaderboard-Tabelle zeigte die Zeile nie, BenchLMs 20-zeilige Spiegelung zeigte sie ebenfalls nicht, und Anthropic hat nichts veröffentlicht.

Eine Zeile, fünf Aufwandsstufen, drei verschiedene Geschichten

Die veröffentlichte Hälfte dieses Vergleichs ist solide, denn sie stammt direkt aus Cognition's herunterladbaren Daten. Der um die Mergeability bereinigte Score von Claude Opus 5.5 steigt bei jedem Schritt: 14,7 % bei low, 30,1 % bei medium, 34,5 % bei high, 43,4 % bei xHigh und 45,5 % bei max. Die durchschnittlichen Task-Kosten steigen von 2,42 $ bei high auf 12,82 $ bei max. Das ist die Kurve eines Modells, das besser wird, wenn man dafür bezahlt, dass es länger denkt.

Die behauptete Kurve von Obsidian 3 verhält sich nicht so:

• Geringer Aufwand — 39,19 % erreicht, bereits über dem Hochaufwands-Wert von 34,5 % bei Claude Opus 5.5.

• Mittlerer Aufwand — 39,84 % angegeben, ein Zuwachs von 0,65 Punkten.

• {{1}}Hoher Aufwand{{/1}} — 46,77 % angegeben, der Spitzenwert, bei angeblich 8,62 $ pro Aufgabe.

• xHigh-Aufwand — 45,90 % erzielt, 0,87 Punkte weniger.

• Maximaler Aufwand — angeblich 45,53 %, um weitere 0,37 gesunken, bei angeblich rund 47 $ Kosten.

Fünf Aufwandsstufen – und die beste Punktzahl steht an dritter Stelle. Für etwa das 5,5-Fache des High-Effort-Budgets, um das Maximum zu erreichen, erkauft man sich eine um 1,24 Punkte niedrigere Punktzahl. Cognition selbst warnt davor, dass dies passieren kann: Höhere Reasoning-Einstellungen senken die Punktzahlen manchmal, weil Modelle mehr Code schreiben und mehr Dateien anfassen, und die eigenen Beispiele des Benchmarks umfassen einen Lauf mit maximalem Aufwand, der beim Beheben einer Race Condition eine öffentliche API-Klasse löschte. Doch die Größe des Rückgangs zählt. Ein Modell, das an der Spitze stagniert, ist weitaus häufiger ein früher Checkpoint oder ein Destillationsartefakt als ein fertiges Flaggschiff.

Jetzt zu den Vergleichen, denn die Schlagzeile hängt ganz davon ab, für welche du dich entscheidest:

• Best gegen Best — Obsidian 3 mit 46,77 % bei „high“ gegenüber Claude Opus 5.5 mit 45,5 % bei „max“ sind +1,32 Punkte, bei 8,62 $ gegenüber 12,82 $, also rund 33 % günstiger. In dieser Lesart gewinnt die verborgene Zeile auf beiden Achsen.

• High gegen High — 46,77 % gegenüber 34,5 % sind +12,24 Punkte, bei 8,62 $ gegenüber 2,42 $, also das 3,56-Fache der Kosten. So gelesen ist es ein großer Qualitätsgewinn zu einem hohen Preis.

• Max gegenüber max — 45,53 % gegen 45,45 % sind +0,08 Punkte, bei rund 47 $ gegenüber 12,82 $, oder 3,67× die Kosten. So gelesen ist es ein Gleichstand zu einem ruinösen Preis.

Alle drei sind rechnerisch korrekt. Deshalb redete der X-Thread aneinander vorbei: @tensorson verglich high mit max und nannte es einen Sieg mit 1,3 Punkten; @teortaxesTex verglich high mit high und fragte, ob der Benchmark kaputt sei. Die Angabe „3,6× Kosten bei gleichem Aufwand“ ist korrekt, und „günstiger als der beste Lauf von Opus 5.5“ ebenfalls – sie beschreiben unterschiedliche Laufpaare.

Darunter steckt ein größerer Vorbehalt. Cognitions Daten speichern pro Durchlauf zwei Zahlen: eine rohe Korrektheitsrate und einen um die Mergeability bereinigten Score. Die veröffentlichten 45,5 % für Claude Opus 5.5 sind der bereinigte Wert; seine rohe Korrektheitsrate liegt bei max bei 49,7 % und bei high bei 37,9 %. Die Bereinigung kostet die öffentlichen Claude-Zeilen drei bis vier Punkte. Wir wissen nicht, aus welcher Spalte die durchgesickerten Obsidian-3-Zahlen stammen. Wenn 46,77 % eine rohe Korrektheitsrate ist, würde sein bereinigter Score bei etwa 43 % landen – unter Claude Opus 5.5 – und die gesamte Behauptung „über #1“ verschwindet. Dieses eine Unbekannte ist größer als der 1,3-Punkte-Abstand, über den alle gestritten haben.

Warum das claude-code-Label für Anthropic der gesamte Fall ist

Ein Harness ist Gerüst, kein Fingerabdruck. FrontierCode führt jedes Modell in einer Agent-Schleife aus, und die Datendatei ordnet Modelle der Schleife zu, die sie verwendet haben: OpenAIs Zeilen laufen in codex, Googles in devin-cli, xAIs in grok-build, Meta's Muse Wonder in muse, Cognition's eigene SWE-Modelle in devin-cli-swe1 und alle sechs Claude-Zeilen in claude-code. Eine anonyme Zeile im Claude-Harness ist ein starker Hinweis darauf, dass das dahinterstehende Modell für die Arbeit mit Anthropics Tooling gebaut wurde. Es ist kein Beweis dafür, dass Anthropic es gebaut hat. Ein Benchmark-Betreiber kann das Vorabmodell eines Partners in jedem passenden Harness testen, und ein Labor kann sein eigenes Modell unter einem embargoierten Namen testen.

Der Name selbst verrät so gut wie nichts. Anthropics öffentliche Produktpalette – abgeglichen mit der eigenen Modellübersicht am 29. Oktober – umfasst Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5 und Claude Haiku 5.5. Es gibt kein Fable 5.5, kein Opus 5.6 und kein Produkt namens Obsidian. „Obsidian 3“ ist ein Codename im Edelstein-Stil, wie ihn Labore intern verwenden, aber es gibt kein öffentliches Register, mit dem man ihn abgleichen könnte, und die angehängte „3“ lässt sich keiner von Anthropic ausgelieferten Sequenz zuordnen.

Damit bleiben drei Lesarten, und die Belege entscheiden nicht zwischen ihnen:

• Ein Build der Fable-Klasse. Claude Fable 5.1 ist das Flaggschiff für 10 $ / 50 $ für anspruchsvolle Denkaufgaben, gestartet am 1. September, und die Fable-Reihe ist die offensichtliche Lücke im aktuellen Lineup. @tensorsons Vermutung und mehrere Antworten auf den Beitrag landeten hier, weil das Kostenprofil eher nach einer Premium-Stufe als nach einer Value-Stufe aussieht.

• Ein Opus-Refresh mitten im Zyklus. Die Vorannahme von @teortaxesTex lautet, dass „Obsidian 3 Opus 5.6 ist“, mit dem Argument, dass Anthropic zuvor Modelle mitten im Zyklus mit kaum Reasoning-Zuwachs veröffentlicht hat. Das flache Oberende der behaupteten Kurve passt zu dieser Darstellung, doch die Low-Effort-Werte – 39,19 % gegenüber 14,7 % bei Claude Opus 5.5 – wirken wie ein anderer Trainingslauf, nicht wie ein kleiner Refresh.

• Ein Distillationsartefakt oder ein früher Checkpoint. @teortaxesTexs andere Hypothese – und diejenige, die die Form der Kurve am besten stützt: stark bei niedrigem und mittlerem Aufwand, mit einem Höhepunkt bei hohem Aufwand und danach rückläufig, wenn mehr Spielraum gegeben wird. Ein ausgereiftes Frontier-Modell sollte nicht jedes Mal schlechter werden, wenn man sein Budget erhöht.

Was der IPO-Zeitpunkt bringt – und was nicht.

Der Auslöser für diesen Thread war eine Frage zum Timing: Warum hat Fable nicht vor dem IPO sein Debüt gegeben? Anthropic hat am 26. Oktober öffentlich seine S-1 eingereicht, einen Tag bevor FrontierCode 2.0 startete, für eine auf rund 75 Milliarden Dollar geschätzte Kapitalaufnahme an der Nasdaq unter dem Ticker ANT. Die Roadshow wird laut Renaissance Capital für die Woche ab dem 9. November erwartet, die Preisbildung für die Woche ab dem 16. November. Ein nächstes Flaggschiff, das noch vor der Preisbildung erscheint, gäbe dem Börsengang eine Produktgeschichte; eines, das danach erscheint, gäbe ihm eine Roadmap-Geschichte.

Aber eine versteckte Benchmark-Zeile ist kein Markteinführungssignal. Labore testen Vorabmodelle routinemäßig mit Benchmark-Betreibern, meist unter Embargo, und es ist Aufgabe des Betreibers, das Modell anonym zu halten, bis der Anbieter etwas anderes sagt. Wenn Cognition einen Anthropic-Build getestet hat, ist die richtige Lesart, dass Anthropic noch iteriert – nicht, dass eine Veröffentlichung nur noch wenige Tage entfernt ist. Der einzige offizielle Datenpunkt bleibt Anthropics Dokumentation, die vier aktuelle Modelle auflistet, und keines davon ist Obsidian. Der IPO erklärt, warum alle die Fable-Ebene so genau beobachten. Er macht die Zeile nicht real.

Was ein Leser heute tatsächlich tun kann

Zu Obsidian 3 ist nichts aufrufbar, bepreist oder dokumentiert, daher ändert es diese Woche keine Entscheidung. Wenn du den derzeit besten verfügbaren Mergeability-Wert brauchst, ist Claude Opus 5.5 öffentlich verfügbar: 4 $ Eingabe und 20 $ Ausgabe pro Million Tokens, ein Kontextfenster von 1 Mio. Tokens, max. 128K Ausgabe, API-ID claude-opus-5-5, veröffentlicht am 22. September. Wenn die Kosten die Einschränkung sind, erzielte GPT-6.1 Sol 39,0 % bei rund 1,03 $ pro Aufgabe auf demselben Leaderboard – ein weit besserer Wert pro Dollar als bei einem der Claude-Läufe und die Zahl, die man prüfen sollte, bevor man annimmt, die Spitze der Tabelle sei die einzige nützliche Zeile.

Claude Opus 5.5 ist über OrcaRouter zum Listenpreis von Anthropic ohne Aufschlag routbar, zusammen mit mehr als 200 weiteren Modellen über eine einzige API mit automatischem Failover. Das ist entscheidend für das eine Experiment, zu dem dieser Leak tatsächlich einlädt: Lassen Sie Claude Opus 5.5 mit high und mit max auf Ihrem eigenen Workload laufen und messen Sie die Kosten pro akzeptiertem Patch. Die eigene Kurve von FrontierCode besagt, dass die letzten beiden Effort-Stufen 10,40 US-Dollar mehr pro Aufgabe für 11 Punkte kosten; Ihr Repository bepreist das möglicherweise nicht auf dieselbe Weise. Die Effort-Einstellung und der Preis pro Token stammen von Anthropic selbst und werden unverändert durchgereicht, sodass es sich beim Vergleich um eine Parameteränderung und nicht um einen zweiten Vertrag handelt — und wenn Anthropic den Listenpreis senkt, ist die Senkung am selben Tag auf der Route live.

Was würde Obsidian 3 zu einer Tatsache machen?

• Die Zeile kommt in einer herunterladbaren Datendatei zurück, mit einem Modellschlüssel und allen fünf Aufwandsangaben, sodass die Zahlen ohne Screenshot gelesen werden können.

• Cognition sagt, ob es ein Vorabmodell getestet hat und unter welcher Vereinbarung. Ein Benchmark-Betreiber, der einen unter Embargo stehenden Durchlauf bestätigt, würde die Herkunft klären, ohne den Anbieter zu nennen.

• Anthropic veröffentlicht eine Model Card, eine API-ID oder einen Doku-Eintrag. Das ist das einzige Ereignis, das aus einer Benchmark-Zeile ein Produkt macht.

• Ein Preis erscheint. Ein Modell ohne Preis ist ein Benchmark-Eintrag, keine Option, die ein Leser wählen kann.

• Ein zweiter Betreiber führt die Messung durch. Artificial Analysis betreibt mit anderen äußeren Einstellungen einen eigenen FrontierCode 2.0-Harness; eine Obsidian-Zeile dort wäre eine Bestätigung und kein erneuter Post desselben Screenshots.

Die Zeile ist ein Beleg, keine Veröffentlichung. Was sie belegt, ist interessanter als die Schlagzeile: ein Modell, das bei geringem Aufwand stark ist, bei hohem seinen Höhepunkt erreicht und dann das Fünffache des Budgets ausgibt, um schlechter zu werden. Wenn diese Kurve zu Anthropics nächstem Flaggschiff gehört, hat das Unternehmen ein Reasoning-Skalierungsproblem zu lösen, bevor es überhaupt einen Launch gibt. Wenn sie zu einem frühen Checkpoint gehört, wird sich die Zahl bewegen, bevor der Name es tut. So oder so ist 46,8 nicht die Zahl, auf die man achten sollte. Die Zahl, auf die man achten sollte, ist, ob die Kurve jemals monoton wird.

FAQ

Wurde Obsidian 3 bereits veröffentlicht?

Nein. Kein Modell namens Obsidian 3 erscheint in Anthropics Dokumentation oder in Cognitions veröffentlichter FrontierCode 2.0-Tabelle, und wir fanden keinen API-Katalog, der es aufführt. Der einzige Hinweis ist eine verborgene Zeile, über die in X-Posts am 27. und 28. Oktober berichtet wurde, sowie ein Forenthread, der fünf Effort-Scores wiedergab. Anthropic hat sich nicht geäußert, und die öffentliche Datendatei, die wir am 29. Oktober heruntergeladen haben, enthält die Zeile nicht.

Ist Obsidian 3 Claude Fable 5.5 oder Claude Opus 5.6?

Unbekannt. Beides sind Vermutungen aus dem Label des claude-code-Harness, nicht aus einer Kennung. Fable 5.5 passt in die leere Lücke über Claude Fable 5.1 in Anthropics Produktreihe; Opus 5.6 passt zu der Theorie, dass Anthropic geringfügige Zwischenzyklus-Refreshes ausliefert. Keiner der beiden Namen erscheint in Anthropics Dokumentation, und das Kostenprofil passt eher zu einer Premium-Fable-Stufe als zu einer Value-Opus-Stufe.

Warum fehlt Obsidian 3 jetzt in FrontierCode 2.0?

Wir können nicht bestätigen, warum. Die im ursprünglichen Beitrag verlinkte Datei wurde zuletzt am 28. Oktober um 17:44 UTC geändert, und die Kopie, die wir am 29. Oktober heruntergeladen haben, listet 24 Modelle ohne einen Eintrag für Obsidian 3 auf. Möglicherweise wurde sie entfernt, nachdem die Beiträge die Runde machten, oder der öffentliche Build hat sie nie enthalten. Die X-Beiträge und das Forumsarchiv sind die einzigen Aufzeichnungen, die wir finden konnten, und keine davon stammt aus erster Hand.

Hält die Behauptung der 3,6-fachen Kosten stand?

Die Rechnung geht auf, gemessen an den von Cognition veröffentlichten Kosten für Claude Opus 5.5: $8,62 ist das 3,56-Fache des High-Effort-Laufs zu $2,42, und die ungefähre Max-Zahl von $47 ist verglichen mit dem Max-Lauf zu $12,82 etwa das 3,67-Fache. Nicht überprüfen lässt sich die Obsidian-3-Seite der Abrechnung, weil ihre Kostenangaben nur in X-Posts und in keiner herunterladbaren Datei vorliegen.