Obsidian 3: Ukryty wiersz benchmarku, rachunek 3,6× i pytanie o Fable 5.5

Najciekawsza liczba na nowej tablicy wyników kodowania Cognition w tym tygodniu należy do modelu, którego nikt nie może wywołać. Ukryta pozycja oznaczona jako Obsidian 3 pojawiła się w pliku danych stojącym za FrontierCode 2.0, z wynikiem 46,77% w wariancie wysokiego wysiłku, powyżej Claude Opus 5.5 z 45,5% — modelu, który w tabeli samego Cognition widnieje na pierwszym miejscu. Ten wiersz uruchomiono w harnessie claude-code, którego na tej tablicy używają wyłącznie modele Anthropic, a spekulacje natychmiast rozdzieliły się między Claude Fable 5.5 — flagowy model, którego Anthropic nie wypuścił — a odświeżeniem w połowie cyklu, które jeden z postujących nazwał „Opus 5.6”. Nic z tego nie zostało potwierdzone. Anthropic milczy, nie istnieje żadna karta modelu ani API ID, a każda liczba dotycząca Obsidian 3 w tym tekście jest niezweryfikowanym twierdzeniem z postów na X, a nie wynikiem, który moglibyśmy odtworzyć.

To, co można sprawdzić, jest węższe i bardziej przydatne: publiczny plik, na który wskazywał wyciek, krzywa wysiłku przypisana ukrytemu wierszowi oraz arytmetyka stojąca za twierdzeniem o „3,6-krotnym koszcie”. Złóż to razem, a historia przestaje być opowieścią, że „następny model Anthropic bije obecny”. Staje się czymś bardziej konkretnym — wiersz, który osiąga szczyt przy wysokim wysiłku, a następnie się cofa, porównanie, które działa tylko wtedy, gdy po każdej stronie utrzymasz różne poziomy wysiłku, oraz plik danych, który w ogóle nie zawiera tego wiersza.

Co wyciekło i kiedy

Cognition opublikowało FrontierCode 2.0 27 października. Benchmark celowo trudno oszukać: 132 zadania zbudowane na podstawie prawdziwych repozytoriów open source przez ponad 20 maintainerów, każde zajmujące około 40 godzin, oceniane pod kątem tego, czy łatka zostałaby faktycznie scalona, a nie czy przechodzi test. Każdy przebieg powtarza się trzykrotnie, zadania są prywatne, a jedno niespełnione kryterium blokujące daje zero punktów. Własna tabela Cognition umieściła Claude Opus 5.5 na pierwszym miejscu z 45,5% w trybie maksymalnego wysiłku, GPT-6 Astra na drugim z 42,8%, Claude Sonnet 5.5 na trzecim z 41,0%, a żaden model nie przekroczył 50%. Artificial Analysis uwzględnił ten benchmark z wagą 15% w swoim nowym Intelligence Index v5 i niezależnie wskazał tego samego lidera — Claude Opus 5.5 z 46% po zaokrągleniu.

Tamtego wieczoru, o 21:10 UTC 27 października, @tensorson napisał, że plik danych Cognition zawierał model, którego tabela nie pokazywała: „Obsidian 3” z wynikiem 46,8%, „powyżej #1 Opus 5.5 (45,5%)”. We wpisie odnotowano harness claude-code i zgadywał, że to Fable 5.5. Dwanaście godzin później wątek na linux.do wymienił pięć oddzielnych wyników dla poziomów effort w tym wierszu — low 39,19%, medium 39,84%, high 46,77%, xHigh 45,90%, max 45,53% — i dołączył kopię danych. O 09:12 UTC 28 października @teortaxesTex udostępnił wpis z cytatem zawierający dane kosztowe: Opus 5.5 przy high uzyskuje 34,5% za 2,42 USD za rollout, Opus 5.5 przy max uzyskuje 45,5% za 12,82 USD, a Obsidian 3 przy high uzyskuje 46,7% „najwyraźniej za 8,62 USD”, nie uzyskując więcej nawet przy 47 USD dla max. „Czy FrontierCode jest już zepsuty?” — pytał wpis. „Czy Fable 5.5 to klapa?” O 16:18 UTC @CodexResets1 rozpowszechnił te same liczby i zapytał, czy model to Fable 5.5, czy Opus 5.6.

Nagłówek Last-Modified pliku wskazuje 17:44 UTC 28 października. Wersja, którą pobraliśmy dzień później, ma 32 055 bajtów, wymienia 24 modele i nie zawiera nigdzie w swojej strukturze wiersza o nazwie Obsidian 3. Żądanie z obejściem cache zwróciło ten sam hash pliku. Oficjalna tabela rankingu nigdy nie pokazała tego wiersza, 20-wierszowa kopia lustrzana BenchLM również go nie pokazała, a Anthropic nie opublikował niczego.

Jeden rząd, pięć poziomów wysiłku, trzy różne historie

Opublikowana połowa tego porównania jest solidna, ponieważ pochodzi bezpośrednio z danych do pobrania Cognition. Wynik Claude Opus 5.5 skorygowany o zdatność do scalania rośnie na każdym etapie: 14,7% przy niskim, 30,1% przy średnim, 34,5% przy wysokim, 43,4% przy xHigh i 45,5% przy maksymalnym. Jego średni koszt zadania rośnie z 2,42 USD przy wysokim do 12,82 USD przy maksymalnym. To jest krzywa modelu, który poprawia się, gdy płacisz za dłuższe myślenie.

Rzekoma krzywa Obsidian 3 nie zachowuje się w ten sposób:

• Niski wysiłek — deklarowane 39,19%, już powyżej wyniku 34,5% Claude Opus 5.5 przy wysokim wysiłku.

• Średni wysiłek — 39,84% zgłoszone, wzrost o 0,65 punktu.

• Wysoki wysiłek — 46,77% deklarowanych, szczyt, przy deklarowanych 8,62 USD za zadanie.

• xHigh wysiłek — zgłoszono 45,90%, spadek o 0,87 punktu.

• Maksymalny wysiłek — deklarowane 45,53%, spadek o kolejne 0,37, przy deklarowanym koszcie blisko 47 USD.

Pięć ustawień wysiłku, a najlepszy wynik wypada na trzecim miejscu. Wydanie około 5,5× budżetu wysokiego wysiłku, aby osiągnąć maksimum, daje wynik o 1,24 punktu niższy. Sama Cognition ostrzega, że może się to zdarzyć: wyższe ustawienia rozumowania czasami obniżają wyniki, ponieważ modele piszą więcej kodu i modyfikują więcej plików, a własne przykłady benchmarku obejmują uruchomienie z maksymalnym wysiłkiem, które usunęło publiczną klasę API podczas naprawy warunku wyścigu. Ale znaczenie ma rozmiar spadku. Model, który utyka na szczycie, znacznie częściej jest wczesnym checkpointem lub artefaktem destylacji niż ukończonym flagowcem.

Teraz porównania, ponieważ główny wynik zależy wyłącznie od tego, którą opcję wybierzesz:

Najlepsze przeciw najlepszemu — 46,77% Obsidian 3 na poziomie high wobec 45,5% Claude Opus 5.5 na poziomie max to +1,32 punktu, przy $8,62 w porównaniu z $12,82, czyli około 33% taniej. W tym odczycie ukryty wiersz wygrywa na obu osiach.

• Wysoki kontra wysoki — 46,77% wobec 34,5% to +12,24 punktu, przy 8,62 USD wobec 2,42 USD, czyli 3,56× kosztu. W tym odczytaniu to duży zysk jakościowy przy dużej cenie.

• Max versus max — 45,53% wobec 45,45% to +0,08 punktu, przy około 47 USD wobec 12,82 USD, czyli 3,67× kosztu. Przy takiej interpretacji to remis w rujnującej cenie.

Wszystkie trzy są arytmetycznie prawdziwe. Dlatego w wątku na X argumenty mijały się ze sobą: @tensorson porównał high z max i nazwał to wygraną 1,3 punktu; @teortaxesTex porównał high z high i zapytał, czy benchmark jest zepsuty. Liczba „3,6× kosztu przy tym samym wysiłku” jest dokładna, podobnie jak „taniej niż najlepsze uruchomienie Opus 5.5” — opisują różne pary uruchomień.

Jest jednak większa zastrzeżenie u podstaw tego wszystkiego. Dane Cognition przechowują dla każdego uruchomienia dwie liczby: surowy wskaźnik poprawności i wynik skorygowany o możliwość scalania. Opublikowane 45,5% dla Claude Opus 5.5 to wartość skorygowana; jego surowy wskaźnik poprawności przy ustawieniu max wynosi 49,7%, a przy high — 37,9%. KOREKTA kosztuje publiczne wiersze Claude trzy do czterech punktów. Nie wiemy, z której kolumny pochodzą ujawnione liczby Obsidian 3. Jeśli 46,77% to surowy wskaźnik poprawności, jego skorygowany wynik znalazłby się w pobliżu 43% — poniżej Claude Opus 5.5 — i całe twierdzenie „powyżej nr 1” znika. Ta pojedyncza niewiadoma jest większa niż margines 1,3 punktu, o który wszyscy się spierali.

Dlaczego etykieta claude-code to cały argument za Anthropic

Harness to rusztowanie, a nie odcisk palca. FrontierCode uruchamia każdy model wewnątrz pętli agenta, a plik danych przyporządkowuje modelom pętlę, której użyły: wiersze OpenAI działają w codex, Google — w devin-cli, xAI — w grok-build, Muse Wonder od Meta — w muse, własne modele SWE Cognition — w devin-cli-swe1, a wszystkie sześć wierszy Claude — w claude-code. Anonimowy wiersz w harnessie Claude'a to mocna wskazówka, że stojący za nim model powstał do pracy z narzędziami Anthropic. To nie dowód, że zbudował go Anthropic. Operator benchmarku może testować przedpremierowy model partnera w dowolnym pasującym harnessie, a laboratorium może testować własny model pod nazwą objętą embargiem.

Sama nazwa nie mówi prawie nic. Publiczna oferta Anthropic — sprawdzona względem jej własnego przeglądu modeli z 29 października — obejmuje Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5 i Claude Haiku 5.5. Nie ma Fable 5.5, nie ma Opus 5.6 ani produktu o nazwie Obsidian. „Obsidian 3” to kryptonim w stylu nazwy kamienia szlachetnego, jakich laboratoria używają wewnętrznie, ale nie ma publicznego rejestru, względem którego można by go sprawdzić, a końcowa „3” nie odpowiada żadnej sekwencji wydanej przez Anthropic.

To pozostawia trzy interpretacje, a dowody nie rozstrzygają między nimi:

• Wersja na poziomie Fable. Claude Fable 5.1 to flagowy model za 10 / 50 USD do wymagającego rozumowania, wydany 1 września, a linia Fable to oczywista luka w obecnej ofercie. Domysł @tensorson oraz kilka odpowiedzi na post trafiły tutaj, ponieważ profil kosztów wygląda na poziom premium, a nie na poziom ekonomiczny.

• Odświeżenie Opusa w połowie cyklu. @teortaxesTex wychodzi z założenia, że „Obsidian 3 to Opus 5.6", argumentując, że Anthropic już wcześniej wypuszczał modele w połowie cyklu z niewielkim przyrostem zdolności rozumowania. Płaski szczyt deklarowanej krzywej pasuje do tej opowieści, ale wyniki przy niskim wysiłku — 39,19% wobec 14,7% Claude Opus 5.5 — wyglądają jak inny przebieg treningu, a nie niewielkie odświeżenie.

• Artefakt destylacji lub wczesny checkpoint. Inna hipoteza @teortaxesTex — i ta, którą kształt krzywej wspiera najlepiej: mocny przy niskim i średnim wysiłku, osiągający szczyt przy wysokim, a następnie pogarszający się, gdy da się mu więcej przestrzeni. Ukończony model frontier nie powinien się pogarszać za każdym razem, gdy zwiększasz jego budżet.

Co wnosi wybór momentu IPO — a czego nie

Sygnałem, który zapoczątkował ten wątek, było pytanie o wybór momentu: dlaczego Fable nie trafił na rynek przed IPO? Anthropic publicznie złożył S-1 26 października, dzień przed premierą FrontierCode 2.0, w celu pozyskania szacunkowo 75 mld USD na Nasdaq pod tickerem ANT. Według Renaissance Capital roadshow ma się odbyć w tygodniu 9 listopada, a ustalanie ceny w tygodniu 16 listopada. Następny flagowy produkt, który pojawi się przed ustaleniem ceny, dałby debiutowi historię produktową; ten, który pojawi się później, daje historię roadmapową.

Jednak ukryty wiersz w benchmarku nie jest sygnałem premiery. Laboratoria rutynowo testują modele przedpremierowe u operatorów benchmarków, zwykle objęte embargiem, a zadaniem operatora jest zachowanie anonimowości modelu, dopóki dostawca nie zdecyduje inaczej. Jeśli Cognition testowało wersję Anthropic, właściwą interpretacją jest to, że Anthropic wciąż dopracowuje model — a nie że premiera jest za kilka dni. Jedynym oficjalnym punktem danych pozostaje dokumentacja Anthropic, która wymienia cztery obecne modele i żaden z nich nie jest Obsidian. IPO wyjaśnia, dlaczego ludzie tak uważnie obserwują poziom Fable. Nie sprawia jednak, że ten wiersz jest prawdziwy.

Co czytelnik może dziś faktycznie zrobić

Nic w Obsidian 3 nie można wywołać, nie ma on ceny ani dokumentacji, więc nie zmienia to żadnej decyzji w tym tygodniu. Jeśli potrzebujesz najlepszego dostępnego obecnie wyniku możliwości scalania, Claude Opus 5.5 jest publicznie dostępny: 4 USD za dane wejściowe i 20 USD za dane wyjściowe za milion tokenów, kontekst 1 mln tokenów, maks. 128 tys. tokenów wyjściowych, identyfikator API claude-opus-5-5, wydany 22 września. Jeśli ograniczeniem jest koszt, GPT-6.1 Sol uzyskał 39,0% przy około 1,03 USD za zadanie na tej samej tablicy rankingowej — znacznie lepszy stosunek wyniku do ceny niż w przypadku któregokolwiek przebiegu Claude, a ta liczba jest warta sprawdzenia, zanim założysz, że szczyt tabeli to jedyny przydatny wiersz.

Claude Opus 5.5 jest dostępny przez OrcaRouter w cenie katalogowej Anthropic, bez marży, obok ponad 200 innych modeli w ramach jednego API z automatycznym przełączaniem awaryjnym. Ma to znaczenie dla jednego eksperymentu, do którego ten wyciek faktycznie zachęca: uruchomić Claude Opus 5.5 na poziomie wysokim i maksymalnym na własnym obciążeniu i zmierzyć koszt przypadający na zaakceptowaną poprawkę. Własna krzywa FrontierCode mówi, że ostatnie dwa stopnie wysiłku kosztują 10,40 USD więcej za zadanie za 11 punktów; Twoje repozytorium może wyceniać to inaczej. Ustawienie wysiłku i cena za token są ustawieniami własnymi Anthropic, przekazanymi bez zmian, więc porównanie jest zmianą parametru, a nie drugą umową — a jeśli Anthropic obniży cenę katalogową, obniżka zacznie obowiązywać na tej trasie tego samego dnia.

Co sprawiłoby, że Obsidian 3 stałby się faktem?

• Wiersz wraca w pliku danych do pobrania, wraz z kluczem modelu i wszystkimi pięcioma wpisami wysiłku, więc liczby można odczytać bez zrzutu ekranu.

Cognition podaje, czy testował model przedpremierowy i na jakich warunkach. Operator benchmarku, potwierdzając przebieg objęty embargiem, rozstrzygnąłby kwestię pochodzenia, nie wymieniając dostawcy.

Anthropic publikuje kartę modelu, identyfikator API lub wpis w dokumentacji. To jedyne wydarzenie, które zamienia wiersz benchmarku w produkt.

• Pojawia się cena. Model bez ceny to pozycja referencyjna, a nie opcja, którą czytelnik może wybrać.

• Mierzy to drugi operator. Artificial Analysis uruchamia własny harness FrontierCode 2.0 z innymi ustawieniami zewnętrznymi; wiersz Obsidianu tam byłby potwierdzeniem, a nie ponownym opublikowaniem tego samego zrzutu ekranu.

Ten wiersz to paragon, nie premiera. To, co poświadcza, jest ciekawsze niż nagłówek: model, który jest mocny przy niskim wysiłku, osiąga szczyt przy wysokim, a potem zużywa pięciokrotność budżetu, by wypaść gorzej. Jeśli ta krzywa należy do kolejnego flagowego modelu Anthropic, firma ma do rozwiązania problem ze skalowaniem rozumowania, zanim będzie miała premierę. Jeśli należy do wczesnego checkpointu, liczba zmieni się, zanim zmieni się nazwa. Tak czy inaczej, 46,8 to nie jest liczba, na którą warto patrzeć. Liczbą, na którą warto patrzeć, jest to, czy krzywa kiedykolwiek stanie się monotoniczna.

Najczęściej zadawane pytania

Czy Obsidian 3 został wydany?

Nie. Żaden model o nazwie Obsidian 3 nie pojawia się w dokumentacji Anthropic ani w opublikowanej przez Cognition tabeli FrontierCode 2.0, a my nie znaleźliśmy żadnego katalogu API, który by go wymieniał. Jedynym dowodem jest ukryty wiersz zgłoszony w postach na X z 27 i 28 października oraz wątek na forum, który odtworzył pięć wyników wysiłku. Anthropic nie skomentował tej sprawy, a publiczny plik danych, który pobraliśmy 29 października, nie zawiera tego wiersza.

Czy Obsidian 3 to Claude Fable 5.5 czy Claude Opus 5.6?

Nieznane. Obie są domysłami opartymi na etykiecie harnessu claude-code, a nie na jakimkolwiek identyfikatorze. Fable 5.5 pasuje do pustego miejsca powyżej Claude Fable 5.1 w ofercie Anthropic; Opus 5.6 pasuje do teorii, że Anthropic wypuszcza przynoszące niewielkie korzyści odświeżenia w połowie cyklu. Żadna z tych nazw nie występuje w dokumentacji Anthropic, a profil kosztów bardziej odpowiada premiumowemu poziomowi Fable niż budżetowemu poziomowi Opus.

Dlaczego w FrontierCode 2.0 brakuje teraz Obsidian 3?

Nie możemy potwierdzić, dlaczego tak było. Plik podlinkowany w oryginalnym poście został ostatnio zmodyfikowany o 17:44 UTC 28 października, a pobrana przez nas 29 października kopia wymienia 24 modele i nie zawiera wpisu Obsidian 3. Być może usunięto go po tym, jak posty zaczęły krążyć, albo publiczna wersja nigdy go nie zawierała. Posty na X i archiwum forum to jedyne źródła, jakie udało nam się znaleźć, i żadne z nich nie jest źródłem pierwotnym.

Czy twierdzenie o 3,6-krotnym koszcie się broni?

Arytmetyka się zgadza w zestawieniu z opublikowanymi przez Cognition kosztami Claude Opus 5.5: $8,62 to 3,56× kosztu przebiegu o wysokim wysiłku wynoszącego $2,42 oraz około 3,67× kosztu przebiegu maksymalnego wynoszącego $12,82 w porównaniu z szacunkową maksymalną kwotą około $47. Nie da się natomiast zweryfikować strony Obsidian 3 w tym bilansie, ponieważ jej dane kosztowe istnieją wyłącznie w postach na X, a nie w żadnym pliku do pobrania.