Benchmark Claude Fable 5.2: ile kosztuje 65 w czasie rzeczywistym

Claude Fable 5.2 uzyskuje 65 punktów w Artificial Analysis Intelligence Index v5.0.1 — pierwsze miejsce spośród 78 modeli, pięć punktów przewagi nad Gemini 4 Carbon. Te pięć punktów wiąże się z 267 sekundami do pierwszego tokenu, 46,8 minuty czasu rzeczywistego na zadanie i 26,54 USD wydatków na jeden przebieg indeksu — a każdy z tych elementów to praktyczny kształt wyniku. Oto, co zmierzył harness i co z tym zrobić. Strona API Claude Fable 5.2 zawiera punkty końcowe i ceny; ten tekst dotyczy benchmarku.

Dziewięć ewaluacji

AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset, Terminal-Bench-Science 0.1. Trzy zadania terminalowe i automatyzacyjne, dwa zadania rozumowania oparte na dokumentach przy długich danych wejściowych, dwie trudne oceny z nauk ścisłych i matematyki, jedna ocena kodu frontier. Brak środowiska agenta webowego, brak symulacji wieloturowego wsparcia, brak wykrywania podatności.

Wynik i jego skala

65, miejsce 1 z 78, w wersji v5.0.1. Tylko modele ponownie ocenione w wersji v5.0.1 należą do tej samej tabeli; wyniki v4.3 i v4.3.2 pochodzą z innego zestawu ewaluacyjnego, a każdy wykres, który je miesza, jest nieprawidłowy. W obecnej kohorcie kolejność na szczycie to Fable 5.2 z 65 i Gemini 4 Carbon z 60, a reszta stawki jest dalej z tyłu lub nie została jeszcze ponownie oceniona.

Pięciopunktowa różnica w indeksie złożonym z dziewięciu ocen jest realna, ale wąska. Użyteczne odczytanie to nie „pięć procent lepiej”, lecz „skromna przewaga w trudnym zestawie”, a powód, by za nią płacić, to zmienność, a nie surowa zdolność: w zadaniach, w których błędna odpowiedź unieważnia cały przebieg, niewielka przewaga w prawdopodobieństwie sukcesu kumuluje się na przestrzeni kroków.

Zegar ścienny

267 sekund do pierwszego tokenu, 76. miejsce spośród 77 modeli z danymi o opóźnieniu. 46,8 minuty łącznie na zadanie. 97 tokenów na sekundę wyjścia po rozpoczęciu, co jest o 35 procent szybsze niż 72 Carbon i nie odpowiada za niemal żadną część upływu czasu.

Najważniejszy jest rozkład. W ruchu na żywo OrcaRoutera ten sam model raportuje p50 na poziomie 8,09 sekundy do pierwszego tokenu i p95 wynoszące 10,00 sekundy dla 35,6 mln tokenów w ciągu siedmiu dni. Harness i brama mierzą różne populacje: harness pozwala modelowi myśleć z maksymalnym wysiłkiem na HLE-Diamond, a brama odzwierciedla medianę żądań przy dowolnym ustawionym przez wywołującego poziomie wysiłku. Jeśli uruchomisz Fable 5.2 z maksymalnym wysiłkiem, odtworzysz wynik AA; przy niskim wysiłku zobaczysz coś zbliżonego do wyniku bramy.

Pieniądze

$26.54 za przebieg indeksu przy $8.00 za milion na wejściu i $40.00 za milion na wyjściu — miejsce 77 na 77, najdroższy w zestawieniu. Gemini 4 Carbon kosztuje $5.48 za te same dziewięć ocen. To 4,8 razy większy wydatek za pięć punktów indeksu i najbardziej użyteczny pojedynczy stosunek w tym porównaniu.

AA raportuje 275 milionów tokenów wyjściowych dla przebiegu przy rozwlekłości na poziomie 0,97 procent. Zauważ, że odsetek i liczba wskazują przeciwne kierunki względem 2,69 procent i 205 milionów tokenów Carbon, dlatego odsetka nie należy przytaczać jako twierdzenia o zwięzłości.

Stosunek, który czyni to porównanie użytecznym, to 0,41 USD wydatków na benchmarki na punkt indeksu wobec 0,09 USD w przypadku Carbon. Cokolwiek z tego wywnioskujesz, arytmetyka wymusza decyzję o routingu, a nie decyzję o pojedynczym modelu: przy tej cenie model to jedna z warstw, a nie domyślny wybór.

Czego nie mówi wynik

W tym zestawie nie ma oceny cyberbezpieczeństwa, więc nic tutaj nie mówi o przywoływaniu podatności ani jakości poprawek — istotne, jeśli właśnie dlatego przyglądasz się modelowi frontierowemu. Nie ma też długotrwałej oceny agenta z wywołaniami narzędzi w kolejnych turach, czyli obciążenia, dla którego Fable 5.2 jest właściwie promowany; zadania terminalowe przybliżają je, ale go nie odtwarzają.

Nie ma też pomiaru niezawodności. Ruch na żywo w OrcaRouter wykazał 10,8 proc. odsetka odpowiedzi innych niż 2xx u wszystkich dostawców upstream w ciągu siedmiu dni, wobec 39,7 proc. dla Carbon. Środowisko testowe benchmarku absorbuje to dzięki ponownym próbom; Twoja aplikacja tego nie zrobi, chyba że ją zbudujesz.

Odczytując to jako decyzję

Jeśli Twoje zadanie przypomina dziewięć ewaluacji i możesz je uruchamiać asynchronicznie, to 65 przy 26,54 USD za uruchomienie jest uzasadnione w trudnych przypadkach, a marnotrawne w łatwych — kieruj według trudności i w większości przypadków używaj tańszego modelu. Jeśli Twoje zadanie jest interaktywne, liczby harnessa nie są Twoimi liczbami; to p50 bramy wynoszące 8,09 sekundy jest tym, względem czego należy projektować, a poziom wysiłku jest zmienną, która decyduje, czy trafisz w okolice ośmiu sekund, czy czterech minut.

W przypadku bezpośredniego porównania Claude Fable 5.2 vs Claude Fable 5.1obejmuje poprzednią generację w wyższej cenie, a Gemini 4 Carbon vs Claude Fable 5.1obejmuje parę różnych dostawców. Lista modeli LLMzawiera resztę kohorty v5.0.1 wraz z identyfikatorami i cenami; ponownie sprawdź wersję indeksu na każdym wykresie, który wykorzystujesz, ponieważ wynik v4.3 w tej samej tabeli unieważni porównanie.