Claude Fable 5.2 Benchmark: wat de 65 aan kloktijd kost

Claude Fable 5.2 scoort 65 op de Artificial Analysis Intelligence Index v5.0.1 — de eerste van 78 modellen, vijf punten voor op Gemini 4 Carbon. Die vijf punten gaan gepaard met 267 seconden tot het eerste token, 46,8 minuten kloktijd per taak en $26,54 aan kosten per indexrun, en elk daarvan bepaalt in de praktijk de vorm van de score. Dit is wat de harness heeft gemeten en wat je ermee moet doen. De Claude Fable 5.2 API-pagina bevat de endpoints en prijzen; dit artikel gaat over de benchmark.

De negen evaluaties

AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset, Terminal-Bench-Science 0.1. Drie terminal- en automatiseringstaken, twee documentgebaseerde redeneertaken over lange inputs, twee moeilijke evaluaties op het gebied van wetenschap en wiskunde, één frontier-code-evaluatie. Geen webagent-harnas, geen meerbeurtige ondersteuningssimulatie, geen kwetsbaarheidsdetectie.

De score en de schaal ervan

65, rang 1 van 78, op v5.0.1. Alleen modellen die opnieuw zijn gescoord op v5.0.1 horen in dezelfde tabel; de scores van v4.3 en v4.3.2 vormen een andere evaluatieset en elke grafiek die ze mengt, is ongeldig. Binnen het huidige cohort is de volgorde bovenaan Fable 5.2 met 65 en Gemini 4 Carbon met 60, terwijl de rest van het veld verder achter staat of nog niet opnieuw is gescoord.

Een verschil van vijf punten op een index van negen evaluaties is reëel maar klein. De nuttige lezing is niet 'vijf procent beter', maar 'een bescheiden voorsprong op een zware suite', en de reden om ervoor te betalen is variantie in plaats van ruwe capaciteit: bij taken waar een fout antwoord de hele run ongeldig maakt, telt een kleine voorsprong in slaagkans zich over de stappen op.

De wandklok

267 seconden tot het eerste token, rang 76 van 77 modellen met latentiegegevens. 46,8 minuten totaal per taak. 97 tokens per seconde aan output zodra het begint, wat 35 procent sneller is dan de 72 van Carbon en vrijwel geen deel uitmaakt van de verstreken tijd.

De verdeling is het belangrijkste onderdeel. Via OrcaRouter's live verkeer rapporteert hetzelfde model een p50 van 8,09 seconden tot het eerste token en een p95 van 10,00 seconden over 35,6 miljoen tokens in zeven dagen. De harness en de gateway meten verschillende populaties: de ene laat het model op maximale inspanning nadenken op HLE-Diamond, de andere is de mediane aanvraag bij de inspanning die de aanroeper heeft ingesteld. Als je Fable 5.2 op maximale inspanning draait, reproduceer je het getal van AA; bij lage inspanning zie je iets dat dicht bij dat van de gateway ligt.

Het geld

$26,54 per index-run bij $8,00 per miljoen input en $40,00 per miljoen output — rang 77 van 77, de duurste in het overzicht. Gemini 4 Carbon kost $5,48 voor dezelfde negen evaluaties. Dat is 4,8 keer de besteding voor vijf indexpunten, en het is de meest bruikbare verhouding in deze vergelijking.

AA rapporteert 275 miljoen outputtokens voor de run, met een verbositeit van 0,97 procent. Merk op dat het percentage en het aantal in tegengestelde richtingen wijzen ten opzichte van de 2,69 procent en 205 miljoen tokens van Carbon, en daarom moet het percentage niet worden aangehaald als een beknoptheidsclaim.

De verhouding die de vergelijking bruikbaar maakt, is $0.41 aan benchmarkuitgaven per indexpunt tegen $0.09 voor Carbon. Wat je er ook uit concludeert, de rekensom dwingt tot een routeringsbeslissing in plaats van een keuze voor één model: bij deze prijs is het model een niveau, geen standaardoptie.

Wat de score je niet vertelt

Er is geen cyberevaluatie in de set, dus niets hier zegt iets over kwetsbaarheidsrecall of patchkwaliteit — relevant als dat de reden is dat je naar een frontiermodel kijkt. Er is geen langdurige agent-evaluatie met tool-calls over meerdere beurten, terwijl dat precies de workload is waarvoor Fable 5.2 eigenlijk in de markt wordt gezet; de terminaltaken benaderen het, maar reproduceren het niet.

Er is ook geen betrouwbaarheidsmeting. Live verkeer op OrcaRouter vertoonde over zeven dagen een niet-2xx-percentage van 10,8 procent bij alle upstreamproviders, tegenover 39,7 procent voor Carbon. Een benchmarkharnas vangt dat op met herhaalpogingen; jouw applicatie doet dat niet, tenzij je dat zelf bouwt.

Het als een beslissing lezen

Als je taak lijkt op de negen evaluaties en je deze asynchroon kunt uitvoeren, is 65 tegen $26,54 per run verdedigbaar voor de moeilijke gevallen en verspilling voor de makkelijke — routeer op moeilijkheid en gebruik een goedkoper model voor de meerderheid. Als je taak interactief is, zijn de harness-cijfers niet jouw cijfers; de gateway-p50 van 8,09 seconden is het getal waartegen je moet ontwerpen, en het effortniveau is de variabele die bepaalt of je rond de acht seconden of rond de vier minuten uitkomt.

Voor de rechtstreekse vergelijking, Claude Fable 5.2 vs Claude Fable 5.1 behandelt de vorige generatie tegen een hogere prijs, en Gemini 4 Carbon vs Claude Fable 5.1 behandelt het paar van verschillende leveranciers. De LLM-modellenlijst bevat de rest van het v5.0.1-cohort met id's en prijzen; controleer de indexversie opnieuw op elke grafiek die je hergebruikt, want een v4.3-score in dezelfde tabel maakt de vergelijking ongeldig.