Claude Fable 5.2 Benchmark: Vad 65 kostar i väggklockstid

Claude Fable 5.2 får 65 poäng på Artificial Analysis Intelligence Index v5.0.1 — etta av 78 modeller, fem poäng före Gemini 4 Carbon. De fem poängen kommer med 267 sekunder till första token, 46,8 minuters väggklockstid per uppgift och $26.54 i kostnad per indexkörning, och var och en av dem är poängens praktiska form. Det här är vad testramverket mätte och vad man ska göra med det.Claude Fable 5.2 API-sidan har slutpunkterna och priserna; den här texten handlar om benchmarken.

De nio utvärderingarna

AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset, Terminal-Bench-Science 0.1. Tre terminal- och automationsuppgifter, två dokumentgrundade resonemangsuppgifter över långa indata, två svåra utvärderingar inom naturvetenskap och matematik, en frontier-kodutvärdering. Inget webagent-harness, ingen simulering av support i flera turer, ingen sårbarhetsdetektering.

Poängen och dess skala

65, placering 1 av 78, på v5.0.1. Endast modeller som har poängsatts på nytt i v5.0.1 hör hemma i samma tabell; poängen för v4.3 och v4.3.2 tillhör en annan utvärderingsuppsättning, och alla diagram som blandar dem är ogiltiga. Inom den nuvarande kohorten är ordningen i toppen Fable 5.2 på 65 och Gemini 4 Carbon på 60, medan resten av fältet ligger längre bak eller ännu inte har poängsatts på nytt.

Ett gap på fem punkter i ett index med nio utvärderingar är reellt men smalt. Det användbara sättet att läsa det är inte "fem procent bättre" utan "ett måttligt övertag i en svår testsvit", och anledningen att betala för det är variansen snarare än rå förmåga: i uppgifter där ett felaktigt svar ogiltigförklarar hela körningen förstärks ett litet övertag i sannolikheten för framgång över stegen.

Väggklockan

267 sekunder till första token, plats 76 av 77 modeller med latensdata. 46,8 minuter totalt per uppgift. 97 token per sekund av utdata när den väl har startat, vilket är 35 procent snabbare än Carbons 72 och står för nästan ingen del av den förflutna tiden.

Fördelningen är den viktiga delen. Via OrcaRouters realtidstrafik rapporterar samma modell ett p50 på 8,09 sekunder till första token och ett p95 på 10,00 sekunder över 35,6 miljoner token under sju dagar. Testramverket och gatewayen mäter olika populationer: den ena låter modellen tänka med maximal ansträngning på HLE-Diamond, den andra är medianförfrågan vid den ansträngningsnivå som anroparen har angett. Om du kör Fable 5.2 med maximal ansträngning reproducerar du AA:s siffra; vid låg ansträngning ser du något som ligger nära gatewayens.

Pengarna

26,54 $ per indexkörning till 8,00 $ per miljon indata och 40,00 $ per miljon utdata – rang 77 av 77, dyrast på listan. Gemini 4 Carbon kostar 5,48 $ för samma nio utvärderingar. Det är 4,8 gånger utgiften för fem indexpoäng, och det är det enskilt mest användbara förhållandet i den här jämförelsen.

AA rapporterar 275 miljoner utdatatokens för körningen med utförlighet på 0,97 procent. Observera att procentandelen och antalet pekar i motsatta riktningar jämfört med Carbons 2,69 procent och 205 miljoner token, vilket är anledningen till att procentandelen inte bör citeras som ett argument för koncishet.

Förhållandet som gör jämförelsen användbar är $0.41 i benchmarkutgift per indexpunkt mot Carbons $0.09. Vad du än drar för slutsats av det, tvingar aritmetiken fram ett routningsbeslut snarare än ett beslut om en enskild modell: till detta pris är modellen en nivå, inte ett standardval.

Vad poängen inte säger dig

Det finns ingen cyberutvärdering i uppsättningen, så inget här säger något om sårbarhetsåterkallning eller patchkvalitet – relevant om det är därför du tittar på en frontier-modell. Det finns ingen långkörande agentutvärdering med verktygsanrop över flera turer, vilket är den arbetsbelastning som Fable 5.2 faktiskt marknadsförs för; terminaluppgifterna närmar sig den men återspeglar den inte.

Det finns inte heller någon tillförlitlighetsmätning. Live-trafik på OrcaRouter visade en andel icke-2xx-svar på 10,8 procent över alla uppströmsleverantörer under sju dagar, jämfört med 39,7 procent för Carbon. En benchmark-harness absorberar det med omförsök; din applikation kommer inte att göra det om du inte bygger in det.

Att läsa det som ett beslut

Om din uppgift liknar de nio utvärderingarna och du kan köra den asynkront är 65 till $26.54 per körning försvarbart för de svåra fallen och slöseri för de enkla – routa efter svårighetsgrad och använd en billigare modell för majoriteten. Om din uppgift är interaktiv är harness-siffrorna inte dina siffror; gateway-p50 på 8.09 sekunder är den du bör designa mot, och effortnivån är variabeln som avgör om du landar nära åtta sekunder eller nära fyra minuter.

För direktjämförelsen, Claude Fable 5.2 vs Claude Fable 5.1 täcker den föregående generationen till ett högre pris, och Gemini 4 Carbon vs Claude Fable 5.1 täcker paret mellan olika leverantörer. LLM-modellistan innehåller resten av v5.0.1-kohorten med id:n och priser; kontrollera indexversionen igen på alla diagram du återanvänder, eftersom en v4.3-poäng i samma tabell ogiltigförklarar jämförelsen.