Claude Fable 5.2 Benchmark: Was die 65 in Echtzeit kostet

Claude Fable 5.2 erreicht 65 Punkte im Artificial Analysis Intelligence Index v5.0.1 — Erster von 78 Modellen, fünf Punkte vor Gemini 4 Carbon. Diese fünf Punkte gehen mit 267 Sekunden bis zum ersten Token, 46,8 Minuten Wanduhrzeit pro Aufgabe und 26,54 US-Dollar Ausgaben pro Indexlauf einher – jeder dieser Werte macht die praktische Gestalt des Scores aus. Das hat der Harness gemessen, und so lässt sich damit umgehen. Die Claude Fable 5.2 API-Seite enthält die Endpunkte und Preise; in diesem Beitrag geht es um den Benchmark.

Die neun Bewertungen

AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset, Terminal-Bench-Science 0.1. Drei Terminal- und Automatisierungsaufgaben, zwei dokumentgestützte Denkaufgaben über lange Eingaben, zwei schwierige naturwissenschaftliche und mathematische Evaluierungen, eine Frontier-Code-Evaluierung. Kein Web-Agent-Harness, keine Multi-Turn-Support-Simulation, keine Schwachstellenerkennung.

Die Punktzahl und ihre Skala

65, Rang 1 von 78, auf v5.0.1. Nur Modelle, die auf v5.0.1 erneut bewertet wurden, gehören in dieselbe Tabelle; die Werte von v4.3 und v4.3.2 sind ein anderer Bewertungssatz, und jedes Diagramm, das sie vermischt, ist ungültig. Innerhalb der aktuellen Kohorte steht an der Spitze Fable 5.2 mit 65 und Gemini 4 Carbon mit 60, während der Rest des Feldes weiter zurückliegt oder noch nicht erneut bewertet wurde.

Ein Fünf-Punkte-Abstand bei einem Index aus neun Bewertungen ist real, aber schmal. Die sinnvolle Lesart ist nicht „fünf Prozent besser“, sondern „ein bescheidener Vorsprung bei einer harten Testsuite“, und der Grund, dafür zu zahlen, ist die Varianz rather than raw capability: Bei Aufgaben, bei denen eine falsche Antwort den gesamten Durchlauf ungültig macht, summiert sich ein kleiner Vorsprung bei der Erfolgswahrscheinlichkeit über die Schritte.

Die Wanduhr

267 Sekunden bis zum ersten Token, Rang 76 von 77 Modellen mit Latenzdaten. 46,8 Minuten insgesamt pro Aufgabe. 97 Token pro Sekunde Ausgabe, sobald sie beginnt, was 35 Prozent schneller als Carbons 72 ist und fast keinen Anteil an der verstrichenen Zeit hat.

Die Verteilung ist der entscheidende Teil. Über den Live-Traffic von OrcaRouter meldet dasselbe Modell einen p50 von 8,09 Sekunden bis zum ersten Token und einen p95 von 10,00 Sekunden über 35,6 Millionen Token in sieben Tagen. Der Harness und das Gateway messen unterschiedliche Populationen: Das eine lässt das Modell bei HLE-Diamond mit maximalem Aufwand denken, das andere ist die mediane Anfrage bei dem Aufwand, den der Aufrufer eingestellt hat. Wenn du Fable 5.2 mit maximalem Aufwand ausführst, wirst du die Zahl von AA reproduzieren; bei niedrigem Aufwand wirst du etwas in der Nähe des Gateway-Werts sehen.

Das Geld

26,54 $ pro Index-Durchlauf bei 8,00 $ pro Million Eingabe und 40,00 $ pro Million Ausgabe — Rang 77 von 77, der teuerste auf der Rangliste. Gemini 4 Carbon kostet 5,48 $ für dieselben neun Bewertungen. Das sind 4,8-mal so hohe Ausgaben für fünf Indexpunkte, und es ist das mit Abstand nützlichste Verhältnis in diesem Vergleich.

AA meldet 275 Millionen Ausgabe-Tokens für den Lauf bei einer Ausführlichkeit von 0,97 Prozent. Beachte, dass der Prozentwert und die Anzahl im Verhältnis zu Carbons 2,69 Prozent und 205 Millionen Tokens in entgegengesetzte Richtungen weisen, weshalb der Prozentwert nicht als Beleg für Prägnanz angeführt werden sollte.

Das Verhältnis, das den Vergleich brauchbar macht, ist $0.41 an Benchmark-Ausgaben pro Indexpunkt gegenüber Carbons $0.09. Was auch immer man daraus schließt, die Arithmetik erzwingt eine Routing-Entscheidung statt einer Entscheidung für ein einziges Modell: Bei diesem Preis ist das Modell eine Stufe, kein Standard.

Was die Punktzahl nicht verrät

Im Set gibt es keine Cyber-Evaluierung, daher gibt nichts hier Aufschluss über Schwachstellen-Recall oder Patch-Qualität — relevant, falls das der Grund ist, warum du dir ein Frontier-Modell ansiehst. Es gibt keine langlaufende Agenten-Evaluierung mit Tool-Aufrufen über mehrere Turns, also die Arbeitslast, für die Fable 5.2 tatsächlich beworben wird; die Terminal-Aufgaben kommen ihr nahe, reproduzieren sie aber nicht.

Es gibt auch keine Zuverlässigkeitsmessung. Der Live-Traffic auf OrcaRouter zeigte über sieben Tage hinweg eine Non-2xx-Rate von 10,8 Prozent über alle Upstream-Anbieter hinweg – gegenüber 39,7 Prozent bei Carbon. Ein Benchmark-Harness fängt das mit Wiederholungsversuchen ab; Ihre Anwendung wird das nicht tun, es sei denn, Sie bauen es selbst ein.

Es als eine Entscheidung lesen

Wenn Ihre Aufgabe wie die neun Evaluierungen aussieht und Sie sie asynchron ausführen können, sind 65 bei 26,54 $ pro Lauf für die schwierigen Fälle vertretbar und für die einfachen verschwenderisch — routen Sie nach Schwierigkeit und nutzen Sie für die Mehrheit ein günstigeres Modell. Wenn Ihre Aufgabe interaktiv ist, sind die Harness-Zahlen nicht Ihre Zahlen; der p50 des Gateways von 8,09 Sekunden ist der Wert, an dem Sie sich orientieren sollten, und die Aufwandsstufe ist die Variable, die entscheidet, ob Sie bei etwa acht Sekunden oder bei etwa vier Minuten landen.

Für den Direktvergleich Claude Fable 5.2 vs Claude Fable 5.1 deckt die vorherige Generation zu einem höheren Preis ab, und Gemini 4 Carbon vs Claude Fable 5.1 deckt das herstellerübergreifende Paar ab. Die LLM-Modellliste enthält den Rest der v5.0.1-Kohorte mit IDs und Preisen; prüfe die Indexversion auf jedem Diagramm, das du wiederverwendest, erneut, denn ein v4.3-Score in derselben Tabelle macht den Vergleich ungültig.