Benchmark de Claude Fable 5.2 : ce que le 65 coûte en temps d'horloge murale

Claude Fable 5.2 obtient 65 à l'Artificial Analysis Intelligence Index v5.0.1 — premier sur 78 modèles, avec cinq points d'avance sur Gemini 4 Carbon. Ces cinq points s'accompagnent de 267 secondes jusqu'au premier token, de 46,8 minutes de temps réel par tâche et de 26,54 $ de dépenses par exécution de l'indice : chacun de ces chiffres dessine la réalité pratique du score. Voici ce que le harnais a mesuré et ce qu'il faut en faire.Claude Fable 5.2 API présente les points de terminaison et les prix ; cet article porte sur le benchmark.

Les neuf évaluations

AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset, Terminal-Bench-Science 0.1. Trois tâches de terminal et d’automatisation, deux tâches de raisonnement fondées sur des documents sur des entrées longues, deux évaluations difficiles en sciences et en mathématiques, une évaluation de code de pointe. Aucun harnais d’agent web, aucune simulation de support multi-tour, aucune détection de vulnérabilités.

Le score et son échelle

65, rang 1 sur 78, sur v5.0.1. Seuls les modèles réévalués sur v5.0.1 ont leur place dans le même tableau ; les scores v4.3 et v4.3.2 relèvent d’un autre ensemble d’évaluation et tout graphique qui les mélange est invalide. Au sein de la cohorte actuelle, le classement en tête est Fable 5.2 à 65 et Gemini 4 Carbon à 60, le reste du peloton étant plus loin derrière ou pas encore réévalué.

Un écart de cinq points sur un indice de neuf évaluations est réel mais étroit. La lecture utile n’est pas « cinq pour cent meilleur » mais « un léger avantage sur une suite difficile », et la raison de payer pour cela est la variance plutôt que la capacité brute : sur les tâches où une mauvaise réponse invalide l’ensemble de l’exécution, un petit avantage en probabilité de réussite se cumule au fil des étapes.

L'horloge murale

267 secondes jusqu'au premier token, soit le 76e rang sur 77 modèles disposant de données de latence. 46,8 minutes au total par tâche. 97 tokens par seconde de sortie une fois le traitement lancé, ce qui est 35 % plus rapide que les 72 de Carbon et ne représente presque aucune part du temps écoulé.

La distribution est la partie importante. Via le trafic en direct d'OrcaRouter, le même modèle rapporte un p50 de 8,09 secondes jusqu'au premier token et un p95 de 10,00 secondes sur 35,6 millions de tokens en sept jours. Le harnais et la passerelle mesurent des populations différentes : l'un permet au modèle de réfléchir à effort maximal sur HLE-Diamond, l'autre correspond à la requête médiane avec l'effort que l'appelant a défini. Si vous exécutez Fable 5.2 à effort maximal, vous reproduirez le chiffre d'AA ; à faible effort, vous verrez quelque chose proche de celui de la passerelle.

L'argent

26,54 $ par exécution d’index à 8,00 $ par million de tokens d’entrée et 40,00 $ par million de tokens de sortie — 77e rang sur 77, le plus cher du tableau. Gemini 4 Carbon coûte 5,48 $ pour les mêmes neuf évaluations. Cela représente 4,8 fois la dépense pour cinq points d’index, et c’est le ratio le plus utile de cette comparaison.

AA rapporte 275 millions de jetons de sortie pour l’exécution, avec une verbosité de 0,97 pour cent. Notez que le pourcentage et le nombre pointent dans des directions opposées par rapport aux 2,69 pour cent et 205 millions de jetons de Carbon, ce qui explique pourquoi le pourcentage ne devrait pas être cité comme argument de concision.

Le ratio qui rend la comparaison exploitable est de $0.41 de dépenses de benchmark par point d’indice, contre les $0.09 de Carbon. Quoi que vous en concluiez, l’arithmétique impose une décision de routage plutôt qu’une décision de modèle unique : à ce prix, le modèle est un palier, pas une option par défaut.

Ce que le score ne vous dit pas

Aucune évaluation en cybersécurité ne figure dans l'ensemble, donc rien ici ne renseigne sur le rappel des vulnérabilités ou la qualité des correctifs — un point pertinent si c'est la raison pour laquelle vous examinez un modèle de pointe. Il n'y a pas d'évaluation d'agent de longue durée avec des appels d'outils sur plusieurs tours, alors que c'est précisément la charge de travail pour laquelle Fable 5.2 est commercialisé ; les tâches de terminal s'en approchent mais ne la reproduisent pas.

Il n’existe pas non plus de mesure de fiabilité. Le trafic réel sur OrcaRouter a affiché un taux de non-2xx de 10,8 % sur l’ensemble des fournisseurs en amont sur sept jours, contre 39,7 % pour Carbon. Un harnais de benchmark absorbe cela avec des nouvelles tentatives ; votre application ne le fera pas, sauf si vous le mettez en place.

L'interpréter comme une décision

Si votre tâche ressemble aux neuf évaluations et que vous pouvez l’exécuter de manière asynchrone, 65 à 26,54 $ par exécution est défendable pour les cas difficiles et gaspilleur pour les cas faciles — orientez selon la difficulté et utilisez un modèle moins cher pour la majorité. Si votre tâche est interactive, les chiffres du harnais ne sont pas les vôtres ; le p50 de la passerelle de 8,09 secondes est celui sur lequel concevoir, et le niveau d’effort est la variable qui détermine si vous atterrissez près de huit secondes ou près de quatre minutes.

Pour le face-à-face, Claude Fable 5.2 vs Claude Fable 5.1couvre la génération précédente à un prix plus élevé, et Gemini 4 Carbon vs Claude Fable 5.1couvre la paire inter-fournisseurs. La liste des modèles LLMcontient le reste de la cohorte v5.0.1 avec les identifiants et les prix ; revérifiez la version de l’index sur tout graphique que vous réutilisez, car un score v4.3 dans le même tableau invalidera la comparaison.