Claude Fable 5.2 Benchmark: quanto costa il 65 in tempo effettivo

Claude Fable 5.2 ottiene 65 nell'Artificial Analysis Intelligence Index v5.0.1 — primo tra 78 modelli, cinque punti di vantaggio su Gemini 4 Carbon. Quei cinque punti comportano 267 secondi per il primo token, 46,8 minuti di tempo reale per attività e 26,54 $ di spesa per ogni esecuzione dell'indice, ognuno dei quali è la forma concreta del punteggio. Questo è ciò che ha misurato l'harness e cosa farne.Claude Fable 5.2 API contiene gli endpoint e i prezzi; questo articolo riguarda il benchmark.

Le nove valutazioni

AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset, Terminal-Bench-Science 0.1. Tre attività da terminale e di automazione, due attività di ragionamento basate su documenti con input lunghi, due valutazioni difficili di scienze e matematica, una valutazione di codice all'avanguardia. Nessun harness per agenti web, nessuna simulazione di supporto multi-turno, nessuna rilevazione delle vulnerabilità.

Il punteggio e la sua scala

65, posizione 1 su 78, su v5.0.1. Solo i modelli rivalutati su v5.0.1 appartengono alla stessa tabella; i punteggi v4.3 e v4.3.2 appartengono a un diverso set di valutazione e qualsiasi grafico che li mescoli non è valido. All'interno della coorte attuale, l'ordinamento in cima vede Fable 5.2 a 65 e Gemini 4 Carbon a 60, con il resto del gruppo più indietro o non ancora rivalutato.

Un divario di cinque punti su un indice di nove valutazioni è reale ma ristretto. La lettura utile non è "cinque percento meglio" ma "un modesto vantaggio su una suite difficile", e il motivo per pagare per questo è la varianza più che la capacità grezza: nei compiti in cui una risposta sbagliata invalida l'intera esecuzione, un piccolo vantaggio nella probabilità di successo si accumula lungo i passaggi.

L'orologio da parete

267 secondi al primo token, 76º posto su 77 modelli con dati di latenza. 46,8 minuti in totale per attività. 97 token al secondo di output una volta avviato, che è il 35 percento più veloce dei 72 di Carbon e non incide quasi per nulla sul tempo trascorso.

La distribuzione è la parte importante. Attraverso il traffico live di OrcaRouter lo stesso modello riporta un p50 di 8,09 secondi al primo token e un p95 di 10,00 secondi su 35,6 milioni di token in sette giorni. L'harness e il gateway stanno misurando popolazioni diverse: uno lascia che il modello ragioni al massimo sforzo su HLE-Diamond, l'altro è la richiesta mediana con qualunque livello di sforzo impostato dal chiamante. Se esegui Fable 5.2 al massimo sforzo riprodurrai il numero di AA; a basso sforzo vedrai qualcosa di vicino a quello del gateway.

Il denaro

$26,54 per esecuzione dell'indice a $8,00 per milione di token di input e $40,00 per milione di token di output — 77º posto su 77, il più costoso della tabella. Gemini 4 Carbon costa $5,48 per le stesse nove valutazioni. È 4,8 volte la spesa per cinque punti indice, ed è il rapporto più utile in assoluto in questo confronto.

AA riporta 275 milioni di token di output per l'esecuzione con verbosità allo 0,97 per cento. Si noti che la percentuale e il conteggio puntano in direzioni opposte rispetto a Carbon, con 2,69 per cento e 205 milioni di token, motivo per cui la percentuale non dovrebbe essere citata come affermazione di concisione.

Il rapporto che rende utilizzabile il confronto è 0,41 $ di spesa benchmark per punto indice rispetto ai 0,09 $ di Carbon. Qualunque cosa se ne concluda, l’aritmetica impone una decisione di routing anziché una decisione su un singolo modello: a questo prezzo il modello è un livello, non la scelta predefinita.

Quello che il punteggio non ti dice

Nel set non è presente alcuna valutazione cyber, quindi nulla qui riguarda il richiamo delle vulnerabilità o la qualità delle patch — rilevante se è per questo che stai guardando a un modello di frontiera. Non c'è alcuna valutazione di agenti a esecuzione prolungata con chiamate agli strumenti attraverso i turni, che è il carico di lavoro per cui Fable 5.2 è effettivamente commercializzato; le attività da terminale la approssimano ma non la riproducono.

Manca anche una misurazione dell'affidabilità. Il traffico live su OrcaRouter ha mostrato un tasso di risposte non-2xx del 10,8% su tutti i provider upstream nell'arco di sette giorni, contro il 39,7% di Carbon. Un harness di benchmark assorbe questo con i retry; la tua applicazione non lo farà a meno che tu non lo implementi.

Leggendolo come una decisione

Se il tuo compito assomiglia alle nove valutazioni e puoi eseguirlo in modo asincrono, 65 a 26,54 $ per esecuzione è difendibile per i casi difficili e uno spreco per quelli facili — instrada in base alla difficoltà e usa un modello più economico per la maggioranza. Se il tuo compito è interattivo, i numeri della harness non sono i tuoi numeri; il p50 del gateway di 8,09 secondi è quello su cui progettare, e il livello di effort è la variabile che decide se ti avvicini a otto secondi o a quattro minuti.

Per il confronto testa a testa, Claude Fable 5.2 vs Claude Fable 5.1 copre la generazione precedente a un prezzo più alto, e Gemini 4 Carbon vs Claude Fable 5.1 copre la coppia tra fornitori diversi. L'elenco dei modelli LLM contiene il resto della coorte v5.0.1 con ID e prezzi; ricontrolla la versione dell'indice su qualsiasi grafico riutilizzi, perché un punteggio v4.3 nella stessa tabella invaliderà il confronto.