Gemini 4 Carbon Benchmark: cosa misura effettivamente 60 su AA v5.0.1

Un punteggio di benchmark è utile solo se sai cosa ha chiesto l'harness, quanto tempo è stato concesso al modello per pensare e quale versione del test ha prodotto quel numero. Per Gemini 4 Carbon le risposte sono: nove valutazioni agentiche e scientifiche, tutto il tempo che voleva e Intelligence Index v5.0.1 — la versione attuale, ed è per questo che il 60 è citabile mentre la maggior parte dei numeri che troverai accanto non lo è. La Gemini 4 Carbon API elenca il prezzo e l'endpoint; questo articolo riguarda il punteggio.

Che cosa è stato effettivamente eseguito

AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset e Terminal-Bench-Science 0.1. Leggi quell'elenco prima di trarne generalizzazioni. Tre dei nove sono lavori su terminale o automazione, due sono ragionamento basato su documenti su input lunghi, due sono scienza e matematica complesse e uno è codice di frontiera. Non c'è alcuna valutazione di agenti web né simulazione di supporto clienti multi-turno nell'insieme, quindi un ottimo punteggio non dice nulla su questi aspetti.

Il punteggio

Carbon totalizza 60, che è il rango 4 su 78 su v5.0.1. Il leader è Claude Fable 5.2 a 65. Il divario di cinque punti è significativo ma non categorico: entrambi i modelli superano le stesse nove valutazioni, e il modo più immediato di leggere la differenza è considerarla all'incirca un compito difficile in più risolto ogni venti tentati al livello di competenza di Carbon. Interpretala come una direzione, non come un tasso.

Il controllo della versione conta più del posizionamento. I modelli valutati su v4.3 o v4.3.2 — compresi la maggior parte dei nomi che vedrai citati nei post di confronto — non sono sulla stessa scala e non possono essere inseriti nella stessa tabella. Se un grafico li mescola, il grafico è sbagliato indipendentemente da chi lo ha pubblicato.

La conseguenza pratica è che non puoi confrontare Carbon con un modello che hai valutato tu stesso lo scorso trimestre, a meno che anche quel modello non sia stato ri-punteggiato. O riesegui il tuo harness su entrambi, oppure limiti l'affermazione alla coorte v5.0.1 e lo dichiari nella frase in cui la citi.

Il costo in termini di tempo

Il tempo al primo token è 64,7 secondi, 69º posto su 77 modelli con dati di latenza. Il tempo di risposta totale è 28,4 minuti per attività nelle nove valutazioni. Una volta che Carbon inizia a emettere, procede a 72 token al secondo, il che è nella norma. Il tempo effettivo è dominato dal pensiero, non dalla scrittura.

Questa è una scelta di progettazione, non un difetto, e vale la pena essere precisi su ciò che implica. Un harness che consente al modello di ragionare finché non è soddisfatto produrrà un punteggio lento ma solido; lo stesso modello dietro un gateway sul traffico live riporta un p50 di 6,89 secondi al primo token e un p95 di 10,00 secondi, perché la maggior parte delle richieste reali non è HLE-Diamond. Le due cifre misurano cose diverse ed entrambe hanno un posto in un piano di capacità.

Il costo monetario

L'esecuzione dell'indice rispetto a Carbon è costata $5.48, a $2,00 per milione di token di input e $10,00 per milione di output, per un costo misto di $2,70 per milione. AA riporta anche 205 milioni di token di output per l'esecuzione, con un valore di verbosità del 2,69 percento. Il conteggio dei token, non la percentuale, è il numero da tenere presente: indica che una valutazione agentica di nove attività ha consumato buona parte di un quarto di miliardo di token di output.

Per confronto, lo stesso indice con Claude Fable 5.2 è costato 26,54 $ — 4,8 volte tanto — a 8,00 $ in ingresso e 40,00 $ in uscita. Questa è la giusta chiave di lettura per la coppia: il divario di cinque punti nel punteggio si compra a quasi cinque volte la spesa in token.

Espresso come rapporto, Carbon paga $0.09 di spesa benchmark per punto indice e Fable 5.2 paga $0.41. Non è un argomento a favore del fatto che il modello più economico sia migliore — il senso di un modello frontier sono i compiti in cui quello più economico fallisce — ma è l'argomento per instradare in base alla difficoltà invece di scegliere un unico modello per tutto. Il 90 percento delle chiamate che un modello da 60 punti supera non ha bisogno di un modello da 65 punti.

L'altro rapporto che vale la pena considerare è il tempo. Carbon impiega 28,4 minuti per attività e Fable 5.2 ne impiega 46,8, quindi il modello più costoso è anche 1,6 volte più lento da un capo all'altro. Su una coda asincrona si tratta di un vincolo di throughput; su una chiamata sincrona è la differenza tra uno spinner e un timeout. Le note di rilascio di Gemini 4 Carbon illustrano cosa è stato rilasciato con il modello, e se la domanda è se questo sostituisca la precedente generazione di Gemini, Gemini 4 Carbon vs Gemini 3.1 Pro è il confronto diretto.

Cosa non copre il benchmark

Non c'è alcun harness per la cybersecurity o il rilevamento delle vulnerabilità in questo set. Se stai valutando Carbon per attività di sicurezza — scansione, triage, generazione di patch — queste nove valutazioni ti dicono qualcosa sul suo ragionamento e nulla sul suo recall su vulnerabilità reali. Lo stesso vale per la programmazione a lungo orizzonte su uno specifico repository, che FrontierCode-AA approssima ma non sostituisce.

Inoltre, qui non viene misurato ciò che accade sotto carico. Il tasso di errore in tempo reale sul traffico OrcaRouter per {{1}}Carbon{{/1}} è stato del 39,7 per cento negli ultimi sette giorni, contro il 10,8 per cento per {{2}}Fable 5.2{{/2}}. Un harness di benchmark ritenta e assorbe questi errori; la tua applicazione deve decidere come gestirli.

Riprodurre tutto questo sul tuo traffico

Non puoi riprodurre i 64,7 secondi di AA senza l'harness di AA, e non dovresti provarci: la cosa utile è misurare i tuoi p50 e p95 e confrontarli con i 6,89 e 10,00 secondi pubblicati dal gateway, perché questo ti dice se i tuoi prompt sono ordinari o insolitamente difficili. Registra il tempo al primo token, i token generati e il numero di risposte non-2xx per route. Se il tuo tasso di errore è superiore al 39,7 percento che il gateway riporta su tutti i provider, il problema è nel tuo lato della richiesta.

Come usarlo in una decisione

Se il tuo lavoro assomiglia alle nove valutazioni — attività da terminale, automazione, documenti con contesti lunghi, scienza dura — Carbon a 60 e $2.70 blended è la scelta di valore della coorte v5.0.1 attuale, e il tempo di pensiero di 64,7 secondi è un costo che puoi assorbire rendendo la chiamata asincrona. Se il tuo lavoro è interattivo, lo stesso modello con un p50 vicino ai sette secondi attraverso il gateway è una proposta del tutto diversa, e il test onesto è il tuo traffico, non il banco di prova di AA.

Per il confronto diretto con il modello che l'ha battuto, Gemini 4 Carbon vs Claude Fable 5.1 mette a confronto la coppia, e il confronto dei prezzi delle API LLM copre dove si colloca il prezzo combinato di 2,70 $ rispetto al resto del catalogo. Ricontrolla la versione su qualsiasi grafico tu riutilizzi: v5.0.1 è l'unica scala a cui appartiene questo 60.