Gemini 4 Carbon Benchmark: wat 60 op AA v5.0.1 daadwerkelijk meet

Een benchmarkscore is alleen nuttig als je weet wat de testomgeving vroeg, hoe lang het model mocht nadenken en welke versie van de test het getal opleverde. Voor Gemini 4 Carbon luiden de antwoorden: negen agentische en wetenschappelijke evaluaties, zo lang als het wilde, en Intelligence Index v5.0.1 — de huidige versie, en daarom is de 60 citeerbaar en de meeste getallen die je ernaast zult vinden niet. De Gemini 4 Carbon API pagina vermeldt de prijs en het endpoint; dit stuk gaat over de score.

Wat er daadwerkelijk is uitgevoerd

AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset en Terminal-Bench-Science 0.1. Lees die lijst voordat je daaruit generaliseert. Drie van de negen zijn terminal- of automatiseringswerk, twee zijn documentgebaseerd redeneren over lange inputs, twee zijn harde wetenschap en wiskunde, en één is frontiercode. Er is geen webagent-evaluatie en geen multi-turn-simulatie van klantenondersteuning in de set, dus een hoge score zegt niets over die.

De score

Carbon scoort 60, wat neerkomt op rang 4 van 78 op v5.0.1. De leider is Claude Fable 5.2 met 65. Het gat van vijf punten is betekenisvol, maar niet categorisch: beide modellen slagen voor dezelfde negen evaluaties, en de eenvoudigste manier om het verschil te interpreteren is als ongeveer één extra moeilijke taak die wordt opgelost per twintig pogingen op het competentieniveau van Carbon. Beschouw dat als een richting, niet als een tempo.

De versiecontrole is belangrijker dan de rangorde. Modellen die op v4.3 of v4.3.2 zijn gescoord — inclusief de meeste namen die je in vergelijkingsposts ziet aangehaald — staan niet op dezelfde schaal en kunnen niet in dezelfde tabel worden geplaatst. Als een grafiek ze door elkaar haalt, is de grafiek fout, ongeacht wie hem heeft gepubliceerd.

De praktische consequentie is dat je Carbon niet kunt vergelijken met een model dat je vorig kwartaal zelf hebt geëvalueerd, tenzij dat model ook opnieuw is gescoord. Ofwel draai je je eigen harness opnieuw op beide, ofwel beperk je de bewering tot het v5.0.1-cohort en zeg je dat in de zin waarin je die citeert.

De tijdskosten

Tijd tot het eerste token is 64,7 seconden, rang 69 van de 77 modellen met latentiegegevens. De totale reactietijd is 28,4 minuten per taak over de negen evaluaties. Zodra Carbon begint te genereren, draait het op 72 tokens per seconde, wat normaal is. De totale doorlooptijd wordt gedomineerd door het denken, niet door het schrijven.

Dat is een ontwerpkeuze, geen defect, en het is de moeite waard om precies te zijn over wat die impliceert. Een harness die het model laat redeneren tot het tevreden is, levert een trage maar sterke score op; hetzelfde model achter een gateway op live verkeer rapporteert een p50 van 6,89 seconden tot het eerste token en een p95 van 10,00 seconden, omdat de meeste echte verzoeken geen HLE-Diamond zijn. De twee cijfers meten verschillende dingen en beide horen thuis in een capaciteitsplan.

De geldkosten

Het draaien van de index tegen Carbon kostte$5,48 bij $2,00 per miljoen inputtokens en $10,00 per miljoen output, wat neerkomt op een gemiddelde van $2,70 per miljoen. AA meldt voor de run ook 205 miljoen outputtokens, met een verbositeitscijfer van 2,69 procent. Het aantal tokens, niet het percentage, is het getal dat je moet onthouden: het vertelt je dat een agentische evaluatie met negen taken bijna een kwart miljard outputtokens heeft verbruikt.

Ter vergelijking: dezelfde index ten opzichte van Claude Fable 5.2 kostte $26,54 — 4,8 keer zoveel — tegen $8,00 in en $40,00 out. Dat is de juiste framing voor het paar: het scoreverschil van vijf punten wordt gekocht met bijna vijf keer zoveel tokenuitgaven.

Als verhouding betaalt Carbon $0,09 aan benchmarkuitgaven per indexpunt en Fable 5.2 betaalt $0,41. Dat is geen argument dat het goedkopere model beter is — het bestaansrecht van een frontiermodel zijn de taken waarop het goedkopere faalt — maar het is wel het argument voor routeren op moeilijkheid in plaats van één model voor alles te kiezen. De 90 procent van de aanroepen die een model met 60 punten aankan, heeft geen model met 65 punten nodig.

De andere verhouding die de moeite waard is om mee te nemen, is tijd. Carbon besteedt 28,4 minuten per taak en Fable 5.2 doet er 46,8, dus het duurdere model is end-to-end ook 1,6 keer langzamer. In een asynchrone wachtrij is dat een doorvoerbeperking; bij een synchrone aanroep is het het verschil tussen een spinner en een timeout. De releaseopmerkingen van Gemini 4 Carbon behandelen wat er met het model is uitgebracht, en als de vraag is of het de vorige Gemini-generatie vervangt, Gemini 4 Carbon vs. Gemini 3.1 Pro is de directe vergelijking.

Wat de benchmark niet dekt

Er is geen cyber- of kwetsbaarheidsdetectietestharnas in deze set. Als je Carbon evalueert voor beveiligingswerk — scannen, triage, patchgeneratie — dan vertellen deze negen evaluaties je iets over de redeneercapaciteit ervan en niets over de recall op echte kwetsbaarheden. Hetzelfde geldt voor langdurig coderen op een specifieke repository, wat FrontierCode-AA benadert maar niet vervangt.

Er is hier ook geen meting van wat er onder belasting gebeurt. Het live foutpercentage op OrcaRouter-verkeer voor Carbon was 39,7 procent over de afgelopen zeven dagen, tegenover 10,8 procent voor Fable 5.2. Een benchmarkharnas doet opnieuw pogingen en absorbeert dat; jouw applicatie moet beslissen hoe.

Dit op je eigen verkeer reproduceren

Je kunt AA's 64,7 seconden niet reproduceren zonder AA's harness, en dat moet je ook niet proberen: het nuttige is om je eigen p50 en p95 te meten en die te vergelijken met de gepubliceerde 6,89 en 10,00 seconden van de gateway, want dat vertelt je of je prompts gewoon of ongewoon moeilijk zijn. Log de tijd tot het eerste token, het aantal outputtokens en het aantal non-2xx per route. Als je foutpercentage boven de 39,7 procent ligt die de gateway over alle providers rapporteert, ligt het probleem aan jouw kant van het verzoek.

Hoe dit in een beslissing te gebruiken

Als je werk lijkt op de negen evaluaties — terminaltaken, automatisering, documenten met lange contexten, harde wetenschap — dan is Carbon at 60 met een blended prijs van $2,70 de voordeligste keuze van het huidige v5.0.1-cohort, en de denktijd van 64,7 seconden is een kostenpost die je kunt opvangen door de aanroep asynchroon te maken. Als je werk interactief is, is hetzelfde model met een p50 van bijna zeven seconden via de gateway een heel ander verhaal, en de eerlijke test is je eigen verkeer in plaats van de harness van AA.

Voor de rechtstreekse confrontatie met het model dat het versloeg, Gemini 4 Carbon vs Claude Fable 5.1 zet het tweetal naast elkaar, en de LLM API-prijsvergelijking behandelt waar de blended prijs van $2.70 staat ten opzichte van de rest van de catalogus. Controleer de versie opnieuw op elke grafiek die je hergebruikt: v5.0.1 is de enige schaal waar deze 60 bij hoort.