Gemini 4 Carbon Benchmark: Vad 60 på AA v5.0.1 faktiskt mäter

Ett benchmarkresultat är bara användbart om du vet vad testramverket frågade, hur länge modellen fick tänka och vilken version av testet som tog fram siffran. För Gemini 4 Carbon är svaren: nio agentiska och vetenskapliga utvärderingar, så länge den ville, och Intelligence Index v5.0.1 – den aktuella versionen, vilket är anledningen till att 60 är citerbart och de flesta siffror du hittar bredvid det inte är det.Gemini 4 Carbon API-sidan listar priset och slutpunkten; den här artikeln handlar om resultatet.

Vad som faktiskt kördes

AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset och Terminal-Bench-Science 0.1. Läs den listan innan du generaliserar utifrån den. Tre av de nio är terminal- eller automationsarbete, två är dokumentgrundade resonemang över långa indata, två är svår vetenskap och matematik, och en är frontier-kod. Det finns ingen webbagentutvärdering och ingen flerturns-simulering av kundsupport i uppsättningen, så ett utmärkt resultat säger ingenting om dessa.

Poängen

Carbon uppnår 60, vilket är plats 4 av 78 på v5.0.1. Ledaren är Claude Fable 5.2 på 65. Gapet på fem poäng är meningsfullt men inte kategoriskt: båda modellerna klarar samma nio utvärderingar, och det enklaste sättet att tolka skillnaden är som ungefär en extra svår uppgift löst per tjugo försök på Carbons kompetensnivå. Betrakta det som en riktning, inte en takt.

Versionsskyddet är viktigare än rangordningen. Modeller som poängsatts på v4.3 eller v4.3.2 – inklusive de flesta namn du ser citerade i jämförelseinlägg – ligger inte på samma skala och kan inte placeras i samma tabell. Om ett diagram blandar dem är diagrammet fel oavsett vem som publicerade det.

Den praktiska konsekvensen är att du inte kan jämföra Carbon med en modell som du själv utvärderade förra kvartalet om inte den modellen också har poängsatts på nytt. Antingen kör du om din egen testrigg på båda, eller så begränsar du påståendet till v5.0.1-kohorten och säger det i meningen där du citerar det.

Tidskostnaden

Tid till första token är 64,7 sekunder, rang 69 av 77 modeller med latensdata. Total svarstid är 28,4 minuter per uppgift över de nio utvärderingarna. När Carbon börjar generera går den i 72 token per sekund, vilket är vanligt. Väggklockstiden domineras av tänkande, inte av skrivande.

Det är ett designval snarare än en defekt, och det är värt att vara precis om vad det innebär. En harness som låter modellen resonera tills den är nöjd kommer att ge en långsam men stark poäng; samma modell bakom en gateway med livetrafik rapporterar en p50 på 6,89 sekunder till första token och en p95 på 10,00 sekunder, eftersom de flesta verkliga förfrågningar inte är HLE-Diamond. De två siffrorna mäter olika saker och båda hör hemma i en kapacitetsplan.

Pengekostnaden

Att köra indexet mot Carbon kostade $5.48 $2,00 per miljon inputtoken och $10,00 per miljon outputtoken, vilket ger ett blandat pris på $2,70 per miljon. AA rapporterar också 205 miljoner outputtoken för körningen med en verbositetsiffra på 2,69 procent. Det är tokenantalet, inte procenten, som är det tal som ska föras vidare: det visar att en agentisk utvärdering med nio uppgifter förbrukade en bra bit av en kvarts miljard outputtoken.

Som jämförelse kostade samma index mot Claude Fable 5.2 26,54 dollar – 4,8 gånger så mycket – med 8,00 dollar in och 40,00 dollar ut. Det är rätt inramning för paret: poänggapet på fem punkter köps för nästan fem gånger så stor tokenförbrukning.

Uttryckt som ett förhållande betalar Carbon $0.09 i benchmarkutgift per indexpoäng och Fable 5.2 betalar $0.41. Det är inte ett argument för att den billigare modellen är bättre — poängen med en frontiermodell är de uppgifter som den billigare misslyckas med — men det är argumentet för att routa efter svårighetsgrad i stället för att välja en modell för allt. De 90 procent av anropen som en 60-poängsmodell klarar behöver inte en 65-poängsmodell.

Den andra kvoten som är värd att ta med är tid. Carbon lägger 28,4 minuter per uppgift och Fable 5.2 lägger 46,8, så den dyrare modellen är också 1,6 gånger långsammare från början till slut. I en asynkron kö är det en begränsning i genomströmningen; i ett synkront anrop är det skillnaden mellan en snurra och en timeout. De Gemini 4 Carbon release notes täcker det som levererades med modellen, och om frågan är huruvida den ersätter den föregående Gemini-generationen är Gemini 4 Carbon vs Gemini 3.1 Pro den direkta jämförelsen.

Vad benchmarken inte täcker

Det finns inget cyber- eller sårbarhetsdetekteringsramverk i den här uppsättningen. Om du utvärderar Carbon för säkerhetsarbete – skanning, triagering, patchgenerering – säger de här nio utvärderingarna något om dess resonemang och ingenting om dess recall på verkliga sårbarheter. Detsamma gäller långvarig kodning mot ett specifikt kodförråd, vilket FrontierCode-AA approximerar men inte ersätter.

Det finns inte heller någon mätning här av vad som händer under belastning. Den faktiska felkvoten i OrcaRouter-trafik för Carbon var 39,7 procent under de senaste sju dagarna, jämfört med 10,8 procent för Fable 5.2. Ett benchmark-ramverk försöker igen och absorberar detta; din applikation måste själv avgöra hur.

Att återskapa något av detta på din egen trafik

Du kan inte reproducera AA:s 64,7 sekunder utan AA:s testrigg, och du bör inte försöka: det användbara är att mäta dina egna p50 och p95 och jämföra dem med gatewayens publicerade 6,89 och 10,00 sekunder, eftersom det säger dig om dina prompts är vanliga eller ovanligt svåra. Logga tid till första token, antal utdata-tokens och antalet icke-2xx per rutt. Om din felkvot är över de 39,7 procent som gatewayen rapporterar över alla leverantörer, är problemet på din sida av begäran.

Hur man använder detta i ett beslut

Om ditt arbete liknar de nio utvärderingarna – terminaluppgifter, automatisering, dokument med långa kontexter, hård vetenskap – är Carbon vid 60 och $2,70 blandat det mest prisvärda valet i den aktuella v5.0.1-kohorten, och betänketiden på 64,7 sekunder är en kostnad du kan absorbera genom att göra anropet asynkront. Om ditt arbete är interaktivt är samma modell med ett p50 på nära sju sekunder via gatewayen en helt annan sak, och det ärligaste testet är din egen trafik snarare än AA:s harness.

För den direkta jämförelsen mot modellen som slog den, Gemini 4 Carbon vs Claude Fable 5.1 ställer paret sida vid sida, och jämförelsen av LLM API-priser täcker var det blandade priset på $2,70 ligger i förhållande till resten av katalogen. Dubbelkolla versionen på alla diagram du återanvänder: v5.0.1 är den enda skalan som denna 60 tillhör.