Gemini 4 Carbon-recension: Fyra på indexet, långsam att svara

Gemini 4 Carbon ligger på fjärde plats på den oberoende resultattavlan och är prissatt som en mellanklassmodell, vilket är en ovanlig kombination att granska ärligt: sidan för Gemini 4 Carbon API anger 2,00 USD per miljon indatatoken och 10,00 USD per miljon utdatatoken, medan poängen den får är 60 på Artificial Analysis Intelligence Index v5.0.1, på fjärde plats av 78 modeller. Frågan en recension måste besvara är inte huruvida 60 är bra. Det är vad du betalar i väggklockstid och i felfrekvens för att få det.

Vad det är

En multimodell i Googles Gemini 4-familj med ett kontextfönster på 1 048 576 token och ett utdatatak på 65K. Den tar emot text, bilder, ljud, video och dokument och returnerar text, med inbyggd verktygsanvändning och strukturerad JSON-utdata. Den svarar via både den OpenAI-kompatibla slutpunkten och det inbyggda Gemini generateContent-API:et, och Zero Data Retention är tillgängligt.

Parameteruppsättningen berättar vilken typ av modell den vill vara: reasoning, include_reasoning, structured_outputs, tools, tool_choice, seed, temperature, top_p. Det finns en seed och ett svarsformat på samma lista, vilket är signaturen för en modell positionerad för extrahering och agentiska pipelines snarare än för kreativt skrivande.

Poängen och den version som den poängsattes på

60 är inte jämförbart med äldre siffror som du hittar citerade för andra modeller, och detta är det enskilt vanligaste felet i jämförelser som publicerats den här månaden. Intelligence Index v5.0.1 är en annan utvärderingsuppsättning än v4.3 och v4.3.2, så en poäng från v4.3 och en poäng från v5.0.1 hör inte hemma i samma tabell. Inom v5.0.1-kohorten placerar Carbons poäng på 60 den på fjärde plats av 78, efter Claude Fable 5.2 på 65 och före allt annat som har ompoängsatts.

De nio utvärderingar som ligger bakom den siffran är AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset och Terminal-Bench-Science 0.1. Det är en agentisk och vetenskaplig blandning – terminalarbete, automatisering, dokumentförankring, krävande resonemang – inte en blandning för kodningsleaderboard. En modell kan få bra poäng här och ändå förlora vid en refaktorering i repositoriestorlek, så läs uppdelningen innan du drar några slutsatser om ditt eget användningsfall.

Delen som rubriksiffran döljer

Carbons tid till första token i AA-harnesset är 64,7 sekunder, rang 69 av 77 modeller med latensdata. Total väggklockstid per uppgift är 28,4 minuter över de nio utvärderingarna. Utdatathastigheten när den väl börjar skriva är 72 token per sekund, vilket är oanmärkningsvärt men inte problemet; problemet är tänktiden före första token.

Att köra indexet mot Carbon kostade $5,48 i leverantörsutgifter, vilket med ett blandat pris på $2,70 per miljon token är mycket token för en enda benchmarkkörning. AA rapporterar också en verbositet på 2,69 procent tillsammans med 205 miljoner utdatatoken för körningen. Tolka inte procenttalet som ett koncishetsmått: Claude Fable 5.2 visar en betydligt lägre nivå på 0,97 procent med ett högre antal utdatatoken på 275 miljoner, så de två siffrorna rör sig oberoende av varandra.

Om priset är anledningen till att du läser det här, jämförelsen av LLM-API-priserplacerar ett sammanvägt pris på $2.70 per miljon bredvid resten av katalogen, inklusive de modeller som ligger under det i pris och de som kostar flera gånger mer för en jämförbar poäng.

Genom gatewayen ser siffrorna annorlunda ut

AA:s 64,7 sekunder är ett benchmark-ramverk som låter modellen tänka på svåra problem. I OrcaRouters livetrafik under de senaste sju dagarna var p50-tiden till första token för Carbon 6,89 sekunder och p95 var 10,00 sekunder, med 226 token per sekund i utdata över 9,6 miljoner serverade token. Båda är sanna. En chattprodukt ser något nära den första siffran; en batchutvärderingsklon ser något nära den andra.

Den siffra som förtjänar mer uppmärksamhet än någon av de andra är felkvoten: 39,7 procent av förfrågningarna returnerade icke-2xx hos alla uppströmsleverantörer under det sjudagarsfönstret, jämfört med 10,8 procent för Claude Fable 5.2. Vad orsaken än är – kapacitet, hastighetsbegränsningar, leverantörsrotation – kommer en produkt som anropar Carbon utan en återförsöksbudget och en reservmodell att visa användarna fel med en frekvens som ingen benchmarkgraf förutspår. Det är en routningsfråga, och det är det man bör testa före den andra veckan.

Där det hör hemma i katalogen

Jämfört med sina egna syskon är Carbon den multimodala medlemmen i Gemini 4-serien snarare än den billiga varianten: indatapriset är identiskt med Gemini 3.1 Pro på $2.00, utdatapriset är $2.00 billigare, och skillnaden som spelar roll är att Carbon hanterar ljud och video där 3.1 Pro hanterar text och bilder. Om din pipeline aldrig rör en videofil betalar du för en funktion som du inte kommer att använda.

Jämfört med resten av fältet brukar beslutet vanligtvis handla om två frågor. Om det är ett Google-internt val, Gemini 4 Carbon vs Gemini 3.1 Pro är jämförelsen som spelar roll. Om det gäller mellan olika leverantörer, GPT-6.1 Sol vs Gemini 4 Carbon och Claude Opus 5.5 vs Gemini 4 Carbon täcker de två vanligaste alternativen, och LLM-modellistan har hela katalogen om ingendera är den du övervägde.

Dom

Carbon tar sin fjärdeplats i kapacitet per dollar i indata, och det gör den på ett sätt som passar långt, multimodalt, strukturerat arbete snarare än samtal. Kostnaderna som inte syns i pristabellen är de två som avgör om den fungerar för dig: 64,7 sekunders tänkande innan den första token i en benchmarkrigg, och en felfrekvens nära 40 procent på skarp trafik. Kringgå båda – en fallback-kedja, en återförsöksbudget och en asynkron kö för allt som inte är interaktivt – och förhållandet mellan pris och poäng är genuint svårt att slå. Sätter du den bakom ett synkront gränssnitt utan fallback kommer du att dra slutsatsen att modellen är sämre än den är.