Gemini 4 Carbon Benchmark: Was 60 auf AA v5.0.1 tatsächlich misst

Ein Benchmark-Ergebnis ist nur nützlich, wenn man weiß, was der Harness gefragt hat, wie lange das Modell nachdenken durfte und welche Version des Tests die Zahl erzeugt hat. Für Gemini 4 Carbon lauten die Antworten: neun agentische und wissenschaftliche Evaluationen, so lange es wollte, und Intelligence Index v5.0.1 – die aktuelle Version, weshalb die 60 zitierfähig ist und die meisten Zahlen, die man daneben findet, es nicht sind. Die Gemini 4 Carbon API-Seite listet den Preis und den Endpunkt; in diesem Beitrag geht es um das Ergebnis.

Was tatsächlich ausgeführt wurde

AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset und Terminal-Bench-Science 0.1. Lesen Sie diese Liste, bevor Sie daraus Verallgemeinerungen ableiten. Von den neun entfallen drei auf Terminal- oder Automatisierungsarbeiten, zwei auf dokumentgestütztes Reasoning über lange Eingaben, zwei auf harte Naturwissenschaften und Mathematik und eines auf Frontier-Code. Im Set gibt es keine Web-Agenten-Evaluierung und keine Multi-Turn-Kundensupport-Simulation, daher sagt eine hervorragende Punktzahl nichts über diese aus.

Die Punktzahl

Carbon erreicht 60, was Rang 4 von 78 auf v5.0.1 bedeutet. Der Spitzenreiter ist Claude Fable 5.2 mit 65. Der Abstand von fünf Punkten ist bedeutsam, aber nicht kategorisch: Beide Modelle bestehen dieselben neun Bewertungen, und am einfachsten lässt sich der Unterschied als ungefähr eine zusätzliche gelöste schwierige Aufgabe pro zwanzig Versuche auf dem Kompetenzniveau von Carbon lesen. Betrachten Sie das als Richtung, nicht als Rate.

Die Versionsabsicherung ist wichtiger als der Rang. Modelle, die auf v4.3 oder v4.3.2 bewertet wurden – einschließlich der meisten Namen, die in Vergleichsbeiträgen zitiert werden – liegen nicht auf derselben Skala und lassen sich nicht in dieselbe Tabelle einordnen. Wenn ein Diagramm sie vermischt, ist das Diagramm falsch, egal wer es veröffentlicht hat.

Die praktische Konsequenz ist, dass Sie Carbon nicht mit einem Modell vergleichen können, das Sie selbst im letzten Quartal evaluiert haben, es sei denn, dieses Modell wurde ebenfalls erneut bewertet. Führen Sie entweder Ihren eigenen Harness für beide erneut aus oder beschränken Sie die Aussage auf die Kohorte v5.0.1 und sagen Sie dies in dem Satz, in dem Sie sie zitieren.

Der Zeitaufwand

Die Zeit bis zum ersten Token beträgt 64,7 Sekunden, Rang 69 von 77 Modellen mit Latenzdaten. Die Gesamtantwortzeit beträgt 28,4 Minuten pro Aufgabe über die neun Bewertungen hinweg. Sobald Carbon mit der Ausgabe beginnt, läuft es mit 72 Token pro Sekunde, was durchschnittlich ist. Die reale Zeit wird vom Denken dominiert, nicht vom Schreiben.

Das ist eine Designentscheidung und kein Defekt, und es lohnt sich, präzise zu benennen, was sie impliziert. Eine Testumgebung, die das Modell so lange nachdenken lässt, bis es zufrieden ist, erzeugt einen langsamen, aber starken Score; dasselbe Modell hinter einem Gateway im Live-Traffic meldet einen p50 von 6,89 Sekunden bis zum ersten Token und einen p95 von 10,00 Sekunden, weil die meisten echten Anfragen nicht HLE-Diamond sind. Die beiden Werte messen unterschiedliche Dinge und beide gehören in einen Kapazitätsplan.

Die Geldkosten

Der Lauf des Index gegen Carbon kostete $5.48 bei $2.00 pro Million Eingabetoken und $10.00 pro Million Ausgabetoken, was einem kombinierten Preis von $2.70 pro Million entspricht. AA meldet für den Lauf außerdem 205 Millionen Ausgabetoken bei einer Verbositätskennzahl von 2,69 Prozent. Die Tokenanzahl, nicht der Prozentsatz, ist die Zahl, die man mitnehmen sollte: Sie sagt Ihnen, dass eine agentische Bewertung mit neun Aufgaben einen Großteil einer Viertelmilliarde Ausgabetoken verbraucht hat.

Zum Vergleich: Derselbe Index gegen Claude Fable 5.2 kostete $26.54 – 4,8-mal so viel – bei $8.00 Input und $40.00 Output. Das ist die richtige Einordnung für das Paar: Die Fünf-Punkte-Differenz beim Score wird mit fast dem Fünffachen an Token-Aufwand erkauft.

Als Verhältnis ausgedrückt zahlt Carbon 0,09 $ an Benchmark-Ausgaben pro Indexpunkt und Fable 5.2 zahlt 0,41 $. Das ist kein Argument dafür, dass das günstigere Modell besser ist — der Sinn eines Frontier-Modells sind die Aufgaben, an denen das günstigere scheitert —, sondern das Argument für Routing nach Schwierigkeit statt dafür, ein einziges Modell für alles zu wählen. Die 90 Prozent der Aufrufe, die ein Modell mit 60 Punkten bewältigt, brauchen kein Modell mit 65 Punkten.

Das andere Verhältnis, das man im Auge behalten sollte, ist die Zeit. Carbon benötigt 28,4 Minuten pro Aufgabe und Fable 5.2 46,8, sodass das teurere Modell Ende-zu-Ende auch 1,6-mal langsamer ist. In einer asynchronen Warteschlange ist das eine Durchsatzbeschränkung; bei einem synchronen Aufruf ist es der Unterschied zwischen einem Spinner und einem Timeout. Die Versionshinweise zu Gemini 4 Carbon decken ab, was mit dem Modell ausgeliefert wurde, und wenn die Frage ist, ob es die vorherige Gemini-Generation ablöst, Gemini 4 Carbon vs Gemini 3.1 Pro ist der direkte Vergleich.

Was der Benchmark nicht abdeckt

In diesem Set gibt es keine Cyber- oder Schwachstellenerkennungs-Harness. Wenn Sie Carbon für Sicherheitsarbeit bewerten – Scanning, Triage, Patch-Generierung –, dann sagen diese neun Evaluierungen etwas über sein Reasoning aus und nichts über seinen Recall bei echten Schwachstellen. Dasselbe gilt für Long-Horizon-Coding in einem bestimmten Repository, das FrontierCode-AA annähert, aber nicht ersetzt.

Hier wird auch nicht gemessen, was unter Last passiert. Die Live-Fehlerrate im OrcaRouter-Datenverkehr für Carbon lag in den letzten sieben Tagen bei 39,7 Prozent, gegenüber 10,8 Prozent für Fable 5.2. Ein Benchmark-Harness wiederholt und absorbiert das; Ihre Anwendung muss entscheiden, wie.

Dies alles mit Ihrem eigenen Traffic nachzuvollziehen

Sie können die 64,7 Sekunden von AA nicht ohne das Harness von AA reproduzieren, und Sie sollten es auch nicht versuchen: Sinnvoll ist, Ihre eigenen p50 und p95 zu messen und sie mit den vom Gateway veröffentlichten 6,89 und 10,00 Sekunden zu vergleichen, denn das sagt Ihnen, ob Ihre Prompts gewöhnlich oder ungewöhnlich schwierig sind. Protokollieren Sie die Zeit bis zum ersten Token, die ausgegebenen Token und die Anzahl der Nicht-2xx-Antworten pro Route. Wenn Ihre Fehlerrate über den 39,7 Prozent liegt, die das Gateway über alle Anbieter hinweg meldet, liegt das Problem auf Ihrer Seite der Anfrage.

Wie Sie dies bei einer Entscheidung nutzen

Wenn Ihre Arbeit den neun Bewertungen ähnelt – Terminal-Aufgaben, Automatisierung, Dokumente mit langen Kontexten, harte Naturwissenschaften –, dann ist Carbon bei 60 und 2,70 $ gemischt die Preis-Leistungs-Wahl der aktuellen v5.0.1-Kohorte, und die 64,7 Sekunden Denkzeit sind ein Kostenfaktor, den Sie absorbieren können, indem Sie den Aufruf asynchron ausführen. Wenn Ihre Arbeit interaktiv ist, ist dasselbe Modell mit einem p50 von knapp sieben Sekunden über das Gateway eine ganz andere Sache, und der ehrliche Test ist Ihr eigener Traffic und nicht der Harness von AA.

Für das direkte Duell gegen das Modell, das es geschlagen hat, Gemini 4 Carbon vs Claude Fable 5.1 stellt das Paar nebeneinander, und der LLM-API-Preisvergleich deckt ab, wo der kombinierte Preis von $2.70 im Verhältnis zum übrigen Katalog liegt. Prüfen Sie die Version auf jedem Diagramm, das Sie wiederverwenden, erneut: v5.0.1 ist der einzige Maßstab, zu dem diese 60 gehört.