Gemini 4 Carbon im Test: Vierter im Index, langsam bei der Antwort

Gemini 4 Carbon belegt den vierten Platz in der unabhängigen Rangliste und ist wie ein Mittelklassemodell bepreist, eine ungewöhnliche Kombination für eine ehrliche Bewertung: die Gemini 4 Carbon API-Seite nennt $2.00 pro Million Eingabe-Tokens und $10.00 pro Million Ausgabe-Tokens, während der erzielte Score auf dem Artificial Analysis Intelligence Index v5.0.1 60 beträgt, was Platz vier von 78 Modellen entspricht. Die Frage, die eine Bewertung beantworten muss, ist nicht, ob 60 gut ist. Sie lautet, was man an tatsächlicher Laufzeit und Fehlerquote zahlt, um ihn zu erreichen.

Was es ist

Ein multimodales Modell aus der Gemini-4-Familie von Google mit einem Kontextfenster von 1.048.576 Token und einer Ausgabegrenze von 65K. Es verarbeitet Text, Bilder, Audio, Video und Dokumente und gibt Text zurück, mit nativer Tool-Nutzung und strukturierter JSON-Ausgabe. Es antwortet sowohl über den OpenAI-kompatiblen Endpunkt als auch über die native Gemini-generateContent-API, und Zero Data Retention ist verfügbar.

Das Parameterset sagt Ihnen, welche Art von Modell es sein möchte: {{1}}reasoning{{/1}}, {{2}}include_reasoning{{/2}}, {{3}}structured_outputs{{/3}}, {{4}}tools{{/4}}, {{5}}tool_choice{{/5}}, {{6}}seed{{/6}}, {{7}}temperature{{/7}}, {{8}}top_p{{/8}}. Auf derselben Liste stehen ein Seed und ein Antwortformat, was die Signatur eines Modells ist, das eher für Extraktion und agentische Pipelines als für kreatives Schreiben positioniert ist.

Die Punktzahl und die Version, auf der sie berechnet wurde

Die 60 ist nicht vergleichbar mit älteren Zahlen, die für andere Modelle zitiert werden, und dies ist der häufigste Fehler in den in diesem Monat veröffentlichten Vergleichen. Intelligence Index v5.0.1 ist ein anderer Evaluationssatz als v4.3 und v4.3.2, daher gehören ein v4.3-Score und ein v5.0.1-Score nicht in dieselbe Tabelle. Innerhalb der v5.0.1-Kohorte bringt Carbons 60 es auf Platz vier von 78, hinter Claude Fable 5.2 mit 65 und vor allem anderen, das neu bewertet wurde.

Die neun Bewertungen hinter dieser Zahl sind AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset und Terminal-Bench-Science 0.1. Das ist eine Mischung aus agentischen und wissenschaftlichen Aufgaben — Terminal-Arbeit, Automatisierung, Dokumentenfundierung, anspruchsvolles Reasoning — und keine Mischung aus einem Coding-Leaderboard. Ein Modell kann hier gut abschneiden und trotzdem bei einem Refactoring im Repository-Maßstab verlieren, daher sollte man sich die Aufschlüsselung ansehen, bevor man irgendetwas über den eigenen Anwendungsfall schließt.

Der Teil, den die Zahl in der Schlagzeile verbirgt

Die Zeit von Carbon bis zum ersten Token im AA-Harness beträgt 64,7 Sekunden, Rang 69 von 77 Modellen mit Latenzdaten. Die gesamte Wanduhrzeit pro Aufgabe beträgt 28,4 Minuten über die neun Bewertungen hinweg. Die Ausgabegeschwindigkeit, sobald das Schreiben beginnt, liegt bei 72 Token pro Sekunde, was unauffällig, aber nicht das Problem ist; das Problem ist die Denkzeit vor dem ersten Token.

Das Ausführen des Index gegen Carbon kostete $5,48 an Anbieterausgaben, was bei einem Mischpreis von $2,70 pro Million Token für einen einzigen Benchmark-Durchlauf eine große Tokenmenge ist. AA meldet für den Lauf außerdem eine Ausführlichkeit von 2,69 Prozent bei 205 Millionen Ausgabe-Token. Lesen Sie den Prozentsatz nicht als Kürze-Score: Claude Fable 5.2 verzeichnet mit 0,97 Prozent einen weit niedrigeren Wert bei einer höheren Ausgabemenge von 275 Millionen Token, sodass sich die beiden Zahlen unabhängig voneinander bewegen.

Wenn der Preis der Grund ist, warum Sie dies lesen, dann stellt der LLM-API-Preisvergleich einen Mischpreis von 2,70 US-Dollar pro Million neben den Rest des Katalogs, einschließlich der Modelle, die ihn unterbieten, und derjenigen, die für einen vergleichbaren Score ein Mehrfaches kosten.

Durch das Gateway sehen die Zahlen anders aus.

AAs 64,7 Sekunden sind ein Benchmark-Harness, mit dem das Modell über schwierige Probleme nachdenken kann. Beim Live-Traffic von OrcaRouter in den letzten sieben Tagen betrug die p50-Zeit bis zum ersten Token für Carbon 6,89 Sekunden und die p95 10,00 Sekunden, bei 226 Tokens pro Sekunde Ausgabe über 9,6 Millionen bediente Tokens. Beides ist wahr. Ein Chat-Produkt sieht etwas nahe der ersten Zahl; ein Batch-Evaluierungs-Klon sieht etwas nahe der zweiten.

Die Zahl, die mehr Aufmerksamkeit verdient als jede der beiden anderen, ist die Fehlerrate: 39,7 Prozent der Anfragen lieferten in diesem Sieben-Tage-Fenster bei allen Upstream-Anbietern Nicht-2xx-Antworten zurück, gegenüber 10,8 Prozent bei Claude Fable 5.2. Was auch immer die Ursache sein mag – Kapazität, Rate Limits, Anbieter-Rotation –, ein Produkt, das Carbon ohne Retry-Budget und Fallback-Modell aufruft, wird Nutzern Fehler in einer Häufigkeit zeigen, die kein Benchmark-Diagramm vorhersagt. Das ist eine Routing-Frage, und sie ist das Einzige, was vor der zweiten Woche getestet werden sollte.

Wo es im Katalog hingehört

Im Vergleich zu seinen Geschwistern ist Carbon innerhalb der Gemini-4-Reihe das multimodale Modell und nicht das günstige: Der Eingabepreis ist identisch mit Gemini 3.1 Pro bei 2,00 US-Dollar, die Ausgabe ist 2,00 US-Dollar günstiger, und der entscheidende Unterschied besteht darin, dass Carbon Audio und Video verarbeitet, während 3.1 Pro Text und Bilder verarbeitet. Wenn Ihre Pipeline niemals eine Videodatei verarbeitet, zahlen Sie für eine Funktion, die Sie nicht nutzen werden.

Gegenüber dem restlichen Feld läuft die Entscheidung meist auf zwei Fragen hinaus. Handelt es sich um eine Google-interne Wahl, Gemini 4 Carbon vs Gemini 3.1 Pro ist der Vergleich, der zählt. Geht es um verschiedene Anbieter, GPT-6.1 Sol vs Gemini 4 Carbon und Claude Opus 5.5 vs Gemini 4 Carbon die beiden häufigsten Alternativen ab, und die LLM-Modellliste enthält den vollständigen Katalog, falls keines von beiden das Modell ist, das Sie in Betracht gezogen haben.

Urteil

Carbon verdient seinen vierten Platz bei der Leistungsfähigkeit pro Dollar Input – und zwar auf eine Weise, die eher zu langen, multimodalen, strukturierten Aufgaben als zu Konversation passt. Die Kosten, die nicht in der Preistabelle stehen, sind die beiden, die entscheiden, ob es für Sie funktioniert: 64,7 Sekunden Denkzeit vor dem ersten Token unter einem Benchmark-Harness und eine Fehlerquote von nahezu 40 Prozent im Live-Verkehr. Umgehen Sie beides – mit einer Fallback-Kette, einem Retry-Budget und einer asynchronen Warteschlange für alles, was nicht interaktiv ist –, und das Verhältnis von Preis zu Score ist wirklich kaum zu schlagen. Setzen Sie es hinter eine synchrone UI ohne Fallback, und Sie werden zu dem Schluss kommen, dass das Modell schlechter ist, als es tatsächlich ist.