Titelkarte mit der Aufschrift Erste unabhängige Zahlen von Gemini 4 Neon, mit der Zeile Die 61 ist die xhigh-Einstellung. Im Standard erreicht es 59,6, und Carbon erreicht 60,0, darüber drei Karten mit der Aufschrift Gemini 4 Neon bei xhigh 61,4, Gemini 4 Neon bei high (Standard) 59,6 und Gemini 4 Carbon bei high 60,0, am unteren Rand mit Artificial Analysis Intelligence Index v5.0.1, 19. November 2026.
Guides & Insights

Gemini 4 Neons erste unabhängige Benchmarks: Die 61 ist ein xhigh-Wert, und in der Standardeinstellung landet es hinter Carbon

Autor

jinhao.song

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Googles Launch-Post für Gemini 4 Neon beginnt mit einem Artificial Analysis Intelligence Index von 61 und liegt damit insgesamt auf Platz drei. Artificial Analysis veröffentlicht inzwischen eine eigene Seite für Gemini 4 Neon, und diese Seite nennt 61,4 — für die xhigh-Variante, die tiefste von vier Denkstufen, auf Platz sechs von 96 Modellen im Index v5.0.1. Bei der Einstellung, die Neon tatsächlich standardmäßig verwendet, high, bewertet derselbe Tracker es mit 59,6. Gemini 4 Carbon, das Modell, mit dem Googles Ankündigung Neon in fast jedem Absatz vergleicht, liegt bei seinem eigenen Maximum bei 60,0. Liest man die beiden Seiten so, wie sie veröffentlicht sind, ist das neueste Gemini 4 nicht das intelligenteste: Es gewinnt um 1,4 Punkte, wenn man es auf eine Stufe hebt, die Carbon nicht hat, und verliert um 0,4 Punkte, wenn man die beiden Modelle bei den Einstellungen vergleicht, die ihre Anbieter empfehlen.

Nichts davon macht Neon zu einem schlechten Modell, und die Geschwindigkeitszahlen im selben Panel sind das stärkste Argument dafür, das jemand veröffentlicht hat. Aber es bedeutet, dass ausgerechnet die eine Zahl, die diese Woche am ehesten in einer Präsentationsfolie landen wird, die am wenigsten repräsentative Konfiguration des Modells ist, und die Korrektur ist jetzt von jedem mit einem Browser überprüfbar statt eine Schlussfolgerung aus der Tabelle eines Anbieters.

Was der Tracker tatsächlich veröffentlicht hat

Artificial Analysis führt Gemini 4 Neon als am 18. November 2026 veröffentlicht, proprietär, von Google, mit einem Kontextfenster von 1M Token sowie Text-, Bild-, Sprach- und Videoeingabe. Es gibt vier separat bewertete Varianten – low, medium, high und xhigh –, und die Seite öffnet standardmäßig mit xhigh, weshalb die prominent angezeigte Zahl 61,4 ist und nicht die Zahl, die man erhielte, wenn man das Modell ganz ohne Thinking-Parameter aufriefe. Der geltende Index ist v5.0.1, was für alle wichtig ist, die einen älteren Score besitzen: Dies ist ein Index mit neuer Basis, und eine 61 aus einem Sommer-Leaderboard ist nicht dieselbe Messung wie eine 61 heute.

Dieselbe Seite bewertet den Rest der Familie, und die Reihenfolge lohnt sich vor den einzelnen Zahlen zu lesen. Alle vier verwenden denselben Evaluationssatz – AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 und Terminal-Bench-Science 0.1 –, sodass der Vergleich zumindest auf gleicher Basis erfolgt, was man von der Benchmark-Tabelle im Launch-Post nicht behaupten kann.

The Artificial Analysis model page for Gemini 4 Neon, headed Gemini 4 Neon: Intelligence, Performance and Price Analysis, showing Intelligence 61 at rank #6 of 96, Performance #73 of 95 with 56.51 seconds per response, 110 output tokens per second and 21.5 minutes per task, Cost #82 of 95 at $3.00 input and $15.00 output per million tokens with a 95% cache discount and $6.44 per Intelligence Index task, and Verbosity #93 of 95, above a low, medium, high and xhigh variant selector.

Ein Modell, vier Scores und eine deutlich steilere Leiter

• Neon bei niedrig — 44,1, gegenüber Carbon bei niedrig 54,2 und Gemini 4 Hydrogen bei niedrig 26,9.

• Neon bei mittlerer Einstellung — 54,9, gegenüber Carbon 58,3 und Hydrogen 41,2.

• Neon bei hoch — 59,6, gegenüber Carbon 60,0 und Hydrogen 50,8. Dies ist Neons Standard und Carbons Obergrenze.

• Neon bei xhigh — 61.4, gegenüber gar keinem Carbon-Eintrag. Gemini 4 Hydrogen hat eine vierte Sprosse und erzielt 53.9.

Die Form dieser vier Zahlen ist der Teil, den der Launch-Post nicht vermittelt. Neon erstreckt sich über 17,3 Indexpunkte von seiner günstigsten bis zu seiner tiefsten Einstellung; Carbon kommt über seine drei Stufen hinweg auf 5,8. Neon ist keine feste Größe, die zufällig einen Tuning-Regler hat — es sind vier wesentlich unterschiedliche Modelle, je nachdem, welche Stufe man heranzieht, und die Unterschiede sind unten am größten, wo Neons niedrige Einstellung 10,1 Punkte unter Carbons niedriger Einstellung liegt. Wenn Sie Neon gegen Carbon bisher mit einer einzigen Zahl pro Modell bemessen haben, ist die ehrliche Version eine Kurve gegen eine flache Linie.

Das hat eine praktische Konsequenz, die dem Launch-Framing zuwiderläuft. Googles Dokumentation weist Entwickler an, alle vier Stufen zu bewerten und die niedrigste zu wählen, die ihre Qualitätslatte erfüllt, und warnt davor, dass xhigh „bei einfacheren Prompts wie Text- oder JSON-Extraktion zu übermäßigem Nachdenken führen oder max_output_tokens ausschöpfen kann.“ Die unabhängigen Zahlen zeigen, warum dieser Rat entscheidend und nicht bloß vorsichtig ist: Das Herunterschalten ist bei diesem Modell kein Rundungsfehler. Die 1,8 Punkte zwischen Neons Standard und seinem Höchstwert sind mehr als viermal so groß wie der Abstand zwischen Neon und Carbon; die 4,7 Punkte zwischen high und medium sind fast zwölfmal so groß.

A two-column scoreboard titled Gemini 4 Neon — the scoreboard. Gemini 4 Neon at xhigh reads AA Index 61.4, cost per task $6.44, output tokens 283M, time per task 21.5 min, output speed 110 tok/s; Gemini 4 Carbon at high reads AA Index 60.0, cost per task $4.90, output tokens 205M, time per task 36.1 min, output speed 57 tok/s. The footer says both figures are per Artificial Analysis on index v5.0.1, read 19 November 2026, and that Google's 32% cheaper-per-task claim is not reproduced at these settings.

Was eine Aufgabe kostet – gemessen statt behauptet

Die Behauptung, die es zu prüfen gilt, ist die Pro-Aufgabe-Behauptung. Google sagt, dass Gemini 4 Neon mit der Standardeinstellung Hoch pro Aufgabe 32 % weniger kostet als Gemini 4 Carbon und 36 % oder mehr weniger als konkurrierende Frontier-Modelle bei ihrer höchsten Denk-Einstellung. Die Kosten pro Aufgabe hängen davon ab, wie viele Tokens ein Modell ausgibt, und der Launch-Beitrag nennt keine Token-Zahlen, sodass die Zahl bis zu dieser Woche von außen nicht überprüfbar war.

Das Panel des Trackers setzt Neon mit 6,44 $ pro Aufgabe des Intelligence Index und Carbon mit 4,90 $ an. Das ist keine Ersparnis von 32 %; das ist ein Aufschlag von 31 %, und die Richtung ist der Behauptung entgegengesetzt. Der ehrliche Vorbehalt ist eine Konfigurationsdiskrepanz, und er wirkt in beide Richtungen: 6,44 $ kostet Neon mit xhigh, weil xhigh die Variante ist, die beim Öffnen der Seite angezeigt wird, während 4,90 $ Carbon bei high entsprechen, seinem eigenen Maximum. Googles Zahl von 32 % bezieht sich auf Neon bei high, wobei der Tracker Neon separat mit 59,6 bewertet, aber im selben Panel nicht mit Kosten prominent aufführt. Die korrekte Aussage ist also enger gefasst als „Google liegt falsch“: Die veröffentlichte Konfiguration von Neon kostet pro Aufgabe mehr als die veröffentlichte Konfiguration von Carbon, und der konkrete Vergleich, den Google anstellt, wurde nicht unabhängig reproduziert.

Was reproduzierbar ist, ist das Token-Profil – und es untergräbt die intuitive Lesart eines schnelleren Modells. Neon erzeugte über den Intelligence Index 283 Mio. Ausgabe-Tokens gegenüber 205 Mio. bei Carbon – 38 % mehr – bei 8,12 Mrd. Eingabe-Tokens, wobei die Ausgabe 3,5 % der Eingabe ausmacht. Der Median über die vom Tracker bewerteten Modelle liegt bei 65,1 Mio. Ausgabe-Tokens; Neon ist also nicht bloß gesprächiger als Carbon, sondern zählt zu den wortreichsten Modellen auf der Rangliste und liegt bei diesem Maß auf Platz 93 von 95. Carbon, das einen Ruf für Wortreichtum hatte, steht auf Platz 90. Was Neon Ihnen auch immer einspart – bei den ausgegebenen Tokens spart es nichts davon ein.

Wo es wirklich schneller ist – und das ist das stärkste Argument dafür –, ist die Wall-Clock-Zeit:

• Zeit pro Aufgabe des Intelligence Index — Neon 21,5 Minuten, Carbon 36,1, Hydrogen 15,3, Argon 29,6. Der Median vergleichbarer Modelle liegt bei 12,4 Minuten.

• Ausgabegeschwindigkeit — Neon 110 Tokens pro Sekunde, Carbon 57, Hydrogen 168, Argon 65.

• Zeit bis zum ersten Antwort-Token — Neon 56,5 Sekunden, Carbon 75,0, Hydrogen 47,2, Argon 47,1.

Neon absolviert denselben Evaluationssatz in 40 % weniger Wall-Clock-Zeit als Carbon bei etwa doppelter Generierungsrate, gibt dabei mehr Tokens aus und erzielt bei identischen Standardeinstellungen 0,4 Punkte weniger. Das ist ein stimmiges Produkt, und es ist ein anderes Produkt als das, das die Benchmark-Tabelle nahelegt: Es ist ein Modell, das man wählt, um schneller fertig zu werden, nicht eines, das man wählt, um häufiger richtig zu liegen.

Drei Zahlen im Launch-Post, die der Tracker nicht bestätigt

Der Rang.Google sagt: insgesamt Dritter. Die Live-Seite des Trackers führt die xhigh-Variante auf Platz sechs von 96 auf index v5.0.1. Beide Werte können sich auf Artificial Analysis zurückführen lassen und trotzdem unterschiedlich sein, weil sich das Modellset bewegt; was nicht stimmen kann, ist, dass beide aktuell sind. Zitiere die Live-Seite und sage, zu welcher Variante sie gehört, sonst überlebt die Zahl das nächste Release nicht.

Die Einstellung hinter der Punktzahl. Eine 61 ohne nähere Angabe wird als Punktzahl des Modells gelesen. Sie ist eine von vier, sie ist die teuerste im Betrieb, und sie ist diejenige, vor der Googles eigene Dokumentation bei Aufgaben mit Extraktionscharakter warnt. Der Standardwert ist 59.6.

Der Vorteil pro Aufgabe.Oben erörtert: Bei den Konfigurationen, die der Tracker in seinem Übersichtsbereich veröffentlicht, ist Neon pro Aufgabe 31 % teurer, nicht 32 % günstiger. Die Herstellerangabe mag bei hoch auf Googles eigenem Prüfstand weiterhin zutreffen. Es ist nirgends gezeigt worden, dass sie dort zutrifft, wo ein Leser es nachprüfen kann.

Alles andere in der Ankündigung bleibt, was es war – die von Google zitierten Leaderboards Dritter und Googles eigene nicht reproduzierte Evaluierungen, von Chartography mit 73,5 % bis FrontierCode 2.0 mit 46,2 % und die Cyber-Zahlen, die nur über das Fairwind-Defenders-Programm veröffentlicht werden. Nichts davon wird durch die unabhängigen Zahlen widerlegt. Es ist einfach nicht der Teil, den irgendjemand verifizieren kann, und der Teil, der verifiziert werden kann, liest sich jetzt anders.

Was sich dadurch ändert, wenn Sie gerade auf Neon standardisieren wollten

Wenn der Grund, warum Sie Neon gewählt haben, die 61 war, dann ist die Zahl, die Sie in einen Kapazitätsplan übernehmen sollten, 59,6, und es schlägt bei dieser Einstellung kein Modell der aktuellen Familie — Carbons 60,0 liegt davor, und Carbons Preis beträgt 2,00 $ und 10,00 $ pro Million Token gegenüber Neons 3,00 $ und 15,00 $, bis der Einführungspreis für Carbon und Argon am 1. Dezember 2026 auf 4,00 $ und 20,00 $ steigt.

Wenn Ihr Grund die Geschwindigkeit war, ist der Fall real und die oben genannten Zahlen stützen ihn. Einundzwanzig Minuten gegenüber sechsunddreißig auf demselben Bewertungsset ist die Art von Unterschied, die verändert, wie viel man an einem Arbeitstag laufen lassen kann, und die 1,9-fache Generierungsrate zeigt sich bei interaktiver Arbeit deutlich früher als bei einem Batch-Job.

Wenn Ihr Grund Googles Ökonomie pro Aufgabe war, führen Sie den Test selbst durch, bevor Sie sich mit einem Produktionspfad darauf festlegen. Das Token-Profil ist das eine, was entscheidet, ob die Behauptung pro Aufgabe für Ihren Traffic gilt, und die unabhängige Messung ergibt, dass Neon mehr Tokens ausgibt als das Modell, das es eigentlich unterbieten soll. Bei Input-lastiger Arbeit kehrt sich das Bild um, denn Neons Input-Preis liegt heute 50 % über dem von Carbon, und Carbons Schritt im Dezember schließt selbst diese Lücke zu Neons Gunsten – was ein Vierzehn-Tage-Fenster ist, keine Strategie.

Den Vergleich mit Ihrem eigenen Traffic durchführen

Der Grund, sich eher um eine Leiter mit vier Sprossen als um einen einzelnen Wert zu kümmern, ist, dass die Sprosse eine Kostenentscheidung darstellt und Kostenentscheidungen am günstigsten zu treffen sind, wenn beide Modelle nur einen Aufruf entfernt sind. Unser Katalogführt google/gemini-4-carbon und google/gemini-4-argonzum Listenpreis des Anbieters ohne Aufschlag, was bedeutet, dass der Schritt vom 1. Dezember bei diesen beiden Modellen an dem Tag auf Ihrer Rechnung erscheint, an dem er bei Google erscheint, und sich Neons Dezember-Position relativ zu ihnen ändert, ohne dass jemand etwas neu verhandeln muss. Gemini 4 Neon ist noch nicht im Katalog, daher ist dies keine Empfehlung, es heute über uns laufen zu lassen — es ist die Form des Tests, der auszuführen ist, wenn es verfügbar ist.

The OrcaRouter model page for Gemini 4 Carbon, showing the model identifier google/gemini-4-carbon, a maximum output of 65K tokens, multimodal input across text, image, file, audio and video, capability chips for vision, audio, tools, JSON, reasoning and output text, the line by Google · 2026-11-10, a p50 time to first token of 10.005 seconds, and the description noting a 1,048,576-token context window.

Die Auswertung, für die die oben genannten Zahlen sprechen, ist kein Benchmark-Lauf. Es ist derselbe Prompt bei hoch auf beiden Modellen, gemessen in Tokens bis zum Abschluss statt in Sekunden, an einer Stichprobe Ihrer eigenen Aufgaben. Dieser Test erfordert, dass beide Modelle über einen Schlüssel erreichbar sind, mit einem Fallback dahinter, denn der Sinn des Betriebs von Neon besteht darin, herauszufinden, ob die Behauptung pro Aufgabe den Kontakt mit Ihrem Traffic übersteht, und der Sinn des Fallbacks ist, dass ein Modell, das Sie noch evaluieren, niemals der einzige Weg in die Produktion sein darf. Carbon dahinter, Argon dahinter, und der Leitervergleich wird zu einer Routing-Änderung statt zu einer Migration.

Das Einzige, was man nicht tun sollte, ist, die Entscheidung an der Launch-Tabelle zu bemessen. Der Tracker hat inzwischen vier Bewertungen für ein Modell veröffentlicht, der Abstand zwischen dem Spitzenmodell und dem Standardmodell ist größer als der zwischen dem Standardmodell und dem Modell, das es ersetzt, und die Kostenaussage, die das ganze Angebot erst funktionieren lässt, ist die eine Zahl auf der Folie, die niemand außerhalb von Google reproduziert hat.

Was als Nächstes ansehen

Drei Dinge, alle überprüfbar. Ob die Kosten pro Aufgabe des Trackers für Neon bei High in die Nähe von Googles 32-%-Wert kommen – diese eine Zeile würde den Streit entscheiden, und es ist eine Variante, für die bereits ein veröffentlichter Indexwert vorliegt. Ob das Fairwind-Gate für die Cyber-Variante öffnet, da die Sicherheitskennzahlen noch Behauptungen über ein Modell sind, das fast niemand außerhalb Googles aufrufen kann. Und ob der Schritt vom 1. Dezember bei Carbon und Argon den Kontakt mit der Nachfrage übersteht, denn das ist das Datum, an dem die pauschalen 3,00 $ und 15,00 $ von Neon aufhören, teuer auszusehen, und anfangen, wie die günstigste Gemini-4-Reasoning-Stufe pro Token auszusehen.

Bis dahin lautet die nützliche Zusammenfassung in einem Satz: Gemini 4 Neon ist der schnellste Weg, eine Antwort von Gemini 4 zu erhalten, aber nicht die genaueste bei der Einstellung, mit der es ausgeliefert wird, und die Effizienzbehauptung, die seinen Preis rechtfertigt, stammt nach wie vor vom Anbieter.