Gemini 4 Pro vs. GPT-6 Astra beim Xbox-360-Controller-Test – und warum Fable 5.2 nicht dabei war

Am 21. September erschien ein X-Post mit drei Namen, einem Video und den Worten „SOTA-Vergleich“: Gemini 4 Pro, GPT-6 Astra, Claude Fable 5.2. Zwei dieser Namen gehören zu Modellen, die niemand aufrufen kann. Einer gehört zu einem Modell, das seit achtzehn Tagen im Verkauf ist. Und das Artefakt, auf das der Post verweist – ein Gamecontroller, als Vektorgrafik in einem einzigen Durchlauf aus einem einzigen Prompt gezeichnet – war laut den Leuten, die es tatsächlich ausgeführt haben, ein Zwei-Wege-Vergleich zwischen den ersten beiden. Claude Fable 5.2 war nicht dabei. Claude Fable 5.1 ebenso wenig.

Diese Kluft zwischen dem Framing und den Belegen ist genau der aktuelle Stand der Gemini-4-Pro-Geschichte, und es lohnt sich, sie sorgfältig auseinanderzunehmen, statt sie abzutun. Der Controller-Test ist nicht nichts. Er ist das am reproduzierbarsten wirkende Artefakt, das in diesem Monat irgendjemand zu einem unveröffentlichten Frontier-Modell hervorgebracht hat, er hat eine vier Monate zurückreichende Vorgeschichte, und viele Leute lesen ihn als Urteil. Er ist kein Urteil. Er ist ein Unentschieden – basierend auf einem einzigen Versuch, den der Tester selbst am nächsten Tag nicht wiederholen konnte –, und genau zu wissen, wie weit er geht und wie weit nicht, ist nützlicher als sowohl der Hype als auch das Augenrollen.

Der Test und warum ein SVG zum Maßstab wurde

Der Prompt ist älter als die Modelle, die er jetzt bewerten soll. Er stammt aus der Gemini-3.0-Ära, in der er kursierte als: „Erstelle ein SVG-Bild eines Xbox 360-Controllers. Gib es in einem mehrzeiligen Markdown-Codeblock aus.“ Diese Formulierung ist wichtig, denn sie ist absichtlich feindselig gegenüber einem Sprachmodell. Eine Vektorzeichnung besteht nur aus Struktur und hat keine Textur – es gibt kein fotografisches Rauschen, hinter dem sich ein Modell verstecken könnte, keinen Diffusions-Sampler, der einen Fehler glattbügelt. Jede Kurve muss als Koordinate angegeben werden. Ein Controller ist dafür ein schweres Ziel: zwei symmetrische Griffe, eine konkave Mulde, in Perspektive dargestellte Schultertasten, rund sechzehn Tasten, die jeweils eine Position brauchen, eine Silhouette, die sofort falsch wirkt, wenn eine Proportion abweicht. Und weil die Antwort als Text ankommt, den man in einen Viewer einfügen kann, ist der Vergleich billig und portabel. Niemand muss einem Screenshot vom Chatfenster einer anderen Person vertrauen.

Im September griff die Community den Prompt wieder auf. Die Ergebnisse, die aus den Arena-Sessions kursierten – ein Pelikan auf einem Fahrrad, ein PlayStation-5-Controller, gerendert aus fünf Makro-Kamerawinkeln, eine 3D-Pagode mit umschaltbarer Beleuchtung, eine Voxel-Tempelszene, eine Airbus-H145-Hubschrauber-Seite –, werden in den Berichten so beschrieben, dass sie bei hohem Denkaufwand jeweils etwa acht bis zwanzig Minuten dauern. Der Controller ist derjenige, der per Screenshot in einen Vergleich aufgenommen wurde.

Was der Controller-Vergleich tatsächlich zeigt

Hier ist das Ergebnis, wie der Tester es berichtet hat, und es ist eine viel kleinere Behauptung, als die Zeitleiste daraus gemacht hat.

• Urteil — ein Unentschieden. Die Person, die es durchführte und als Lumina postete, nannte beide Ergebnisse „nahezu perfekt“.

• Die eine Asymmetrie — Astras Version trug ein leicht falsches Logo. Das ist ein Vorsprung in einem einzelnen Detail, und der Tester hat ihn als Vorsprung in einem einzelnen Detail dargestellt, nicht als allgemeinen Vorsprung.

• Visuelle Vollständigkeit — beide Renderings zeigen detaillierte Controller-Körper, Bedienelemente und Schattierung. Keine von beiden scheiterte an der Form.

• Was der Vergleich nicht belegt – dass das unveröffentlichte Modell vorne liegt. Zwei als gleich gut bewertete Ergebnisse sind die Definition von „kein Vorsprung“.

• Reproduzierbarkeit — die Ausgabe wurde Berichten zufolge in der vorherigen Nacht erzeugt, dauerte etwa zwanzig Minuten, und der Tester konnte am nächsten Tag keine vergleichbaren Ergebnisse erzielen.

• Identität — der Arena-Eintrag, aus dem die Ausgabe stammte, trug die Bezeichnung gemini-3.8-flash, ein Name, der bereits zu einem Modell gehört, das Google am 2. September veröffentlichte, und der später Berichten zufolge umbenannt wurde in gemini-3.7-flash. Welches Modell tatsächlich hinter dem Alias steckte, ist ungeklärt, und zwei andere Tester sagten im selben Zeitfenster, dass sie ebenfalls nicht bestätigen konnten, welches Modell sie verwendet hatten.

Lies die Liste der Reihe nach, und die Kontur der Beweislage wird deutlich. Die interessante Behauptung ist nicht „das unveröffentlichte Modell hat gewonnen". Sie lautet, dass ein Modell, das niemand identifizieren kann und das unter dem Namen eines ausgelieferten Modells läuft, Vektorarbeit in einem einzigen Versuch produzierte, die ein sorgfältiger Tester nicht von der Ausgabe eines Frontier-Modells unterscheiden konnte, das den größten Teil des September über allgemein verfügbar war. Das ist eine echte Beobachtung. Es ist zugleich eine Beobachtung über einen einzigen Nachmittag, und das hat der Tester auch gesagt.

Das Zwei-Wege-Ergebnis und der Drei-Wege-Anspruch

Der Beitrag, mit dem dieser Artikel begann, spricht von drei Modellen. Die Berichte, die dieselbe Controller-Session beschreiben, nennen zwei. Der tatsächliche Status von Claude Fable 5.2 in dieser Woche ist eine separate Geschichte, die zufällig denselben Nachrichtenzyklus teilt, und es lohnt sich, hier präzise zu sein, weil die Vermischung in beide Richtungen wirkt.

• Was behauptet wird — der X-Account @chetaslua hat am 18. September gepostet, dass Claude Fable 5.2 "in claude code getestet wird, wobei fable 5.1 darauf geleitet wird". Das ist eine Routing-Behauptung über Claude Code, von einem einzigen Account.

• Worum es sich bei dem Namen handelt — die eigene Annahme des Berichterstatters. Der Tester, der unter JAZII postet und dessen Beitrag vom 18. September die ausführlichste Darstellung des Verhaltens ist, erklärt unmissverständlich, dass „Fable 5.2“ ein Name ist, den er vergeben hat, und kein Name, den irgendjemand bestätigt hat. Es gibt keine Modellkarte, keine API-Kennung, keine Preisseite, keine Systemkarte und kein zweites Medium, das unabhängig über eine Fable-5.2-Route berichtet.

• Was die untermauerte Claude-Routing-Geschichte tatsächlich beinhaltet – dieser Blog hat darüber separat berichtet: Bei den Berichten über stilles Routing von Mitte September, die mehrere unabhängige Medien aufgegriffen haben, ging es um einen unveröffentlichten Checkpoint der Opus-Klasse, nicht um ein Fable. Die Fable-Zuschreibung stützt sich auf eine einzige Quelle. Behandle es als den Bericht einer einzelnen Darstellung, nicht als Befund.

• Was der Tester tatsächlich berichtete — bei hohem Reasoning-Aufwand wurde das vermutete nächste Fable gegenüber GPT-6 Astra bevorzugt und war langsamer und teurer. Das ist eine Präferenz, von einer Person, zu ihrer eigenen Arbeit.

• Was ist über das ausgelieferte Modell verifiziert — Claude Fable 5.1 ist seit dem 1. September 2026 allgemein verfügbar. Dieses Modell existiert, hat einen Preis und kann heute aufgerufen werden.

Die ehrliche Version der Dreier-Rahmung ist also diese: Zwei der drei Namen in diesem Beitrag sind unangekündigte Modelle mit von der Community zugewiesenen Namen, der Controller-Test betraf nur dasjenige, dessen Identität zumindest über einen Arena-Eintrag verankert ist, und die Fable-Spalte ist eine Präferenz eines einzelnen Testers, der es ausdrücklich ablehnte, das Modell zu nennen. Das ist kein Grund, irgendetwas davon zu ignorieren. Es ist ein Grund, die drei Namen auf drei verschiedenen Konfidenzniveaus statt auf einem zu führen.

Die Benchmark-Tabelle, die die eigentliche Argumentation übernimmt

Das Controller-SVG ist das sichtbare Artefakt. Was die eigentliche Überzeugungsarbeit leistet, ist eine Benchmark-Tabelle, die um den 18. September herum aufgetaucht ist und seitdem in der chinesischen und englischen Tech-Presse wiedergegeben wurde. Es lohnt sich, sie aufzulisten, denn die Zahlen sind konkret genug, um überprüft zu werden, und keine davon wurde überprüft.

• DeepSWE v1.1 — 88,7 %, beschrieben als etwa zwei Punkte über GPT-6 Astra.

• GDPval-AA v2 — 2.064 Elo, beschrieben als der einzige Eintrag im Vergleich, der über 2.000 liegt.

• Terminal-bench 2.1 — 95,3 %, angegeben als höchste Punktzahl in der Tabelle.

• OSWorld-2.0 — 86,8 %, womit es sowohl vor GPT-6 Astra als auch vor Claude Fable 5.1 liegt.

• Angegebener Preis — 2,25 $ pro Million Eingabe-Tokens und 11,25 $ pro Million Ausgabe-Tokens.

• Behauptete Spezifikationen — ein Eingabelimit von 10 Millionen Token, eine Ausgabeobergrenze von 256K Token, konversationsübergreifender Speicher.

Jede Zeile oben ist eine Community-Behauptung. Google hat nichts davon bestätigt, hat überhaupt nicht bestätigt, dass es sich bei dem Arena-Eintrag um Gemini 4 Pro handelt, und hat nicht auf eine Anfrage nach einer Stellungnahme reagiert. Die Tabelle enthält keine Checkpoint-Kennung, keine Reasoning-Effort-Einstellung, kein Agent-Harness, keine Tool-Berechtigungen, keinen Test-Split, keine Stichprobengröße und kein Run-Log — Dinge, die eine echte Evaluierung mit sich bringt, ein Screenshot einer Folie aber nicht. Die Benchmark-Namen stammen außerdem aus derselben Familie, die OpenAI in ihrem eigenen Launch-Material vom September verwendet hat, was verrät, wo die Tabelle zusammengestellt wurde, statt wo sie gemessen wurde.

Es gibt einen zweiten Grund, in diesem Monat bei jedem Frontier-Vergleich vorsichtig zu sein: Der unabhängige Index, auf den alle zurückgreifen, wurde am 7. September auf v4.3 neu versioniert, und eine Neuversionierung staucht oder streckt die Spitze der Rangliste. Ein Score ohne die dazugehörige Versionsangabe ist nicht mit einem Score von vor drei Wochen vergleichbar – weder mit unserem noch mit dem von irgendwem.

Was ist tatsächlich über Gemini 4 Pro bestätigt?

Zieht man die Behauptungen ab, ist die harte Faktenlage kurz.

• 21. Juli 2026 — Google bestätigt, dass es seinen bisher ehrgeizigsten Pre-Training-Lauf gestartet hat – für Gemini 4. Der CEO wiederholt dies in der Telefonkonferenz zu den Q2-Zahlen.

• 2. September 2026 — Gemini 3.8 Flash erscheint. Googles neuestes allgemein verfügbares Modell bleibt ein Modell der Flash-Klasse.

• 15.–18. September 2026 — ein Leaker, der unter dem Namen „Lentils" postet, behauptet, dass Gemini-4-Pro-Checkpoints intern unter dem Codenamen „argon" auftauchen; Community-Tracker verzeichnen einen Arena-Eintrag unter dem ausgelieferten gemini-3.8-flash-Label, der acht bis zehn Minuten pro Antwort benötigt und Vektor- sowie 3D-Arbeiten liefert, die weit über das hinausgehen, was dieses Modell erzeugt.

• Heute – keine Modell-ID für Gemini 4, kein Endpunkt, kein Preis, keine Modellkarte. Gemini 3.5 Pro, das für Juni angekündigt wurde und nie auf den Markt kam, wurde laut Wall Street Journal verworfen, weil seine Fortschritte zu gering waren.

Das ist die gesamte bestätigte Oberfläche. Alles andere, was im Umlauf ist – die Tabelle, der Preis, das Kontextfenster, der Codename, die Identität des Arena-Eintrags –, ist Spekulation, die einen Dezimalpunkt trägt.

Was Sie tatsächlich ausführen können, während Sie warten

Das ist der Teil, den die Vergleichsbeiträge auslassen, und es ist der Teil, der eine Entscheidung verändert.

GPT-6 Astra ist kein Gerücht. Es wurde am 3. September 2026 veröffentlicht, trägt die Modell-ID gpt-6-astra und ist heute zu OpenAIs eigenem Listenpreis von 10,00 $ pro Million Input-Tokens und 50,00 $ pro Million Output-Tokens aufrufbar, bei gecachtem Input zu 1,00 $. Es läuft auf OrcaRouter zu genau diesem Anbieter-Listenpreis mit 0 % Aufschlag — wir geben den Tarif des Anbieters direkt weiter, sodass sich der Preis auf unserer Seite am selben Tag ändert, wenn sich ein Tarif ändert, und nicht erst dann, wenn jemand dazu kommt, eine Marge zu aktualisieren. Die von OpenAI gemeldeten Benchmark-Werte sind DeepSWE v1.1 mit 74 %, OSWorld 2.0 mit 72,6 %, Terminal-Bench 4.0 mit 57,9 % und ExploitBench mit 100 %, was es über die Critical-cyber-capability-Schwelle gebracht hat. Diese Angaben stammen vom Anbieter und sind nicht reproduziert, und es sind genau die Zahlen, gegen die das geleakte Datenblatt zu Gemini 4 Pro implizit argumentiert.

Gemini 4 Pro ist nicht auf OrcaRouter verfügbar, und wir werden nicht so tun, als wäre es anders. Es gibt keinen Endpunkt, keine Modell-ID und keinen Preis, denn es gibt kein ausgeliefertes Modell. Claude Fable 5.1 hingegen ist seit dem 1. September allgemein verfügbar und zu seinem eigenen Listenpreis routbar, ebenso wie Claude Opus 5 und der Rest der aktuellen Frontier-Klasse — eine API umfasst über 200 Modelle zum Listenpreis des Anbieters ohne Aufschlag, sodass ein Vergleich wie dieser nicht drei Konten, drei SDKs und drei Rechnungen erfordert, um ihn in die Tat umzusetzen.

Wenn das Controller-Ergebnis Sie dazu verleitet, einen Produktionspfad auf ein nicht angekündigtes Modell umzustellen, ist der vernünftige Schritt der, den die Belege stützen: Tun Sie es nicht. Behalten Sie den Pfad, den Sie haben, und wenn Sie herausfinden möchten, ob sich der Effekt auf Ihre eigene Arbeit verallgemeinern lässt, leiten Sie einen Bruchteil des Traffics auf einen unerprobten Pfad, hinter dem ein Fallback auf ein Modell steht, dem Sie bereits vertrauen. So kostet Sie ein schlechter Nachmittag einen Prozentpunkt Traffic statt eines Vorfalls, und Sie bekommen Ihre eigene Antwort, statt sich das Zwanzig-Minuten-Ergebnis von jemand anderem auszuleihen.

Was würde dazu führen, dass das Ergebnis des Controllers etwas bedeutet?

• Der Alias bekommt einen echten Namen. Ein Arena-Eintrag ist ein Gerücht mit einer Ranglistenzeile. Eine Modell-ID in der eigenen Dokumentation eines Anbieters ist ein Produkt. Achte auf die Modellliste, nicht auf die Timeline.

• Das Ergebnis lässt sich reproduzieren. Ein Tester konnte am nächsten Tag nicht dieselbe Ausgabe erzielen. Dass drei unabhängige Personen es auf Abruf erhalten, bei identifiziertem Modell, ist eine gänzlich andere Klasse von Belegen.

• Das geleakte Blatt bekommt eine Methodik. Ein Benchmark-Ergebnis ohne Checkpoint, ohne Effort-Einstellung und ohne Harness ist keine Messung; es ist eine Behauptung über eine Messung.

• Ein Preis taucht auf. Der behauptete Preis von $2.25/$11.25 würde ein unveröffentlichtes Frontier-Modell mit großem Abstand zum günstigsten der drei machen, und das ist die Art von Behauptung, die entweder in einer Preisliste auftaucht oder nicht.

• Die Fable-Zuschreibung bekommt eine zweite Quelle. Im Moment hat sie eine, und die Person, die sie vorgenommen hat, sagte, der Name sei von Anfang an ihrer gewesen.

Fragen, die eine Antwort verdienen

Wenn der Arena-Eintrag wirklich Gemini 4 Pro ist, warum läuft er dann unter dem Namen eines bereits veröffentlichten Modells?

Einen neuen Checkpoint hinter dem Label eines bestehenden Modells zu testen, ist Standardpraxis für Blind-Benchmarking — es ermöglicht einem Labor, Stimmen aus direkten Vergleichen zu sammeln, ohne dass der Name die Stimme beeinflusst. Es bedeutet außerdem, dass das Label nichts darüber verrät, was sich dahinter verbirgt, und genau das ist hier das Problem: Der Alias ist ein Beleg dafür, dass etwas getestet wird, nicht dafür, was.

Bedeutet ein Unentschieden gegen GPT-6 Astra, dass das unveröffentlichte Modell enttäuschend ist?

Nein, und genau hier richtet das Framing den größten Schaden an. Ein Checkpoint, der sich noch im Post-Training befindet, hinter einem Alias läuft und bei einer schwierigen One-Shot-Aufgabe mit einem ausgelieferten Frontier-Modell gleichzieht, ist ein viel stärkeres Signal als ein Diagramm vom Launch-Tag. Es ist nur ein Signal über die Richtung und nicht über ein Produkt, das man kaufen kann, und in einem Vergleichsbeitrag werden die beiden als dasselbe gelesen.

Sollte ich heute deswegen irgendetwas umstellen?

Nicht deswegen. Nichts am Controller-Test ändert daran, was verfügbar ist, was etwas kostet oder worin irgendein Modell gut ist. Die entscheidungsrelevanten Fakten diese Woche sind, dass GPT-6 Astra und Claude Fable 5.1 beide live und bepreist sind und dass Gemini 4 Pro weder live noch bepreist ist. Wenn Sie sich auf diese Möglichkeit hin absichern wollen, sichern Sie sich mit Routing statt mit einem Rewrite ab.

Die ehrliche Lesart

Der Controller-Test ist der beste Beweis, den irgendjemand über Gemini 4 Pro vorgelegt hat, und der beste Beweis, den irgendjemand vorgelegt hat, ist ein Unentschieden – aus einem einzigen Versuch, der sich nicht wiederholte, mit einem Modell, das niemand benennen kann, berichtet neben einem Benchmark-Blatt, das niemand überprüfen kann. Das klingt nach einer Abweisung, und das ist es nicht. Der Grund, warum sich der Test verbreitet hat, ist, dass er das erste Artefakt in dieser Geschichte ist, das wie ein Produkt und nicht wie eine Folie aussieht – ein echter Prompt, eine echte Ausgabe, eine echte Person, die sie vergleicht, und ein Ergebnis, das die Parteigänger keiner der beiden Seiten für sich beanspruchen konnten.

Was es nicht tut, ist, irgendetwas zu klären. Wenn Sie diese Woche ausliefern müssen, dann ist die Frontier-Stufe, die es gibt – GPT-6 Astra zu 10/50 $, Claude Fable 5.1 zu seinem eigenen Listenpreis –, der Punkt, an dem Ihre Entscheidung tatsächlich lebt, und beide sind über einen einzigen Schlüssel abrufbar, ohne einen zweiten Vertrag. Wenn Sie wissen wollen, was Google hat, sind die einzigen Signale, die daraus statt eines Was-wir-bisher-wissen-Artikels einen Launch-Artikel machen würden, eine Modell-ID, eine Preisliste und eine Reproduktion. Bis diese eintreffen, ist die richtige Lesart des Xbox-360-Controller-Vergleichs die, die die Person, die ihn durchgeführt hat, geliefert hat: zwei sehr gute Zeichnungen, und kein Sieger.