Gemini 4 Pro vs GPT-6 Astra in de Xbox 360-controllertest — en waarom Fable 5.2 er niet in zat

Op 21 september verscheen een X-post met drie namen, een video en de woorden "SOTA-vergelijking": Gemini 4 Pro, GPT-6 Astra, Claude Fable 5.2. Twee van die namen horen bij modellen die niemand kan aanroepen. Eén hoort bij een model dat al achttien dagen te koop is. En het artefact waarnaar de post verwijst — een gamecontroller die als vectorafbeelding is getekend in één keer vanuit één prompt — was, volgens de mensen die het daadwerkelijk hebben uitgevoerd, een tweezijdige vergelijking tussen de eerste twee. Claude Fable 5.2 zat er niet in. Claude Fable 5.1 ook niet.

Die kloof tussen de framing en het bewijs is op dit moment de volledige stand van het Gemini 4 Pro-verhaal, en het is de moeite waard om die zorgvuldig uit elkaar te halen in plaats van weg te wuiven. De controllertest is niet niets. Het is het meest reproduceerbaar ogende artefact dat iemand deze maand over een niet-uitgebracht frontier-model heeft geproduceerd, er gaat een voorgeschiedenis van vier maanden aan vooraf, en het wordt door veel mensen als een eindoordeel gelezen. Het is geen eindoordeel. Het is een gelijkspel, op basis van één poging, die de tester zelf de volgende dag niet kon herhalen — en precies weten hoe ver het wel en niet reikt, is nuttiger dan zowel de hype als het oogrollen.

De test, en waarom een SVG de benchmark werd

De prompt is ouder dan de modellen die er nu mee worden beoordeeld. Hij dateert uit het Gemini 3.0-tijdperk, toen hij rondging als: "Maak een SVG-afbeelding van een Xbox 360-controller. Voer die uit in een Markdown-codeblok van meerdere regels." Die formulering is van belang, want ze is bewust vijandig tegenover een taalmodel. Een vectortekening is allemaal structuur en geen textuur — er is geen fotografische ruis waarin een model zich kan verschuilen, geen diffusiesampler om een fout mee weg te strijken. Elke curve moet als een coördinaat worden gespecificeerd. Een controller is een lastig doelwit: twee symmetrische handgrepen, een holle kom, schoudertriggers in perspectief weergegeven, zo'n zestien knoppen die elk een positie nodig hebben, een silhouet dat meteen verkeerd overkomt als één verhouding afwijkt. En omdat het antwoord binnenkomt als tekst die je in een viewer kunt plakken, is de vergelijking goedkoop en overdraagbaar. Niemand hoeft een screenshot van andermans chatvenster te vertrouwen.

In september pakte de community de prompt weer op. De outputs die uit de arena-sessies circuleerden — een pelikaan op een fiets, een PlayStation 5-controller gerenderd vanuit vijf macro-camerahoeken, een 3D-pagode met schakelbare verlichting, een voxeltempelscène, een Airbus H145-helikopterpagina — worden in de berichtgeving beschreven als ongeveer acht tot twintig minuten per stuk in beslag nemend bij hoge denkinspanning. De controller is degene die als screenshot in een vergelijking is opgenomen.

Wat de controllervergelijking daadwerkelijk laat zien

Hier is het resultaat zoals de tester het rapporteerde, en het is een veel kleinere bewering dan de tijdlijn ervan heeft gemaakt.

• Oordeel — gelijkspel. De persoon die de test uitvoerde, die onder de naam Lumina postte, noemde beide outputs "bijna perfect."

• De enige asymmetrie — Astra's versie had een enigszins verkeerd logo. Dat is een voorsprong op één detail, en de tester beschreef het als een voorsprong op één detail, niet als een algemene voorsprong.

• Visuele volledigheid — beide weergaven tonen gedetailleerde controllerlichamen, bedieningselementen en schaduw. Geen van beide ging stuk op de vorm.

• Wat de vergelijking niet vaststelt — dat het nog niet uitgebrachte model voorloopt. Twee outputs die als even goed worden beoordeeld, vormen de definitie van geen voorsprong.

• Reproduceerbaarheid — de output werd naar verluidt de vorige nacht geproduceerd, duurde ongeveer twintig minuten, en de tester kon de volgende dag geen vergelijkbare resultaten verkrijgen.

• Identiteit — de arena-inzending waar de output vandaan kwam was gelabeld als gemini-3.8-flash, een naam die al toebehoort aan een model dat Google op 2 september heeft uitgebracht, en die later naar verluidt werd herlabeld tot gemini-3.7-flash. Welk model er daadwerkelijk achter de alias zat, is onopgelost, en twee andere testers zeiden in hetzelfde tijdsbestek dat ook zij niet konden bevestigen welk model zij hadden gebruikt.

Lees de lijst in volgorde en de vorm van het bewijs wordt duidelijk. De interessante bewering is niet "het niet-uitgebrachte model won." Het is dat een model dat niemand kan identificeren, draaiend onder de naam van een uitgebracht model, in één poging vectorwerk produceerde dat een zorgvuldige tester niet kon onderscheiden van de output van een frontiermodel dat het grootste deel van september algemeen beschikbaar is geweest. Dat is een echte observatie. Het is ook een observatie over één middag, en dat zei de tester.

Het twee-weg resultaat en de drie-weg claim

Het bericht waarmee dit stuk begon, noemt drie modellen. De artikelen die dezelfde controllersessie beschrijven, noemen er twee. De werkelijke status van Claude Fable 5.2 deze week is een apart verhaal dat toevallig dezelfde nieuwscyclus deelt, en het loont om daar precies over te zijn, want de verwarring doet in beide richtingen werk.

• Wat wordt beweerd — het X-account @chetaslua plaatste op 18 september dat Claude Fable 5.2 "is getest in claude code routing fable 5.1 naar zichzelf." Dat is een routingbewering over Claude Code, afkomstig van één account.

• Wat de naam is — de eigen aanname van de verslaggever. De tester die onder de naam JAZII post en van wie het stuk van 18 september het meest gedetailleerde verslag van het gedrag is, verklaart ronduit dat "Fable 5.2" een naam is die diegene zelf heeft toegekend, niet een naam die door iemand is bevestigd. Er is geen modelkaart, geen API-identifier, geen prijspagina, geen systeemkaart en geen tweede medium dat onafhankelijk melding maakt van een Fable 5.2-route.

• Wat het gestaafde Claude-routeringsverhaal eigenlijk inhoudt — deze blog heeft het apart behandeld: de berichten van medio september over stille routering die door meerdere onafhankelijke media zijn opgepikt, gingen over een niet-uitgebracht Opus-tier checkpoint, niet over een Fable. De toeschrijving aan Fable is afkomstig van één bron. Behandel het als het verslag van één bron, niet als een bevinding.

• Wat de tester wél rapporteerde — bij hoge redeneerinspanning werd de vermoedelijke volgende Fable verkozen boven GPT-6 Astra, en was langzamer en duurder. Dat is een voorkeur, van één persoon, over hun eigen werk.

• Wat is geverifieerd over het uitgeleverde model — Claude Fable 5.1 is algemeen beschikbaar sinds 1 september 2026. Dat model bestaat, heeft een prijs en kan vandaag worden aangeroepen.

Dus de eerlijke versie van de drieledige framing is dit: twee van de drie namen in die post zijn niet-aangekondigde modellen met door de community toegekende namen, de controllertest betrof alleen degene wiens identiteit ten minste verankerd is aan een arena-entry, en de Fable-kolom is een voorkeur van één enkele tester die expliciet weigerde het model te noemen. Dat is geen reden om iets ervan te negeren. Het is een reden om de drie namen op drie verschillende betrouwbaarheidsniveaus te houden in plaats van op één.

De benchmarktabel die het daadwerkelijke betoog levert

De controller-SVG is het zichtbare artefact. Wat het echte overtuigingswerk doet, is een benchmarkblad dat rond 18 september opdook en sindsdien is overgenomen door de Chinese en Engelse techpers. Het is de moeite waard om ze op te sommen, want de cijfers zijn specifiek genoeg om te controleren, en geen ervan is gecontroleerd.

• DeepSWE v1.1 — 88,7%, naar verluidt ongeveer twee punten boven GPT-6 Astra.

• GDPval-AA v2 — 2.064 Elo, beschreven als de enige vermelding in de vergelijking boven 2.000.

• Terminal-bench 2.1 — 95,3%, weergegeven als de hoogste score in de tabel.

• OSWorld-2.0 — 86,8%, eindigde vóór zowel GPT-6 Astra als Claude Fable 5.1.

• Geclaimde prijsstelling — $2,25 per miljoen invoertokens en $11,25 per miljoen uitvoertokens.

• Geclaimde specificaties — een invoerlimiet van 10 miljoen tokens, een uitvoerplafond van 256K tokens, geheugen over gesprekken heen.

Elke regel hierboven is een communityclaim. Google heeft geen enkele daarvan bevestigd, heeft niet bevestigd dat de arena-inzending überhaupt Gemini 4 Pro is, en heeft niet gereageerd op een verzoek om commentaar. De tabel bevat geen checkpoint-identificatie, geen instelling voor reasoning-effort, geen agent-harness, geen toolmachtigingen, geen testsplit, geen steekproefgrootte en geen runlog — de dingen die een echte evaluatie wel bevat en een screenshot van een dia niet. De benchmarknamen komen ook uit dezelfde familie die OpenAI in zijn eigen septemberlanceringsmateriaal gebruikte, wat een aanwijzing is voor waar de sheet is samengesteld, niet voor waar die is gemeten.

Er is deze maand een tweede reden om voorzichtig te zijn met elke frontiervergelijking: de onafhankelijke index waar iedereen naar grijpt, is op 7 september opnieuw geversioneerd naar v4.3, en het opnieuw versioneren comprimeert of rekt de top van de ranglijst. Een score zonder de bijbehorende versie is niet vergelijkbaar met een score van drie weken eerder, de onze of die van wie dan ook.

Wat is er daadwerkelijk bevestigd over Gemini 4 Pro?

Haal de beweringen eruit en het harde bewijs is mager.

21 juli 2026 — Google bevestigt dat het zijn meest ambitieuze pre-trainingsrun tot nu toe is gestart, voor Gemini 4. De CEO herhaalt dit tijdens de Q2-earningscall.

• 2 september 2026 — Gemini 3.8 Flash wordt uitgebracht. Googles nieuwste algemeen beschikbare model blijft een model uit de Flash-klasse.

• 15–18 september 2026 — een lekposter die onder de naam "Lentils" berichten plaatst, beweert dat Gemini 4 Pro-checkpoints intern opduiken onder de codenaam "argon"; communitytrackers registreren een arena-vermelding onder het uitgebrachte gemini-3.8-flash label dat acht tot tien minuten per antwoord kost en vector- en 3D-werk produceert dat veel verder gaat dan wat dat model produceert.

• Vandaag — geen Gemini 4-model-id, geen endpoint, geen prijs, geen modelkaart. Gemini 3.5 Pro, dat voor juni in preview was aangekondigd en nooit is uitgeleverd, zou volgens The Wall Street Journal zijn geschrapt omdat de verbeteringen te klein waren.

Dat is het volledige bevestigde oppervlak. Al het overige dat circuleert — de tabel, de prijs, het contextvenster, de codenaam, de identiteit van de arena-inzending — is gevolgtrekking in het gewaad van een decimaalteken.

Wat je daadwerkelijk kunt uitvoeren terwijl je wacht

Dit is het deel dat de vergelijkingsartikelen weglaten, en het is het deel dat een beslissing verandert.

GPT-6 Astra is geen gerucht. Het is uitgebracht op 3 september 2026, het heeft het model-id gpt-6-astra, en het is vandaag aanroepbaar tegen OpenAI's eigen lijstprijs van $10,00 per miljoen inputtokens en $50,00 per miljoen output, met gecachte input tegen $1,00. Het draait op OrcaRouter tegen diezelfde lijstprijs van de provider, met 0% opslag — we rekenen het tarief van de leverancier één-op-één door, dus wanneer een tarief verandert, verandert het getal aan onze kant dezelfde dag mee, in plaats van pas wanneer iemand er toevallig aan toe komt een marge bij te werken. De benchmarkresultaten die OpenAI zelf rapporteert, zijn DeepSWE v1.1 met 74%, OSWorld 2.0 met 72,6%, Terminal-Bench 4.0 met 57,9% en ExploitBench met 100%, en dat is wat het over de drempel voor Critical cyber capability tilde. Die cijfers komen van de leverancier en zijn niet gereproduceerd, en het zijn de cijfers waartegen het gelekte Gemini 4 Pro-document zich impliciet afzet.

Gemini 4 Pro staat niet op OrcaRouter, en we gaan niet doen alsof dat wel zo is. Er is geen endpoint, geen model-id en geen prijs, want er is geen uitgebracht model. Claude Fable 5.1 daarentegen is sinds 1 september algemeen beschikbaar en routeerbaar tegen de eigen lijstprijs, net als Claude Opus 5 en de rest van de huidige frontier-klasse — één API omvat 200+ modellen tegen de lijstprijs van de provider, zonder opslag, dus voor een vergelijking als deze heb je geen drie accounts, drie SDK's en drie facturen nodig om er iets mee te doen.

Als het controllerresultaat je ertoe verleidt een productiepad te herstructureren rond een niet-aangekondigd model, is de verstandige zet degene die het bewijs ondersteunt: niet doen. Houd het pad dat je hebt, en als je wilt ontdekken of het effect generaliseert naar je eigen werk, routeer dan een deel van het verkeer naar een onbewezen pad achter een fallback naar een model dat je al vertrouwt. Op die manier kost een slechte middag je een percentagepunt aan verkeer in plaats van een incident, en krijg je je eigen antwoord in plaats van dat je het twintigminutenresultaat van iemand anders leent.

Wat zou het controllerresultaat betekenisvol maken?

• De alias krijgt een echte naam. Een arena-vermelding is een gerucht met een rij op het leaderboard. Een model-id in de eigen documentatie van een leverancier is een product. Let op de modellenlijst, niet op de tijdlijn.

• Het resultaat is reproduceerbaar. Eén tester kon de volgende dag niet dezelfde uitvoer krijgen. Drie onafhankelijke personen die het op aanvraag krijgen, met het model erbij vermeld, is een heel andere categorie bewijs.

• De gelekte sheet krijgt een methodologie. Een benchmarkscore zonder checkpoint, een effort-instelling en een harness is geen meting; het is een bewering over een meting.

• Er verschijnt een prijs. De beweerde $2,25/$11,25 zouden een nog niet uitgebracht frontier-model met grote afstand het goedkoopste van de drie maken, en dat is zo'n bewering die ofwel in een tariefkaart opduikt ofwel niet.

• De toeschrijving van Fable krijgt een tweede bron. Op dit moment heeft die er één, en degene die hem heeft gemaakt, zei dat de naam van meet af aan van die persoon was.

Vragen die een antwoord waard zijn

Als de inzending in de arena echt Gemini 4 Pro is, waarom draait die dan onder de naam van een al uitgebracht model?

Een nieuw checkpoint achter het label van een bestaand model testen is standaardpraktijk voor blinde benchmarking — het stelt een lab in staat stemmen in directe vergelijking te verzamelen zonder dat de naam de stem beïnvloedt. Het betekent ook dat het label je niets vertelt over wat erachter zit, en dat is precies het probleem hier: de alias is bewijs dat er iets wordt getest, niet bewijs van wat.

Betekent een gelijkspel tegen GPT-6 Astra dat het nog niet uitgebrachte model teleurstellend is?

Nee, en dit is waar de framing de meeste schade aanricht. Een checkpoint dat nog in post-training zit, achter een alias draait en op een moeilijke one-shottaak een uitgeleverd frontiermodel evenaart, is een veel sterker signaal dan een grafiek van de lanceringsdag. Het is alleen een signaal over richting, niet over een product dat je kunt kopen, en in een vergelijkingspost worden die twee als hetzelfde gelezen.

Zou ik vandaag iets moeten veranderen vanwege dit?

Niet hierom. Niets in de controllertest verandert wat beschikbaar is, wat iets kost of waar een model goed in is. De beslissingsrelevante feiten deze week zijn dat GPT-6 Astra en Claude Fable 5.1 beide live en geprijsd zijn, en dat Gemini 4 Pro dat geen van beide is. Als je je wilt indekken tegen die mogelijkheid, dek je dan in met routing in plaats van met een herschrijving.

De eerlijke lezing

De controllertest is het beste bewijs dat iemand over Gemini 4 Pro heeft geleverd, en het beste bewijs dat iemand heeft geleverd is een gelijkspel, uit één poging, die zich niet herhaalde, op een model dat niemand kan benoemen, gerapporteerd naast een benchmarkblad dat niemand kan controleren. Dat klinkt als een afwijzing en dat is het niet. De reden dat de test zich verspreidde, is dat het het eerste artefact in dit verhaal is dat op een product lijkt in plaats van op een slide — een echte prompt, een echte output, een echt persoon die ze vergelijkt, en een resultaat dat de aanhangers van geen van beide kanten zonder meer konden claimen.

Wat het niet doet, is iets beslechten. Als je deze week moet opleveren, is de frontier-tier die bestaat — GPT-6 Astra voor $10/$50, Claude Fable 5.1 tegen zijn eigen lijstprijs — waar je beslissing feitelijk ligt, en beide zijn aanroepbaar met één sleutel zonder een tweede contract. Als je wilt weten wat Google heeft, zijn de enige signalen die dit van een stuk over wat we tot nu toe weten naar een lanceringsartikel zullen verplaatsen, een model-id, een tariefkaart en een reproductie. Tot die er zijn, is de juiste lezing van de Xbox 360-controllervergelijking de lezing die de persoon die hem uitvoerde gaf: twee zeer goede tekeningen, en geen winnaar.