Gemini 4 Pro vs GPT-6 Astra i Xbox 360-handkontrolltestet – och varför Fable 5.2 inte var med i det

Ett X-inlägg publicerades den 21 september med tre namn, en video och orden "SOTA-jämförelse": Gemini 4 Pro, GPT-6 Astra, Claude Fable 5.2. Två av dessa namn tillhör modeller som ingen kan anropa. Ett tillhör en modell som har varit till salu i arton dagar. Och artefakten som inlägget hänvisar till – en spelkontroll ritad som vektorgrafik i ett enda försök från en enda prompt – var, enligt dem som faktiskt körde den, en tvåvägsjämförelse mellan de två första. Claude Fable 5.2 var inte med. Inte heller Claude Fable 5.1.

Det gapet mellan inramningen och bevisningen är hela läget för Gemini 4 Pro-historien just nu, och det är värt att plocka isär noga i stället för att avfärda. Controllertestet är inte ingenting. Det är den enskilt mest reproducerbara artefakten någon har tagit fram om en osläppt frontmodell den här månaden, det har en fyra månader lång bakgrund bakom sig, och det läses av många som en dom. Det är inte en dom. Det är ett oavgjort resultat, från ett enda försök, som testaren själv inte kunde upprepa dagen efter — och att veta exakt hur långt det räcker och inte räcker är mer användbart än både hypen och ögonrullningen.

Testet, och varför en SVG blev riktmärket

Prompten är äldre än de modeller som den nu används för att bedöma. Den går tillbaka till Gemini 3.0-eran, då den cirkulerade som: "Skapa en SVG-bild av en Xbox 360-handkontroll. Skriv ut den i ett Markdown-kodblock med flera rader." Den formuleringen spelar roll, eftersom den medvetet är fientlig mot en språkmodell. En vektorteckning är enbart struktur och ingen textur — det finns inget fotografiskt brus som en modell kan gömma sig bakom, ingen diffusionssampler som kan släta över ett misstag. Varje kurva måste anges som en koordinat. En handkontroll är ett svårt mål för den: två symmetriska grepp, en konkav skål, axeltriggers återgivna i perspektiv, ett sextontal knappar som var och en behöver en position, en silhuett som omedelbart framstår som fel om en proportion glider. Och eftersom svaret kommer som text som du kan klistra in i en visare är jämförelsen billig och portabel. Ingen behöver lita på en skärmbild av någon annans chattfönster.

I september plockade communityn upp prompten igen. Resultaten som cirkulerar från arena-sessionerna – en pelikan på en cykel, en PlayStation 5-handkontroll renderad från fem makrokameravinklar, en 3D-pagod med växlingsbar belysning, en voxel-tempelscen, en Airbus H145-helikoptersida – beskrivs i rapporteringen som att de tar ungefär åtta till tjugo minuter vardera vid hög tankeinsats. Handkontrollen är den som skärmdumpades för en jämförelse.

Vad handkontrollsjämförelsen faktiskt visar

Här är resultatet såsom testaren rapporterade det, och det är ett mycket mindre påstående än vad tidslinjen har gjort av det.

• Domen — oavgjort. Personen som körde det, som publicerade under namnet Lumina, kallade båda resultaten för "nästan perfekta".

• Den enda asymmetrin — Astras version hade en något felaktig logotyp. Det är ett övertag i en enskild detalj, och testaren beskrev det som ett övertag i en enskild detalj, inte som ett allmänt försprång.

• Visuell fullständighet — båda renderingarna visar detaljerade kontrollenhetskroppar, reglage och skuggning. Ingen av dem föll samman formmässigt.

• Vad jämförelsen inte fastställer — att den ännu inte släppta modellen ligger före. Två utdata som bedöms vara lika bra är själva definitionen av ett icke-försprång.

• Reproducerbarhet — resultatet uppgavs ha producerats kvällen innan, tog omkring tjugo minuter, och testaren kunde inte uppnå jämförbara resultat dagen därpå.

• Identitet — arena-posten som utdatan kom från var märkt gemini-3.8-flash, ett namn som redan tillhör en modell som Google släppte den 2 september och som senare uppges ha märkts om till gemini-3.7-flash. Vilken modell som faktiskt låg bakom aliaset är oklart, och två andra testare sade under samma tidsfönster att de inte heller kunde bekräfta vilken modell de hade använt.

Läs listan i ordning, så framträder bevisningens konturer. Det intressanta påståendet är inte ”den ännu inte släppta modellen vann”. Det är att en modell som ingen kan identifiera, som körs under namnet på en redan släppt modell, producerade vektorarbete i ett enda försök som en noggrann testare inte kunde skilja från resultatet av en frontmodell som har varit allmänt tillgänglig under större delen av september. Det är en verklig iakttagelse. Det är också en iakttagelse om en eftermiddag, och det sade testaren.

Det tvåvägsresultatet och trevägspåståendet

Inlägget som startade den här artikeln anger tre modeller. Texterna som beskriver samma controllersession beskriver två. Claude Fable 5.2:s faktiska status den här veckan är en separat historia som råkar hamna i samma nyhetscykel, och det är värt att vara precis om det, eftersom sammanblandningen gör arbete i båda riktningarna.

• Vad som påstås – X-kontot @chetaslua publicerade den 18 september att Claude Fable 5.2 "testas i claude code som routar fable 5.1 till det." Det är ett routningspåstående om Claude Code, från ett enda konto.

• Vad namnet är – reporterns egen förmodan. Testaren som publicerar sig som JAZII, vars text från den 18 september är den mest detaljerade redogörelsen för beteendet, säger rakt ut att "Fable 5.2" är ett namn som de har tilldelat det, inte ett namn som någon har bekräftat. Det finns inget model card, ingen API-identifierare, ingen prissida, inget system card och ingen andra mediekanal som oberoende rapporterar om en Fable 5.2-väg.

• Vad den styrkta Claude-routinghistorien egentligen handlar om — den här bloggen har behandlat den separat: rapporterna i mitten av september om tyst routing som flera oberoende mediekanaler plockade upp handlade om en osläppt checkpoint på Opus-nivå, inte en Fable. Fable-tillskrivningen har bara en källa. Behandla det som en enskild källas rapport, inte som ett rön.

• Vad testaren faktiskt rapporterade – vid hög resonemangsansträngning föredrogs den förmodade nästa Fable framför GPT-6 Astra och var långsammare och dyrare. Det är en preferens, från en person, gällande dennes eget arbete.

• Vad som är verifierat om den levererade modellen – Claude Fable 5.1 har varit allmänt tillgänglig sedan den 1 september 2026. Den modellen finns, har ett pris och kan anropas i dag.

Så den ärliga versionen av trevägsinramningen är denna: två av de tre namnen i det inlägget är oannonserade modeller med community-tilldelade namn, controllertestet omfattade bara den vars identitet åtminstone är förankrad i en arena-post, och Fable-kolumnen är en preferens från en enda testare som uttryckligen avstod från att namnge modellen. Det är inte ett skäl att ignorera något av det. Det är ett skäl att hålla de tre namnen på tre olika konfidensnivåer i stället för en.

Benchmark-tabellen som sköter själva argumenterandet

Handkontrolls-SVG:n är den synliga artefakten. Det som gör det egentliga övertalningsarbetet är ett benchmark-ark som dök upp omkring den 18 september och sedan dess har reproducerats i kinesisk och engelsk teknikpress. Det är värt att räkna upp, eftersom siffrorna är tillräckligt specifika för att kunna kontrolleras och ingen av dem har kontrollerats.

• DeepSWE v1.1 — 88,7 %, beskrivs som ungefär två punkter högre än GPT-6 Astra.

• GDPval-AA v2 — 2 064 Elo, beskrivs som den enda posten i jämförelsen över 2 000.

• Terminal-bench 2.1 — 95,3 %, angivet som den högsta poängen i tabellen.

• OSWorld-2.0 — 86,8 %, placerade sig före både GPT-6 Astra och Claude Fable 5.1.

• Angivet pris — $2,25 per miljon indata-tokens och $11,25 per miljon utdata.

• Påstådda specifikationer – en gräns på 10 miljoner tokens för indata, ett tak på 256K tokens för utdata, minne mellan konversationer.

Varje rad ovan är ett påstående från communityn. Google har inte bekräftat något av det, har inte bekräftat att arena-posten överhuvudtaget är Gemini 4 Pro, och svarade inte på en begäran om kommentar. Tabellen innehåller ingen checkpoint-identifierare, ingen inställning för resonemangsansträngning, ingen agent-harness, inga verktygsbehörigheter, ingen testdelning, ingen urvalsstorlek och ingen körningslogg – sådant som en riktig utvärdering innehåller men en skärmbild av en presentationsbild inte gör. Benchmark-namnen är också hämtade från samma familj som OpenAI använde i sitt eget lanseringsmaterial i september, vilket är ett tecken på var arket sattes samman snarare än var det mättes.

Det finns en andra anledning att vara försiktig med varje frontier-jämförelse den här månaden: det oberoende index som alla vänder sig till versionerades om till v4.3 den 7 september, och omversionering komprimerar eller sträcker ut toppen av listan. Ett resultat utan tillhörande version går inte att jämföra med ett resultat från tre veckor tidigare, vårt eller någon annans.

Vad är egentligen bekräftat om Gemini 4 Pro?

Rensa bort påståendena och det hårda underlaget är kort.

• 21 juli 2026 — Google bekräftar att man har påbörjat sin mest ambitiösa förträningskörning hittills, för Gemini 4. VD:n upprepar det under Q2:s resultatkonferens.

• 2 september 2026 — Gemini 3.8 Flash släpps. Googles nyaste allmänt tillgängliga modell förblir en modell i Flash-klassen.

• 15–18 september 2026 – en läckare som går under namnet "Lentils" påstår att Gemini 4 Pro-checkpoints dyker upp internt under kodnamnet "argon"; community-spårare loggar en arena-post under den släppta gemini-3.8-flash-etiketten som tar åtta till tio minuter per svar och producerar vektor- och 3D-arbete långt bortom vad den modellen producerar.

• I dag – inget modell-id för Gemini 4, ingen slutpunkt, inget pris, inget modellkort. Gemini 3.5 Pro, som förhandsvisades för juni och aldrig levererades, rapporterades av Wall Street Journal ha skrotats eftersom dess framsteg var för små.

Det är hela den bekräftade ytan. Allt annat i omlopp — tabellen, priset, kontextfönstret, kodnamnet, identiteten på arena-posten — är slutledning klädd i en decimalpunkt.

Vad du faktiskt kan köra medan du väntar

Det här är delen som jämförelseInläggen utelämnar, och det är den som förändrar ett beslut.

GPT-6 Astra är inte ett rykte. Den släpptes den 3 september 2026, den har modell-id:t gpt-6-astra, och den går att anropa idag till OpenAI:s eget listpris på 10,00 USD per miljon indatatokens och 50,00 USD per miljon utdatatokens, med cachad input för 1,00 USD. Den körs på OrcaRouter till samma leverantörslistpris med 0 % påslag — vi för vidare leverantörens pris rakt igenom, så när ett pris ändras ändras siffran på vår sida samma dag i stället för närhelst någon tar sig tid att uppdatera en marginal. Dess OpenAI-rapporterade benchmarkresultat är DeepSWE v1.1 på 74 %, OSWorld 2.0 på 72,6 %, Terminal-Bench 4.0 på 57,9 % och ExploitBench på 100 %, vilket är vad som förde den över tröskeln för kritisk cyberförmåga. Dessa är leverantörsrapporterade och ej reproducerade, och de är siffrorna som det läckta Gemini 4 Pro-dokumentet implicit argumenterar mot.

Gemini 4 Pro finns inte på OrcaRouter, och vi tänker inte låtsas något annat. Det finns ingen endpoint, inget modell-id och inget pris, eftersom det inte finns någon släppt modell. Claude Fable 5.1 har däremot varit allmänt tillgänglig sedan 1 september och kan routas till sitt eget listpris, liksom Claude Opus 5 och resten av den nuvarande frontier-nivån — ett API omfattar 200+ modeller till leverantörens listpris utan påslag, så en jämförelse som den här kräver inte tre konton, tre SDK:er och tre fakturor för att man ska kunna agera på den.

Om det är controller-resultatet som frestar dig att bygga om en produktionsväg kring en oannonserad modell, är det kloka draget det som bevisen stöder: låt bli. Behåll vägen du har, och om du vill ta reda på om effekten generaliserar till ditt eget arbete, routa en del av trafiken till en obeprövad väg bakom en fallback till en modell du redan litar på. På så sätt kostar en dålig eftermiddag dig en procentenhet trafik i stället för en incident, och du får ditt eget svar i stället för att låna någon annans resultat på tjugo minuter.

Vad skulle göra att kontrollerns resultat betyder något?

• Aliaset får ett riktigt namn. En arena-post är ett rykte med en rad på en topplista. Ett modell-id i en leverantörs egen dokumentation är en produkt. Håll koll på modellistan, inte tidslinjen.

• Resultatet går att reproducera. En testare kunde inte få samma utdata nästa dag. Att tre oberoende personer får det på begäran, med modellen angiven, är en helt annan sorts bevisning.

• Det läckta arket får en metodik. En benchmarkpoäng utan en kontrollpunkt, en ansträngningsinställning och en testrigg är inte en mätning; det är ett påstående om en mätning.

• Ett pris dyker upp. De påstådda $2,25/$11,25 skulle göra en ännu inte släppt frontiermodell till den billigaste av de tre med god marginal, vilket är den typ av påstående som antingen finns med i en prislista eller inte.

• Tillskrivningen av The Fable får en andra källa. Just nu har den en, och personen som gjorde den sade att namnet var hens från början.

Frågor värda ett svar

Om bidraget i arenan verkligen är Gemini 4 Pro, varför köra det under namnet på en redan lanserad modell?

Att testa en ny checkpoint bakom en befintlig modells etikett är standardpraxis för blind benchmarking – det låter ett labb samla in head-to-head-röster utan att namnet påverkar rösten. Det innebär också att etiketten inte säger något om vad som ligger bakom den, vilket är precis problemet här: aliaset är bevis för att något testas, inte bevis för vad.

Betyder ett oavgjort resultat mot GPT-6 Astra att den ännu inte släppta modellen är en besvikelse?

Nej, och det är här inramningen gör störst skada. En checkpoint som fortfarande är i efterträning, körs bakom ett alias och matchar en släppt frontier-modell på en svår one-shot-uppgift är en mycket starkare signal än ett diagram från lanseringsdagen. Det är bara en signal om riktning snarare än om en produkt du kan köpa, och de två läses som samma sak i ett jämförelseinlägg.

Borde jag byta något idag på grund av detta?

Inte på grund av detta. Ingenting i controller-testet ändrar vad som är tillgängligt, vad något kostar eller vad någon modell är bra på. De beslutsrelevanta fakta den här veckan är att GPT-6 Astra och Claude Fable 5.1 båda är live och prissatta, och att Gemini 4 Pro varken är live eller prissatt. Om du vill gardera dig för möjligheten bör du gardera med routing i stället för med en omskrivning.

Den ärliga läsningen

Controllertestet är det bästa beviset någon har lagt fram om Gemini 4 Pro, och det bästa beviset någon har lagt fram är oavgjort, från ett försök, som inte upprepades, på en modell som ingen kan namnge, rapporterat tillsammans med ett benchmark-ark som ingen kan kontrollera. Det låter som ett avfärdande, och det är det inte. Anledningen till att testet spreds är att det är den första artefakten i den här historien som ser ut som en produkt snarare än en slide — en riktig prompt, en riktig output, en riktig person som jämför dem, och ett resultat som ingen av sidornas anhängare fick ta åt sig äran för rakt av.

Det den inte gör är att avgöra någonting. Om du behöver leverera den här veckan är det den frontier-nivå som finns — GPT-6 Astra för 10/50 dollar, Claude Fable 5.1 till sitt eget listpris — som ditt beslut faktiskt hänger på, och båda kan anropas med en enda nyckel utan ett andra avtal. Om du vill veta vad Google har, är de enda signaler som kan flytta detta från en artikel om vad vi vet så här långt till en lanseringsartikel ett modell-id, en prislista och en reproduktion. Fram till dess att de kommer är den korrekta tolkningen av jämförelsen av Xbox 360-kontrollen den som personen som körde den gav: två mycket bra teckningar, och ingen vinnare.