Titelkort för en jämförelse där GPT-6.2 Astra och GPT-6.2 Sol bygger samma three.js-Yonkers-mechdemo, med Astra på 1 318 Elo i Artificial Analysis AA-3D och Sol på 1 259, samt ett band som noterar att ingen av modellerna i en utvecklares publicerade direktjämförelse förvandlade staden till en mech på ett övertygande sätt. OrcaRouter-logotypen sitter i nedre högra hörnet.
Guides & Insights

GPT-6.2 Astra vs GPT-6.2 Sol: Två mechdemos, en miss

Författare

jinhao.song

Publiceringsdatum

Senaste modellerna · 20Visa alla modeller →
Benchmarks: Artificial Analysis · uppdateras dagligen
Tillbaka till alla inlägg

OpenAI:s lanseringsinlägg för GPT-6.2 Astra och GPT-6.2 Solger ett snävt, kontrollerbart löfte: paret "skriver renare kod och bygger gränssnitt som ser bättre ut och fungerar bättre, särskilt för webbplatser, spel och 3D-design". Det är den typen av påstående som ett datablad inte kan avgöra och ett benchmark bara kan närma sig, så två dagar efter lanseringen finns det exakt en publicerad, reproducerbar direkt jämförelse av det – Simon Willisons Yonkers-prompt, körd mot båda modellerna med Ultra-ansträngning i Codex CLI, med båda utdata kvar online för alla att öppna. Hans dom är berättelsens första rad: "Ingen av dem gjorde ett tillräckligt bra jobb med att förvandla Yonkers till en stor mech."

Det som gör testet värt en artikel är inte att två modeller misslyckades. Det är att de misslyckades på olika sätt, i kod du kan läsa, och att den som misslyckades på ett dyrare sätt var den som var tillräckligt bra för att klippa jämförelsevideon efteråt. Om du är på väg att lägga en vecka av kontextfönstret på frontendgenerering, är skillnaden mellan ett 568 KB stort bundle och fyra handskrivna moduler skillnaden mellan en demo du kan leverera och en du måste skriva om.

Vad Open​AI säger att paret kan bygga

Open​AI:s inlägg beskriver hur båda modellerna förvandlar "en skriftlig instruktion till en interaktiv webbläsarupplevelse, från ett flipperspel du kan spela till en rekonstruktion av Colosseum som du kan utforska från olika vinklar," och pekar på AA-3D från Artificial Analysis, där mänskliga domare ser två blindade upplevelser byggda från samma prompt och röstar på den de föredrar. På den listan ligger GPT-6.2 Astra först med 1 318 Elo, före Claude Fable 5.2 med 1 271 och GPT-6.2 Sol med 1 259.

Läser man 59-poängsgapet mellan de två Open​AI-modellerna skulle man dra slutsatsen att Astra är betydligt bättre på 3D. Läser man de absoluta siffrorna lär man sig något som rankningen döljer: rankningstavlan jämför aldrig mer än två försök med samma prompt, så den kan tala om vilken av ett par som ser bättre ut, men säger inget om huruvida någon av dem är bra. Ett blindat preferenstest mellan två oavslutade mechmodeller utser fortfarande en vinnare.

Dokumentationen lägger till en brasklapp som låter som en ursäkt från prompt engineering-teamet. I migreringsanteckningarna för GPT-6.2 anger Open​AI att båda modellerna är mer koncisa och mer direkta än GPT-6 Astra, att de kan föreslå ett steg och invänta svar när avsikten är oklar, och – raden som har betydelse för den här texten – att frontendarbete nu kräver uttrycklig vägledning när det gäller bilder och typografi. Vägledning som du inte har skrivit är vägledning som modellen hittar på. Yonkers-prompten innehåller ingen konstnärlig styrning alls, vilket är precis varför det är ett rättvist test av de två modellerna och ett något orättvist test av endera.

En prompt, två publicerade demos

Prompten är en mening: "Gör en three js-animation där Yonkers reser sig som en stor mech (cool uppresningsrörelse) och stampar runt i Manhattan, Queens och Brooklyn, använd kartdata från OpenStreetMap." Båda körningarna använde Ultra effort i Codex CLI. Båda resultaten är fortfarande online, och båda öppnar en fungerande WebGL-scen med en riktig kamera, en riktig low-poly-stad och en riktig rutt — vilket redan är mer än vad de flesta three js-förfrågningar producerar vid första försöket.

Ingen av dem är ett färdigt verk. Willisons egen jämförelse är mot Claude Fable 5.2 och Gemini 4 Carbon-versioner av samma uppdragsbeskrivning, och hans bedömning är att båda GPT-6.2-försöken förlorar på det enda som prompten faktiskt bad om: övergången från stad till stående mech. Uppresningsrörelsen är demot, och ingen av modellerna animerade den på riktigt.

• Paket — GPT-6.2 Astra levereras som ett Vite-bygge på 568 418 byte plus 8 075 byte CSS, jämfört med GPT-6.2 Sol som har en main.js på 17 094 byte som importerar city.js, mech.js och effects.js, med three.js som serveras lokalt på 658 900 byte

• Tidslinje — Astra kör en 96-sekunderssekvens på ett 0–960-reglage jämfört med Sol som kör en 48-sekunderssekvens, där gången börjar vid 6,25 s och sista steget vid 44,5 s

• Kapitel – fyra vardera: Astra numrerar dem med en sekvensräknare som visar "01 / 04", medan Sol namnger dem Yonkers, Manhattan, Queens och Brooklyn, med start vid 0, 17,6, 30,2 och 38 sekunder

• Kamera — Astra växlar mellan en "track"- och en "atlas"-vy, medan Sol har en växling för omloppsbana bunden till O

• Telemetri — Astra skriver ut en åtgärdsutläsning med texten "Stigande" och koordinaterna "40.9310° N 73.8987° W" mot Sol, en 184×138 radar-canvas vid "40.93° N · 73.90° W"

• Attribuering — båda anger OpenFreeMap, OpenMapTiles och © OpenStreetMap contributors i sidfoten, vilket är det enda kravet i uppdragsbeskrivningen som ingen av modellerna utelämnade

• Kostnaden för körningen – vid maximal ansträngning kostade Willisons standard-SVG-pelikan 88,71 ¢ på Astra mot 13,69 ¢ på Sol, ett förhållande som håller i sig på varje ansträngningsnivå han mätte

A two-column scoreboard comparing GPT-6.2 Astra and GPT-6.2 Sol on the Yonkers three.js build, with rows reading AA-3D Elo 1,318 versus 1,259, input price $8.00 versus $2.00 per million tokens, output price $40.00 versus $10.00, cached input $0.40 versus $0.10, demo timeline 96 seconds versus 48 seconds, and build one 568 KB bundle versus four ES modules, with a footer crediting AA-3D to Artificial Analysis, prices to OpenAI's rate card, and the build and timeline to the two published demos. The OrcaRouter logo sits in the bottom-right corner.

Astra: ett paket på 568 KB, skriptbaserat gränssnitt

Astras build har titeln "Stride Atlas — Yonkers Rising" och fungerar som en presentation: en sidhuvud med varumärket och statusen "Systemet är online", en ljudväxlare, en fullskärmsknapp och en canvas vars tillgängliga etikett utlovar "Tredimensionell stad och animerad mech. Dra för att rotera och scrolla för att zooma." Under den finns en överrad som lyder "Mech-simulering / 001", en rubrik som lyder "Yonkers Rising." och en underrad som lyder "New Yorks storstadsområde".

Hantverket sitter i instrumentationen. Det finns en telemetripanel med en aktionsutläsning som visar "Stigande" och koordinater i realtid, en inbäddad ruttöversiktscanvas märkt 10 km och en transportkonsol med en sekvensräknare, uppspelnings- och omstartsknappar, en klocka, ett scrub-intervall från 0 till 960 och en sluttid på 01:36. Det är 96 sekunder av en författad sekvens, och en så lång scrubber är inte en slump – det är ett beslut att demon är en film och att kameran är regissören.

Det levereras också som en enda paketerad artefakt. Allt ovanstående kompileras till en enda Vite-utdata på 568 418 byte och en enda stilmall på 8 075 byte, med strängen chapters och en stompProgramCache som överlever minifiering eftersom sekvensdatan är verklig. För en demo är ett paket rätt val: en fil att hosta, en cachepost, ingen importgraf som kan gå sönder. För en kodbas som du måste utöka är det en mur på 568 kB.

The GPT-6.2 Astra build of the Yonkers mech demo, titled Stride Atlas with a Yonkers Rising headline, showing a low-poly New York City on a three.js canvas, a mech telemetry panel reading Rising with coordinates 40.9310 degrees north and 73.8987 degrees west, a 10-kilometre route overview inset, a sequence console at 01 of 04 with a 96-second scrubber, and OpenStreetMap attribution.

Sol: fyra moduler, en lokal three.js

Sols bygge har titeln "Yonkers Protocol | En New York-mechsimulering" och dess metabeskrivning namnger tekniken rakt ut: "En filmisk Three.js-animation av en stadsstor mech som reser sig i Yonkers och marscherar genom Manhattan, Queens och Brooklyn." Sidan körs under varumärket "METRO CONTROL / NEW YORK, NY" med en "OPENSTREETMAP TERRAIN"-chip, en växlingsknapp för omloppsvy, en ljudväxlingsknapp och en viewport märkt "Yonkers Protocol-simulering".

Där Astra skrev ett filmmanus byggde Sol ett kontrollrum. Det finns en sektorindikator på "01 / 04 YONKERS", en "Startsekvens"-knapp med en SPACE-hänvisning, en radar-canvas på 184×138, fyra fasknappar — Yonkers / Uppvaknandet, Manhattan / Söderut, Queens / East River, Brooklyn / Slutinflygning — och en hänvisning om att dra för att rotera och scrolla för att zooma. Copytexten är det mest självsäkra inslaget på båda sidorna: "Se Yonkers resa sig från Hudsonflodens kaj och tåga genom Manhattan, Queens och Brooklyn."

Det intressanta är koden. Sol hoppade helt över bundlern och använde en importmap som pekade three mot en lokal kopia av modulbygget och delade sedan upp arbetet för hand: city.js på 9 603 byte, mech.js på 25 511, effects.js på 12 119. main.js håller i regin – en varaktighet på 48 sekunder, gången börjar vid 6,25 s, sista steget vid 44,5 s, sexton longitud- och latitudkontrollpunkter som löper från Yonkers ner till Brooklyn, och en THREE.CatmullRomCurve3 genom dem med arcLengthDivisions satt till 1 000 så att meken går i jämn takt i stället för att snabba upp genom tighta kurvor. Den sista inställningen är den typen av detalj som man bara skriver om man har sett en karaktär hacka.

Inget av tillvägagångssätten är fel. Astra optimerade för en sak som laddas, Sol optimerade för en sak som du kan öppna och redigera – och filuppdelningen visar att Sol förstod att en 3D-demo är en scengraf, en aktör och en uppsättning effekter, och att dessa hör hemma i olika filer.

The GPT-6.2 Sol build of the Yonkers mech demo, titled Yonkers Protocol, showing a cinematic low-poly New York City with a sector readout at 01 of 04 Yonkers, a radar panel at 40.93 degrees north and 73.90 degrees west, a Start sequence button with a space-bar hint, four phase buttons for Yonkers, Manhattan, Queens and Brooklyn, and OpenStreetMap attribution.

Morphen som båda demorna missade

Här är delen som ingen mängd UI-polering täcker. Prompten ber Yonkers att resa sig som en stor mech – en förvandling, där ett stadskvarter blir en kropp. Ingen av versionerna levererar den övergången övertygande, och Willison säger det rakt ut och rankar båda lägre än Claude Fable 5.2:s och Gemini 4 Carbon:s versioner.

Det är den ärliga tolkningen av en Elo-poäng på 1 318. Artificial Analysis mätte Astra före Sol, och demonstrationen håller med – Astras sida är den mer färdigställda. Men resultattavlan svarar på "vilken av dessa två är bättre", och frågan en läsare faktiskt har är "är detta tillräckligt bra för att användas", och på den frågan är svaret från den enda publicerade direkta jämförelsen nej. Ett preferenstest mellan två modeller som båda missade morfningen kommer fortfarande att ge en rangordning, och rangordningen kommer fortfarande att rapporteras som ett försprång i förmåga.

Den andra halvan av lanseringens frontend-berättelse är kommunikation, och den är inte heller smickrande. Willison citerar Theo Brownes feedbackbrev inför lanseringen, som beskriver en modell som hanterar subagenter väl på långa uppgifter och sedan fastnar på en intern implementationsfråga som ingen människa skulle kunna besvara – hans exempel är en agent som två timmar in i ett projekt stannar för att fråga om en granskare skriver sina klipp till det ena eller andra filnamnet. Open​AI:s egen migreringsnotis om att modellen ”kan föreslå ett steg och vänta när avsikten är oklar” är samma beteende beskrivet inifrån, och det är en verklig kostnad: en agent som väntar på indata du inte kan ge är en agent som har stannat.

Vad gapet innebär för din build

Om arbetet är en 3D- eller frontenddemo är den praktiska skillnaden mellan de två modellerna inte 59 Elo. Det är att Astra ger dig en artefakt som ser färdig ut och att Sol ger dig ett kodförråd. Välj Astra när leverabeln är en länk du skickar till någon; välj Sol när leverabeln är kod som någon annan måste ändra på måndag.

Prissätt valet på samma axel. GPT-6.2 Astra debiteras med $8 per miljon indata och $40 per miljon utdata, med cachad indata till $0,40 och cacheskrivningar till $10. GPT-6.2 Sol debiteras med $2, $10, $0,10 och $2,50 — en fjärdedel av tokenpriset på varje rad. Båda har ett kontextfönster på 1 050 000 token med högst 922 000 indata och högst 128 000 utdata, båda avvisar reasoning_effort: "none", och båda fördubblar indata och cachad indata över 272 000 token per begäran samtidigt som de debiterar 1,5× för utdata. Batch debiteras till 50 % av standard, Fast-läge till dubbelt och Ultrafast till tre gånger fram till den 28 februari 2027 och sex gånger från och med den 1 mars 2027.

Kostnaden per artefakt från samma eftermiddag är den siffra man ska hålla fast vid. Willisons pelikantest renderar samma SVG vid tre insatsnivåer, och vid maximal insats kostade Astra 88,71 ¢ mot Sols 13,69 ¢ – ungefär sex och en halv gånger så mycket för en teckning som han inte beskrev som en tydlig vinst för någon av dem. Frontend-generering vid Ultra-insats är ett område där den dyra modellens fördel är verklig men smal, och där ett enda nytt försök raderar den.

Var routinglagret passar in

För att vara tydlig om läget: GPT-6.2 Astra och GPT-6.2 Sol finns inte i OrcaRouter-katalogen i dag. De Open​AI-rader vi tillhandahåller är GPT-6 Astra, GPT-6 Sol och GPT-6.1 Sol, så den här kombinationen går att nå via Open​AI:s eget API och tredjepartsplattformar i allmänhet, men inte via oss.

Det katalogen faktiskt ger dig är vanan som den här artikeln argumenterar för. Ett test som Yonkers är precis den typ av arbetsbelastning som du vill A/B-testa mellan modeller i stället för att binda en produktionsväg till den – och att göra det via en enda endpoint innebär en nyckel, en faktura och inget andra avtal, med automatisk failover när en modell du provar börjar få timeout mitt i en rendering. På de rader vi faktiskt har förmedlar OrcaRouter leverantörens listpris vidare med 0 % påslag, så det är leverantörens egen prislista du betalar, och en prissänkning är aktiv hos oss samma dag. Om du väljer mellan en modell för 2 $ och en för 8 $ för frontendarbete, är det jämförelsen värd att köra själv, med samma prompt, innan du väljer en standard.

Den snävare lärdomen av den här lanseringen är att 3D-generering har gått från "kan inte" till "ofärdigt", och de två modellerna befinner sig på olika punkter på den sluttningen: den ena producerar en sida som ser färdig ut, den andra producerar kod som är färdig. Ingen av dem förvandlade Yonkers. Båda kom tillräckligt nära för att nästa version förmodligen kommer att göra det — och när den gör det blir kostnaden för att få veta det en enda prompt, inte en migrering.