Titelkarte für einen Vergleich von GPT-6.2 Astra und GPT-6.2 Sol, die dieselbe three.js-Yonkers-Mech-Demo bauen, mit Astra bei 1.318 Elo auf dem AA-3D von Artificial Analysis und Sol bei 1.259, sowie einem Hinweisband, das darauf verweist, dass bei einem von einem Entwickler veröffentlichten Side-by-Side-Vergleich keines der beiden Modelle die Stadt überzeugend in einen Mech verwandelt hat. Das OrcaRouter-Logo befindet sich in der unteren rechten Ecke.
Guides & Insights

GPT-6.2 Astra vs. GPT-6.2 Sol: Zwei Mech-Demos, ein Fehlschlag

Autor

jinhao.song

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Der Startbeitrag von OpenAI für GPT-6.2 Astra und GPT-6.2 Sol enthält ein eng gefasstes, überprüfbares Versprechen: Das Paar „schreibt saubereren Code und baut Frontends, die besser aussehen und funktionieren, insbesondere für Websites, Gaming und 3D-Design“. Das ist die Art von Behauptung, die ein Datenblatt nicht klären und ein Benchmark nur annähernd abbilden kann, daher gibt es zwei Tage nach der Veröffentlichung genau einen veröffentlichten, reproduzierbaren direkten Vergleich dazu – Simon Willisons Yonkers-Prompt, ausgeführt gegen beide Modelle mit Ultra-Aufwand in der Codex CLI, wobei beide Ausgaben online bleiben, damit jeder sie öffnen kann. Sein Urteil ist die erste Zeile der Geschichte: „Keines der beiden hat Yonkers gut genug in einen großen Mech verwandelt.“

Was den Test einen Artikel wert macht, ist nicht, dass zwei Modelle nicht überzeugten. Es ist, dass sie auf unterschiedliche Weise nicht überzeugten, in Code, den man lesen kann, und dass dasjenige, das teurer scheiterte, gut genug war, um danach das Vergleichsvideo zu schneiden. Wenn du dabei bist, eine Woche Kontextfenster für Frontend-Generierung auszugeben, ist der Unterschied zwischen einem 568-KB-Bundle und vier handgeschriebenen Modulen der Unterschied zwischen einer Demo, die du ausliefern kannst, und einer, die du neu schreiben musst.

Was Open​AI zufolge das Paar bauen kann

Die Behauptung ist spezifisch genug, um getestet zu werden. OpenAIs Beitrag beschreibt, dass beide Modelle „ein schriftliches Briefing in ein interaktives Browser-Erlebnis verwandeln, von einem Flipperautomaten, den man spielen kann, bis zu einer Nachbildung des Kolosseums, die man aus verschiedenen Blickwinkeln erkunden kann“, und verweist auf AA-3D von Artificial Analysis, wo menschliche Juroren zwei verblindete Erlebnisse sehen, die aus demselben Prompt erstellt wurden, und für dasjenige stimmen, das sie bevorzugen. In dieser Rangliste steht GPT-6.2 Astra mit 1.318 Elo auf Platz eins, vor Claude Fable 5.2 mit 1.271 und GPT-6.2 Sol mit 1.259.

Wenn Sie den 59-Punkte-Abstand zwischen den beiden Open​AI-Modellen lesen, würden Sie schließen, dass Astra in 3D deutlich besser ist. Lesen Sie die absoluten Zahlen, erfahren Sie etwas, das das Ranking verbirgt: Die Rangliste vergleicht immer nur zwei Versuche zum selben Prompt, kann Ihnen also sagen, welcher von beiden besser aussieht, aber nichts darüber, ob einer der beiden gut ist. Ein verblindeter Präferenztest zwischen zwei unfertigen Mechs liefert trotzdem einen Sieger.

Die Dokumentation fügt einen Vorbehalt hinzu, der wie eine Entschuldigung des Prompt-Engineering-Teams klingt. In den Migrationshinweisen für GPT-6.2 heißt es bei OpenAI, dass beide Modelle prägnanter und direkter seien als GPT-6 Astra, dass sie einen Schritt vorschlagen und abwarten können, wenn die Absicht unklar ist, und – die für diesen Text entscheidende Passage – dass Frontend-Arbeit nun explizite Vorgaben zu Bildsprache und Typografie braucht. Vorgaben, die Sie nicht geschrieben haben, sind Vorgaben, die das Modell erfindet. Der Yonkers-Prompt enthält überhaupt keine Art Direction, was genau der Grund dafür ist, dass er ein fairer Test für die beiden Modelle und ein etwas unfairer Test für jedes der beiden ist.

Ein Prompt, zwei veröffentlichte Demos

Der Prompt besteht aus einem Satz: „Erstelle eine three.js-Animation, in der Yonkers als großer Mech aufsteht (coole Aufstehbewegung) und durch Manhattan, Queens und Brooklyn stampft; verwende OpenStreetMap-Kartendaten.“ Beide Durchläufe verwendeten den Ultra-Aufwand in der Codex CLI. Beide Ergebnisse sind noch online, und beide führen zu einer funktionierenden WebGL-Szene mit einer echten Kamera, einer echten Low-Poly-Stadt und einer echten Route – was schon mehr ist, als die meisten three.js-Anfragen beim ersten Versuch liefern.

Keines der beiden ist eine fertige Arbeit. Willisons eigener Vergleich richtet sich gegen Builds von Claude Fable 5.2 und Gemini 4 Carbon zum selben Briefing, und sein Urteil ist, dass beide GPT-6.2-Versuche bei der einen Sache verlieren, nach der der Prompt tatsächlich verlangte: dem Übergang von der Stadt zum aufrecht stehenden Mech. Die Aufstehbewegung ist die Demo, und keines der Modelle hat sie wirklich animiert.

• Bundle — GPT-6.2 Astra liefert einen Vite-Build von 568.418 Bytes plus 8.075 Bytes CSS, während GPT-6.2 Sol eine 17.094-Byte große main.js hat, die city.js, mech.js und effects.js importiert, wobei three.js lokal mit 658.900 Bytes ausgeliefert wird

• Zeitachse — Astra führt eine 96-Sekunden-Sequenz auf einem 0–960-Scrubber aus, Sol eine 48-Sekunden-Sequenz, wobei das Gehen bei 6,25 s beginnt und der letzte Schritt bei 44,5 s liegt

• Kapitel — jeweils vier: Astra nummeriert sie mit einem Sequenzzähler, der „01 / 04“ anzeigt, während Sol sie Yonkers, Manhattan, Queens und Brooklyn nennt, beginnend bei 0, 17,6, 30,2 und 38 Sekunden

• Kamera — Astra wechselt zwischen einer „Track“- und einer „Atlas“-Ansicht, während Sol einen an O gebundenen Orbit-Umschalter hat

• Telemetrie — Astra gibt eine Aktionsanzeige aus, die „Steigend“ anzeigt, sowie Koordinaten „40.9310° N 73.8987° W“ im Vergleich zu Sol auf einer 184×138-Radarfläche bei „40.93° N · 73.90° W“

• Namensnennung — beide nennen OpenFreeMap, OpenMapTiles und © OpenStreetMap-Mitwirkende im Seitenfuß, was die einzige Anforderung des Briefings ist, die keines der beiden Modelle weggelassen hat

• Kosten des Durchlaufs — bei maximalem Aufwand kostete Willisons Standard-SVG-Pelikan 88,71 ¢ auf Astra gegenüber 13,69 ¢ auf Sol, ein Verhältnis, das bei jeder von ihm gemessenen Aufwandsstufe gilt

A two-column scoreboard comparing GPT-6.2 Astra and GPT-6.2 Sol on the Yonkers three.js build, with rows reading AA-3D Elo 1,318 versus 1,259, input price $8.00 versus $2.00 per million tokens, output price $40.00 versus $10.00, cached input $0.40 versus $0.10, demo timeline 96 seconds versus 48 seconds, and build one 568 KB bundle versus four ES modules, with a footer crediting AA-3D to Artificial Analysis, prices to OpenAI's rate card, and the build and timeline to the two published demos. The OrcaRouter logo sits in the bottom-right corner.

Astra: ein 568-KB-Bundle, skriptgesteuerte UI

Astras Build trägt den Titel „Stride Atlas — Yonkers Rising“ und verhält sich wie eine Präsentation: eine Kopfleiste mit der Marke und einem Status „System online“, ein Audio-Umschalter, eine Vollbild-Schaltfläche und ein Canvas, dessen zugängliche Bezeichnung „Dreidimensionale Stadt und animierter Mech. Ziehen zum Drehen und Scrollen zum Zoomen.“ verspricht. Darunter eine Überzeile mit „Mech-Simulation / 001“, eine Überschrift mit „Yonkers Rising.“ und eine Unterzeile mit „Metropolregion New York“.

{{1}}Die Kunst liegt in der Instrumentierung.{{/1}} Es gibt {{2}}ein Telemetrie-Panel{{/2}} mit {{3}}einer Aktionsanzeige{{/3}}, die „{{4}}Steigend{{/4}}“ sagt, und {{5}}Live-Koordinaten{{/5}}, {{6}}eine eingebettete Routenübersichts-Canvas{{/6}} mit der Beschriftung {{7}}10 km{{/7}} sowie {{8}}eine Transportkonsole{{/8}} mit {{9}}einem Sequenzzähler{{/9}}, {{10}}Wiedergabe- und Neustart-Schaltflächen{{/10}}, {{11}}einer Uhr{{/11}}, {{12}}einem Scrub-Bereich von 0 bis 960{{/12}} und {{13}}einer Endzeit von 01:36{{/13}}. {{14}}Das sind 96 Sekunden einer gestalteten Sequenz{{/14}}, und {{15}}ein so langer Scrubber ist kein Zufall{{/15}} — {{16}}es ist eine Entscheidung, dass die Demo ein Film ist und die Kamera die Regie führt{{/16}}.

Es liegt außerdem als einzelnes gebündeltes Artefakt vor. Alles oben Genannte wird zu einer einzigen Vite-Ausgabe mit 568.418 Byte und einem einzigen Stylesheet mit 8.075 Byte kompiliert, wobei die Zeichenkette chapters und ein stompProgramCache die Minifizierung überstehen, weil die Sequenzdaten echt sind. Für eine Demo ist ein Bundle die richtige Wahl: eine Datei zum Hosten, ein Cache-Eintrag, kein Importgraph, der brechen kann. Für eine Codebasis, die man erweitern muss, ist es eine 568-KB-Mauer.

The GPT-6.2 Astra build of the Yonkers mech demo, titled Stride Atlas with a Yonkers Rising headline, showing a low-poly New York City on a three.js canvas, a mech telemetry panel reading Rising with coordinates 40.9310 degrees north and 73.8987 degrees west, a 10-kilometre route overview inset, a sequence console at 01 of 04 with a 96-second scrubber, and OpenStreetMap attribution.

Sol: vier Module, ein lokales three.js

Sols Build trägt den Titel {{1}}"Yonkers Protocol | Eine New-York-Mech-Simulation"{{/1}}, und seine Meta-Beschreibung benennt die Technologie direkt: {{2}}"Eine filmische Three.js-Animation eines stadtgroßen Mechs, der in Yonkers aufsteigt und durch Manhattan, Queens und Brooklyn marschiert."{{/2}} Die Seite läuft unter einer Marke {{3}}"METRO CONTROL / NEW YORK, NY"{{/3}} mit einem {{4}}"OPENSTREETMAP-GELÄNDE"{{/4}}-Chip, einem Umschalter für die Orbit-Ansicht, einem Ton-Umschalter und einem Viewport mit der Beschriftung {{5}}"Yonkers Protocol-Simulation"{{/5}}.

Wo Astra einen Film inszenierte, baute Sol einen Kontrollraum. Es gibt eine Sektoranzeige bei „01 / 04 YONKERS“, eine Schaltfläche „Sequenz starten“ mit einem SPACE-Hinweis, eine 184×138-Radar-Leinwand, vier Phasenschaltflächen — Yonkers / Erwachen, Manhattan / Südwärts, Queens / East River, Brooklyn / Endanflug — und einen Hinweis zum Umkreisen per Ziehen und Zoomen per Scrollen. Der Werbetext ist das Selbstbewussteste auf beiden Seiten: „Sieh zu, wie Yonkers vom Hudson-Ufer aufsteigt und durch Manhattan, Queens und Brooklyn zieht.“

Der Code ist der interessante Teil. Sol hat den Bundler komplett übersprungen und eine Import Map verwendet, die three auf eine lokale Kopie des Modul-Builds zeigen ließ, und teilte dann die Arbeit von Hand auf: city.js mit 9.603 Bytes, mech.js mit 25.511, effects.js mit 12.119. main.js gibt die Richtung vor — eine Dauer von 48 Sekunden, das Gehen beginnt bei 6,25 s, der letzte Schritt bei 44,5 s, sechzehn Längen- und Breitengrad-Checkpoints, die von Yonkers hinunter nach Brooklyn verlaufen, und eine THREE.CatmullRomCurve3 durch sie hindurch, wobei arcLengthDivisions auf 1.000 gesetzt ist, damit der Mech gleichmäßig läuft, statt in engen Kurven schneller zu werden. Diese letzte Einstellung ist die Art von Detail, die man nur schreibt, wenn man einem Charakter beim Ruckeln zugesehen hat.

Keiner der beiden Ansätze ist falsch. Astra hat für etwas optimiert, das lädt, Sol hat für etwas optimiert, das man öffnen und bearbeiten kann – und die Dateiaufteilung zeigt, dass Sol verstanden hat, dass eine 3D-Demo ein Szenengraph, ein Akteur und eine Reihe von Effekten ist und dass diese in verschiedene Dateien gehören.

The GPT-6.2 Sol build of the Yonkers mech demo, titled Yonkers Protocol, showing a cinematic low-poly New York City with a sector readout at 01 of 04 Yonkers, a radar panel at 40.93 degrees north and 73.90 degrees west, a Start sequence button with a space-bar hint, four phase buttons for Yonkers, Manhattan, Queens and Brooklyn, and OpenStreetMap attribution.

Der Morph, den beide Demos übersahen

Hier ist der Teil, den noch so viel UI-Politur nicht abdeckt. Der Prompt verlangt von Yonkers,als ein großer Mech aufzustehen – eine Verwandlung, bei der ein Häuserblock zu einem Körper wird. Keiner der beiden Builds liefert diesen Übergang überzeugend, und Willison sagt das direkt und ordnet beide hinter Claude Fable 5.2s Umsetzung und der von Gemini 4 Carbon ein.

Das ist die ehrliche Einschätzung einer Elo-Bewertung von 1.318. Artificial Analysis hat Astra vor Sol gemessen, und die Demo stimmt dem zu – Astras Seite ist die fertigere. Doch die Bestenliste beantwortet die Frage „Welche der beiden ist besser?“, während die Frage, die eine Leserin tatsächlich hat, lautet: „Ist das gut genug, um es zu verwenden?“ Und darauf lautet die Antwort aus dem einzigen veröffentlichten Direktvergleich: nein. Ein Präferenztest zwischen zwei Modellen, die beide das Morphing verfehlt haben, erzeugt trotzdem eine Rangfolge, und diese Rangfolge wird trotzdem als Leistungsvorsprung gemeldet.

Die andere Hälfte der Frontend-Story des Launches ist Kommunikation, und auch sie ist nicht schmeichelhaft. Willison zitiert Theo Brownes Feedbackschreiben aus der Vorabphase, das ein Modell beschreibt, das Subagenten bei langen Aufgaben gut steuert und dann bei einer internen Implementierungsfrage blockiert, die kein Mensch beantworten könnte — sein Beispiel ist ein Agent, der seit zwei Stunden an einem Projekt arbeitet und dann innehält, um zu fragen, ob ein Reviewer seine Clips unter dem einen oder einem anderen Dateinamen ablegt. OpenAIs eigene Migrationsnotiz, wonach das Modell „einen Schritt vorschlagen und warten kann, wenn die Absicht unklar ist“, ist dasselbe Verhalten, nur von innen beschrieben, und es ist ein echter Kostenfaktor: Ein Agent, der auf Eingaben wartet, die man ihm nicht geben kann, ist ein Agent, der stehen geblieben ist.

Was die Lücke für deinen Build bedeutet

Wenn es sich bei der Arbeit um eine 3D- oder Frontend-Demo handelt, liegt der praktische Unterschied zwischen den beiden Modellen nicht in den 59 Elo. Er besteht darin, dass Astra Ihnen ein fertig wirkendes Artefakt liefert und Sol Ihnen ein Repository. Wählen Sie Astra, wenn das Ergebnis ein Link ist, den Sie jemandem schicken; wählen Sie Sol, wenn das Ergebnis Code ist, den am Montag jemand anderes ändern muss.

Bepreisen Sie die Wahl auf derselben Achse. GPT-6.2 Astra berechnet $8 pro Million Eingabetoken und $40 pro Million Ausgabetoken, wobei gecachte Eingabe $0,40 und Cache-Schreibvorgänge $10 kosten. GPT-6.2 Sol berechnet $2, $10, $0,10 und $2,50 – ein Viertel des Token-Tarifs in jeder Zeile. Beide verfügen über ein Kontextfenster von 1.050.000 Token mit maximal 922.000 Eingabe- und 128.000 Ausgabetoken, beide lehnen reasoning_effort: "none" ab, und beide verdoppeln Eingabe und gecachte Eingabe oberhalb von 272.000 Token pro Anfrage, während sie 1,5× Ausgabe berechnen. Batch wird mit 50 % des Standards abgerechnet, der Fast-Modus mit dem Doppelten und Ultrafast mit dem Dreifachen bis 28. Februar 2027 sowie mit dem Sechsfachen ab 1. März 2027.

Die Kosten-pro-Artefakt-Zahl vom selben Nachmittag ist die, die man sich merken sollte. Willisons Pelikan-Test rendert dasselbe SVG auf drei Aufwandsstufen, und bei maximalem Aufwand kostete Astra 88,71¢ gegenüber Sols 13,69¢ – etwa sechseinhalbmal so viel für eine Zeichnung, die keiner von beiden als klaren Sieg bezeichnete. Frontend-Generierung mit Ultra-Aufwand ist ein Bereich, in dem der Vorteil des teuren Modells real, aber schmal ist und in dem ein einziger erneuter Versuch ihn zunichtemacht.

Wo die Routing-Schicht hingehört

Um direkt zur Sachlage zu kommen: GPT-6.2 Astra und GPT-6.2 Sol sind heute nicht im OrcaRouter-Katalog. Die Open​AI-Einträge, die wir anbieten, sind GPT-6 Astra, GPT-6 Sol und GPT-6.1 Sol, daher ist dieses Paar über die eigene API von Open​AI und Drittanbieterplattformen im Allgemeinen erreichbar, nicht über uns.

Was der Katalog dir tatsächlich bringt, ist die Gewohnheit, für die dieser Artikel plädiert. Ein Test wie Yonkers ist genau die Art von Workload, die du lieber A/B über verschiedene Modelle hinweg fährst, statt dich für einen Produktionspfad festzulegen – und das über einen einzigen Endpoint zu tun bedeutet einen Schlüssel, eine Rechnung und keinen zweiten Vertrag, mit automatischem Failover, wenn ein Modell, das du gerade testest, mitten im Rendering in ein Timeout läuft. Bei den Modellen, die wir tatsächlich führen, gibt OrcaRouter die Listenpreise der Anbieter mit 0 % Aufschlag weiter, sodass du genau die Rate Card des Anbieters zahlst und eine Preissenkung bei uns noch am selben Tag live ist. Wenn du für Frontend-Arbeit zwischen einem 2-Dollar-Modell und einem 8-Dollar-Modell wählst, ist das der Vergleich, den du selbst mit demselben Prompt durchführen solltest, bevor du einen Standard festlegst.

Die engere Lehre aus diesem Launch ist, dass die 3D-Generierung von „kann nicht“ zu „unfertig“ übergegangen ist, und die beiden Modelle liegen an unterschiedlichen Punkten auf dieser Kurve: Das eine erzeugt eine Seite, die fertig aussieht, das andere Code, der es ist. Keines hat Yonkers verwandelt. Beide kamen nah genug heran, dass es das nächste Release wahrscheinlich tun wird – und wenn es so weit ist, kostet es nur einen Prompt, das herauszufinden, nicht eine Migration.

In diesem Artikel verglichen1

Aus diesem Artikel erkannt