Carton-titre pour une comparaison entre GPT-6.2 Astra et GPT-6.2 Sol construisant la même démo de mech Yonkers en three.js, affichant Astra à 1 318 Elo sur l'AA-3D d'Artificial Analysis et Sol à 1 259, avec un bandeau précisant que, dans la comparaison côte à côte publiée par un développeur, aucun des deux modèles n'a transformé la ville en mech de façon convaincante. Le logo OrcaRouter figure dans le coin inférieur droit.
Guides & Insights

GPT-6.2 Astra vs GPT-6.2 Sol : deux démos de méchas, un raté

Auteur

jinhao.song

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

L'article de lancement d'OpenAI pour GPT-6.2 Astra et GPT-6.2 Sol avance une promesse étroite et vérifiable : le duo « écrit du code plus propre et construit des frontends qui sont plus beaux et fonctionnent mieux, en particulier pour les sites web, le jeu vidéo et la conception 3D ». C'est le genre d'affirmation qu'une fiche technique ne peut pas trancher et qu'un benchmark ne peut qu'approcher ; donc, deux jours après la sortie, il n'existe qu'une seule comparaison directe publiée et reproductible de cette promesse — le prompt Yonkers de Simon Willison, exécuté sur les deux modèles avec le niveau d'effort Ultra dans le Codex CLI, les deux résultats étant laissés en ligne pour que chacun puisse les ouvrir. Son verdict est la première ligne de l'article : « Aucun des deux n'a suffisamment bien réussi à métamorphoser Yonkers en un grand mech. »

Ce qui rend ce test digne d’un article, ce n’est pas que deux modèles aient échoué. C’est qu’ils aient échoué de manières différentes, dans du code que l’on peut lire, et que celui qui a échoué de façon plus coûteuse était celui qui était assez bon pour monter la vidéo de comparaison ensuite. Si vous êtes sur le point de consacrer une semaine de fenêtre de contexte à la génération frontend, la différence entre un bundle de 568 Ko et quatre modules écrits à la main est la différence entre une démo que vous pouvez livrer et une que vous devez réécrire.

Ce qu’Open​AI dit que le duo peut construire

L’affirmation est suffisamment précise pour être testée. La publication d’Open​AI décrit les deux modèles transformant « un brief écrit en une expérience interactive dans le navigateur, d’une table de flipper à laquelle on peut jouer à une reconstitution du Colisée que l’on peut explorer sous différents angles », et renvoie à l’AA-3D d’Artificial Analysis, où des juges humains voient deux expériences en aveugle construites à partir du même prompt et votent pour celle qu’ils préfèrent. Dans ce classement, GPT-6.2 Astra occupe la première place avec 1 318 Elo, devant Claude Fable 5.2 à 1 271 et GPT-6.2 Sol à 1 259.

Lisez l’écart de 59 points entre les deux modèles Open​AI et vous concluriez qu’Astra est nettement meilleur en 3D. Lisez les chiffres absolus et vous apprenez quelque chose que le classement masque : le tableau ne compare jamais que deux tentatives sur le même prompt, il peut donc vous dire laquelle d’une paire semble meilleure tout en ne disant rien de la qualité de l’une ou de l’autre. Un test de préférence en aveugle entre deux méchas inachevés désigne quand même un gagnant.

La documentation ajoute une mise en garde qui ressemble à des excuses de la part de l'équipe d'ingénierie des prompts. Dans les notes de migration de GPT-6.2, Open​AI indique que les deux modèles sont plus concis et plus directs que GPT-6 Astra, qu'ils peuvent proposer une étape puis attendre lorsque l'intention n'est pas claire, et — la phrase qui compte pour cet article — que le travail frontend nécessite désormais des consignes explicites en matière d'imagerie et de typographie. Une direction que vous n'avez pas écrite est une direction que le modèle invente. Le prompt de Yonkers ne contient aucune direction artistique, ce qui est précisément la raison pour laquelle il constitue un test équitable des deux modèles et un test légèrement inéquitable de l'un comme de l'autre.

Un seul prompt, deux démos publiées

Le prompt est une seule phrase : « Crée une animation three js où Yonkers se lève comme un grand mech (mouvement de redressement cool) et parcourt Manhattan, Queens et Brooklyn en piétinant, en utilisant les données cartographiques d'OpenStreetMap. » Les deux exécutions ont utilisé l'effort Ultra dans le Codex CLI. Les deux résultats sont toujours en ligne, et les deux s'ouvrent sur une scène WebGL fonctionnelle avec une vraie caméra, une vraie ville low-poly et un véritable itinéraire — ce qui est déjà plus que ce que la plupart des requêtes three.js produisent du premier coup.

Aucune des deux n’est un travail abouti. La comparaison de Willison porte sur les builds de Claude Fable 5.2 et de Gemini 4 Carbon réalisés à partir du même brief, et son jugement est que les deux tentatives de GPT-6.2 échouent sur la seule chose que le prompt demandait réellement : la transition entre la ville et le mech debout. Le mouvement de redressement constitue la démo, et aucun des deux modèles ne l’a vraiment animé.

• Bundle — GPT-6.2 Astra fournit une build Vite unique de 568 418 octets plus 8 075 octets de CSS, contre GPT-6.2 Sol avec un main.js de 17 094 octets qui importe city.js, mech.js et effects.js, three.js étant servi localement à 658 900 octets

• Chronologie — Astra exécute une séquence de 96 secondes sur un curseur 0–960, contre une séquence de 48 secondes pour Sol, la marche débutant à 6,25 s et le dernier pas à 44,5 s

Chapitres — quatre chacun : Astra les numérote avec un compteur de séquence affichant « 01 / 04 », tandis que Sol les nomme Yonkers, Manhattan, Queens et Brooklyn, en commençant à 0, 17,6, 30,2 et 38 secondes.

• Caméra — Astra bascule entre une vue « suivi » et une vue « atlas », tandis que Sol dispose d'un bouton de bascule d'orbite lié à O

• Télémétrie — Astra imprime un relevé d’action indiquant « Rising » et les coordonnées « 40.9310° N 73.8987° W », contre Sol, un canevas radar de 184×138 à « 40.93° N · 73.90° W »

• Attribution — les deux modèles créditent OpenFreeMap, OpenMapTiles et © OpenStreetMap contributors dans le pied de page, la seule exigence du cahier des charges qu’aucun des deux n’a omise.

• Coût de l’exécution — à l’effort maximal, le pélican SVG standard de Willison a coûté 88,71 ¢ sur Astra contre 13,69 ¢ sur Sol, un ratio qui se maintient à chaque niveau d’effort qu’il a mesuré

A two-column scoreboard comparing GPT-6.2 Astra and GPT-6.2 Sol on the Yonkers three.js build, with rows reading AA-3D Elo 1,318 versus 1,259, input price $8.00 versus $2.00 per million tokens, output price $40.00 versus $10.00, cached input $0.40 versus $0.10, demo timeline 96 seconds versus 48 seconds, and build one 568 KB bundle versus four ES modules, with a footer crediting AA-3D to Artificial Analysis, prices to OpenAI's rate card, and the build and timeline to the two published demos. The OrcaRouter logo sits in the bottom-right corner.

Astra : un seul bundle de 568 Ko, une interface scriptée

La build d’Astra s’intitule « Stride Atlas — Yonkers Rising » et se comporte comme une présentation : un bandeau avec la marque et un statut « Système en ligne », un bouton audio, un bouton plein écran et un canevas dont le libellé accessible promet « Ville tridimensionnelle et mech animé. Faites glisser pour pivoter et faites défiler pour zoomer. » En dessous, un surtitre indiquant « Simulation de mech / 001 », un titre indiquant « Yonkers Rising. » et un sous-titre indiquant « Région métropolitaine de New York ».

L’art réside dans l’instrumentation. Il y a un panneau de télémétrie avec un affichage d’action qui indique « En hausse » et des coordonnées en direct, un canevas d’aperçu d’itinéraire en incrustation portant la mention 10 km, et une console de transport avec un compteur de séquence, des boutons de lecture et de redémarrage, une horloge, une plage de défilement de 0 à 960 et une heure de fin de 01:36. Cela représente 96 secondes de séquence conçue, et un curseur de lecture d’une telle longueur n’est pas un hasard : c’est la décision que la démo est un film et que la caméra en est le réalisateur.

Il se présente aussi sous la forme d’un seul artefact groupé. Tout ce qui précède est compilé en une sortie Vite unique de 568 418 octets et une feuille de style de 8 075 octets, avec la chaîne chapters et un stompProgramCache qui survivent à la minification parce que les données de séquence sont réelles. Pour une démo, un bundle est le bon choix : un seul fichier à héberger, une seule entrée de cache, aucun graphe d’importation à casser. Pour une base de code que vous devez étendre, c’est un mur de 568 Ko.

The GPT-6.2 Astra build of the Yonkers mech demo, titled Stride Atlas with a Yonkers Rising headline, showing a low-poly New York City on a three.js canvas, a mech telemetry panel reading Rising with coordinates 40.9310 degrees north and 73.8987 degrees west, a 10-kilometre route overview inset, a sequence console at 01 of 04 with a 96-second scrubber, and OpenStreetMap attribution.

Sol : quatre modules, un three.js local

Le build de Sol s’intitule « Yonkers Protocol | Une simulation de mech à New York » et sa méta-description nomme explicitement la technologie : « Une animation cinématique Three.js d’un mech de la taille d’une ville s’élevant à Yonkers et marchant à travers Manhattan, Queens et Brooklyn. » La page fonctionne sous une marque « METRO CONTROL / NEW YORK, NY » avec une puce « OPENSTREETMAP TERRAIN », un bouton bascule de vue orbitale, un bouton bascule du son et une fenêtre d’affichage intitulée « Yonkers Protocol simulation ».

Là où Astra a écrit le scénario d’un film, Sol a construit une salle de contrôle. On y trouve un indicateur de secteur « 01 / 04 YONKERS », un bouton « Lancer la séquence » avec une indication ESPACE, un canevas radar de 184 × 138, quatre boutons de phase — Yonkers / Réveil, Manhattan / Vers le sud, Queens / East River, Brooklyn / Approche finale — et une indication glisser pour orbiter, faire défiler pour zoomer. Le texte est l’élément le plus assuré de l’une comme de l’autre page : « Regardez Yonkers s’élever depuis le front de mer de l’Hudson et avancer à travers Manhattan, Queens et Brooklyn. »

Le code, c'est la partie intéressante. Sol a complètement contourné le bundler et utilisé une import map pointant three vers une copie locale du build du module, puis a réparti le travail à la main : city.js à 9 603 octets, mech.js à 25 511, effects.js à 12 119. main.js contient la direction — une durée de 48 secondes, la marche commençant à 6,25 s, le dernier pas à 44,5 s, seize points de contrôle de longitude et de latitude allant de Yonkers jusqu'à Brooklyn, et une THREE.CatmullRomCurve3 qui les traverse avec arcLengthDivisions réglé à 1 000 pour que le mech marche à un rythme régulier au lieu de s'accélérer dans les virages serrés. Ce dernier réglage est le genre de détail qu'on n'écrit que si l'on a déjà vu un personnage avoir des à-coups.

Aucune des deux approches n'est mauvaise. Astra a privilégié une chose qui se charge, Sol a privilégié une chose que l'on peut ouvrir et modifier — et la découpe des fichiers montre que Sol a bien compris qu'une démo 3D, c'est un graphe de scène, un acteur et un ensemble d'effets, et que tout cela a sa place dans des fichiers distincts.

The GPT-6.2 Sol build of the Yonkers mech demo, titled Yonkers Protocol, showing a cinematic low-poly New York City with a sector readout at 01 of 04 Yonkers, a radar panel at 40.93 degrees north and 73.90 degrees west, a Start sequence button with a space-bar hint, four phase buttons for Yonkers, Manhattan, Queens and Brooklyn, and OpenStreetMap attribution.

Le morph que les deux démos ont raté

Voici la partie que nul polissage d'interface ne saurait couvrir. Le prompt demande à Yonkers de se dresser comme un grand mech — une transformation, où un pâté de maisons devient un corps. Aucune des deux versions ne rend cette transition de façon convaincante, et Willison le dit directement, classant les deux derrière la version de Claude Fable 5.2 et celle de Gemini 4 Carbon.

C’est la lecture honnête d’un score Elo de 1 318. Artificial Analysis a classé Astra devant Sol, et la démo le confirme : la page d’Astra est la plus aboutie. Mais le classement répond à « laquelle de ces deux est meilleure », alors que la question qu’un lecteur se pose réellement est « est-ce assez bon pour être utilisé », et sur ce point, la réponse du seul comparatif direct publié est non. Un test de préférence entre deux modèles qui ont tous deux raté le morphing produira quand même un classement, et ce classement sera quand même présenté comme une avance en matière de capacités.

L’autre moitié de l’histoire frontend du lancement est la communication, et elle n’est pas flatteuse non plus. Willison cite la lettre de retour pré-lancement de Theo Browne, qui décrit un modèle qui gère bien les sous-agents sur de longues tâches, puis se bloque sur une question d’implémentation interne à laquelle aucun humain ne pourrait répondre — son exemple étant un agent qui, deux heures après le début d’un projet, s’arrête pour demander si un relecteur écrit ses clips sous un nom de fichier ou un autre. La propre note de migration d’OpenAI selon laquelle le modèle « peut proposer une étape et attendre lorsque l’intention n’est pas claire » décrit le même comportement vu de l’intérieur, et c’est un coût réel : un agent qui attend une entrée que vous ne pouvez pas lui donner est un agent qui s’est arrêté.

Ce que l’écart implique pour votre build

Si le travail est une démo 3D ou front-end, la différence pratique entre les deux modèles ne tient pas aux 59 points Elo. C’est qu’Astra vous remettra un artefact d’apparence terminée et Sol vous remettra un dépôt. Choisissez Astra lorsque le livrable est un lien que vous envoyez à quelqu’un ; choisissez Sol lorsque le livrable est du code que quelqu’un d’autre devra modifier lundi.

Évaluez le coût du choix sur le même axe. GPT-6.2 Astra facture 8 $ par million de tokens en entrée et 40 $ par million de tokens en sortie, avec l’entrée mise en cache à 0,40 $ et les écritures de cache à 10 $. GPT-6.2 Sol facture 2 $, 10 $, 0,10 $ et 2,50 $ — un quart du tarif par token à chaque ligne. Tous deux disposent d’une fenêtre de contexte de 1 050 000 tokens, avec un maximum de 922 000 tokens en entrée et de 128 000 tokens en sortie ; tous deux rejettent reasoning_effort: "none", et tous deux doublent le prix de l’entrée et de l’entrée mise en cache au-delà de 272 000 tokens par requête, tout en facturant la sortie à 1,5×. Le mode Batch est facturé à 50 % du tarif standard, le mode Fast au double et le mode Ultrafast au triple jusqu’au 28 février 2027, puis au sextuple à partir du 1er mars 2027.

Le chiffre du coût par artefact du même après-midi est celui à retenir. Le test du pélican de Willison produit le même SVG à trois niveaux d’effort, et à effort maximal, Astra a coûté 88,71 ¢ contre 13,69 ¢ pour Sol — environ six fois et demie plus cher pour un dessin qu’il n’a qualifié de victoire nette pour aucun des deux. La génération front-end en effort Ultra est un domaine où l’avantage du modèle coûteux est réel mais étroit, et où une seule nouvelle tentative suffit à l’effacer.

Où s'insère la couche de routage

Pour être direct sur notre position : GPT-6.2 Astra et GPT-6.2 Sol ne figurent pas aujourd’hui dans le catalogue OrcaRouter. Les références Open​AI que nous servons sont GPT-6 Astra, GPT-6 Sol et GPT-6.1 Sol, donc cette paire est accessible via l’API propre à Open​AI et les plateformes tierces en général, pas via nous.

Ce que le catalogue vous apporte vraiment, c’est l’habitude que défend cet article. Un test comme Yonkers est exactement le type de charge de travail qu’il vaut mieux comparer en A/B entre modèles plutôt que d’y engager un chemin de production — et le faire via un seul point de terminaison signifie une seule clé, une seule facture et pas de deuxième contrat, avec un basculement automatique lorsqu’un modèle que vous essayez commence à expirer en plein rendu. Sur les lignes que nous proposons, OrcaRouter répercute le prix catalogue du fournisseur avec 0 % de marge, donc vous payez la grille tarifaire du fournisseur elle-même et une baisse de prix est effective de notre côté le jour même. Si vous hésitez entre un modèle à 2 $ et un modèle à 8 $ pour du travail frontend, c’est la comparaison qui vaut la peine d’être menée vous-même, sur le même prompt, avant de choisir une configuration par défaut.

La leçon plus étroite de ce lancement, c’est que la génération 3D est passée de « impossible » à « inachevé », et les deux modèles se situent à des points différents sur cette pente : l’un produit une page qui semble terminée, l’autre produit du code qui l’est. Aucun des deux n’a transformé Yonkers. Les deux s’en sont assez approchés pour que la prochaine version le fasse probablement — et quand elle le fera, le coût de la découverte sera d’un prompt, pas d’une migration.

Comparés dans cet article1

Détecté à partir de cet article