GPT-6.2 Astra와 GPT-6.2 Sol이 동일한 three.js Yonkers 메크 데모를 제작하는 모습을 비교하는 타이틀 카드. Artificial Analysis의 AA-3D에서 Astra는 1,318 Elo, Sol은 1,259를 기록했으며, 한 개발자가 공개한 나란히 비교한 자료에서는 두 모델 모두 도시를 메크로 설득력 있게 변형하지 못했다고 적힌 띠 문구가 포함된다. OrcaRouter 로고는 오른쪽 아래 모서리에 있다.
Guides & Insights

GPT-6.2 Astra vs GPT-6.2 Sol: 두 개의 메크 데모, 하나의 실패

작성자

jinhao.song

게시일

최신 모델 · 20모든 모델 보기 →
벤치마크: Artificial Analysis · 매일 업데이트
모든 게시물로 돌아가기

OpenAI의 GPT-6.2 Astra 및 GPT-6.2 Sol 출시 게시물은 좁지만 검증 가능한 약속을 내놓는다: 이 조합은 "더 깔끔한 코드를 작성하고, 특히 웹사이트, 게임, 3D 디자인에서 더 보기 좋고 더 잘 작동하는 프런트엔드를 구축한다"는 것이다. 이는 사양표만으로는 결론 낼 수 없고 벤치마크로도 근사할 수밖에 없는 종류의 주장이므로, 출시 이틀 뒤에는 이에 대한 공개적이고 재현 가능한 일대일 비교가 단 하나 존재한다 — Simon Willison의 Yonkers 프롬프트를 Codex CLI에서 Ultra effort로 두 모델 모두에 실행하고, 두 출력물을 누구나 열어볼 수 있도록 온라인에 남긴 것이다. 그의 평가는 이야기의 첫 줄이다: "두 모델 모두 Yonkers를 거대한 메카로 모핑하는 데 충분히 잘하지 못했다."

이 테스트가 글 한 편의 가치가 있는 이유는 두 모델이 부족했다는 점이 아니다. 두 모델이 읽을 수 있는 코드에서 서로 다른 방식으로 부족했고, 더 큰 비용을 치르고 부족했던 쪽이 나중에 비교 영상을 편집할 만큼 충분히 괜찮았다는 점이다. 프런트엔드 생성에 일주일치 컨텍스트 윈도우를 쓰려 한다면, 568KB 번들과 손으로 작성한 네 개의 모듈 사이의 차이는 출시할 수 있는 데모와 다시 작성해야 하는 데모 사이의 차이다.

Open​AI가 이 둘이 만들 수 있다고 말하는 것

이 주장은 검증하기에 충분할 만큼 구체적이다. OpenAI의 게시물은 두 모델이 모두 "작성된 브리프를 인터랙티브 브라우저 경험으로 구현하는 것, 즉 직접 플레이할 수 있는 핀볼 테이블부터 다양한 각도에서 탐험할 수 있는 콜로세움 재현까지" 가능하다고 설명하며, Artificial Analysis의 AA-3D를 지목한다. AA-3D에서는 인간 심사위원들이 동일한 프롬프트로 만들어진 두 개의 블라인드 경험을 보고 더 선호하는 쪽에 투표한다. 해당 순위표에서 GPT-6.2 Astra는 1,318 Elo로 1위를 차지했고, Claude Fable 5.2가 1,271로 그 뒤를 이었으며 GPT-6.2 Sol이 1,259로 뒤따랐다.

두 Open​AI 모델 사이의 59점 차이를 보면 Astra가 3D에서 상당히 더 낫다고 결론 내리게 될 것이다. 하지만 절대 수치를 보면 순위가 감추고 있는 사실을 알게 된다: 이 보드는 같은 프롬프트에 대한 두 시도만을 비교할 뿐이므로, 한 쌍 중 어느 쪽이 더 나아 보이는지는 알려줄 수 있지만 둘 중 하나라도 좋은지에 대해서는 아무 말도 하지 않는다. 미완성된 두 메크 사이의 블라인드 선호도 테스트도 여전히 승자를 가려낸다.

문서에는 프롬프트 엔지니어링 팀의 사과처럼 읽히는 단서가 덧붙어 있습니다. GPT-6.2 마이그레이션 노트에서 Open​AI는 두 모델 모두 GPT-6 Astra보다 더 간결하고 더 직접적이며, 의도가 불분명할 때는 한 단계를 제안한 뒤 기다릴 수 있고, 그리고 — 이 글에서 중요한 대목인 — 프런트엔드 작업에는 이제 이미지와 타이포그래피에 관한 명시적 지시가 필요하다고 밝힙니다. 당신이 쓰지 않은 지시는 모델이 만들어내는 지시입니다. Yonkers 프롬프트에는 아트 디렉션이 전혀 없으며, 바로 그렇기 때문에 이것은 두 모델에 대한 공정한 테스트이자 각 모델에 대해서는 다소 불공정한 테스트입니다.

하나의 프롬프트, 두 개의 공개 데모

프롬프트는 한 문장입니다: "용커스가 거대 메카로 일어서고(멋진 기립 동작) 맨해튼과 퀸스, 브루클린을 쿵쿵거리며 돌아다니는 three js 애니메이션을 만들고, OpenStreetMap 매핑 데이터를 사용하세요." 두 실행 모두 Codex CLI에서 Ultra effort를 사용했습니다. 두 결과물은 여전히 온라인에 있으며, 둘 다 실제 카메라, 실제 로우폴리 도시, 실제 경로가 있는 작동하는 WebGL 장면으로 열립니다 — 이는 대부분의 three.js 요청이 첫 시도에 만들어내는 것보다 이미 더 많은 것입니다.

둘 다 완성된 작업물은 아니다. 윌리슨 자신의 비교 대상은 같은 브리프로 만든 Claude Fable 5.2와 Gemini 4 Carbon 빌드이며, 그의 판단으로는 두 GPT-6.2 시도 모두 프롬프트가 실제로 요구한 단 한 가지, 즉 도시에서 기립형 메크로의 전환에서 진다. 기립 동작이 데모의 핵심인데, 어느 모델도 그것을 제대로 애니메이션하지 못했다.

• 번들 — GPT-6.2 Astra는 568,418바이트의 Vite 빌드 하나에 8,075바이트의 CSS를 더해 제공하는 반면, GPT-6.2 Sol은 city.js, mech.js, effects.js를 가져오는 17,094바이트의 main.js를 제공하며, three.js는 658,900바이트로 로컬에서 제공됩니다

• 타임라인 — Astra는 0–960 스크러버에서 96초 시퀀스를, Sol은 48초 시퀀스를 실행하며, 걷기는 6.25초에 시작하고 마지막 스텝은 44.5초입니다

• 챕터 — 각각 네 개: Astra는 "01 / 04"로 표시되는 시퀀스 카운터로 번호를 매기는 반면, Sol은 0초, 17.6초, 30.2초, 38초에서 시작하는 Yonkers, Manhattan, Queens, Brooklyn이라는 이름을 붙입니다

• 카메라 — Astra는 "track" 보기와 "atlas" 보기 사이를 전환하는 반면, Sol은 O에 바인딩된 궤도 전환 기능을 제공합니다

• 텔레메트리 — Astra는 동작 표시로 "상승"을, 좌표로 "40.9310° N 73.8987° W"를 출력하는 반면, Sol은 "40.93° N · 73.90° W"에서 184×138 레이더 캔버스를 출력합니다

• 출처 표시 — 두 모델 모두 페이지 바닥글에 OpenFreeMap, OpenMapTiles 및 © OpenStreetMap 기여자를 명시했으며, 이는 두 모델 모두 빠뜨리지 않은 브리프의 유일한 요구 사항입니다

• 실행 비용 — 최대 노력 수준에서 Willison의 표준 SVG 펠리컨은 Astra에서 88.71¢, Sol에서 13.69¢가 들었으며, 이 비율은 그가 측정한 모든 노력 수준에서 유지됩니다

A two-column scoreboard comparing GPT-6.2 Astra and GPT-6.2 Sol on the Yonkers three.js build, with rows reading AA-3D Elo 1,318 versus 1,259, input price $8.00 versus $2.00 per million tokens, output price $40.00 versus $10.00, cached input $0.40 versus $0.10, demo timeline 96 seconds versus 48 seconds, and build one 568 KB bundle versus four ES modules, with a footer crediting AA-3D to Artificial Analysis, prices to OpenAI's rate card, and the build and timeline to the two published demos. The OrcaRouter logo sits in the bottom-right corner.

Astra: 568KB 번들 하나, 스크립트 기반 UI

Astra의 빌드는 "Stride Atlas — Yonkers Rising"이라는 제목이며 프레젠테이션처럼 동작합니다: 브랜드와 "시스템 온라인" 상태가 표시된 마스트헤드, 오디오 토글, 전체 화면 버튼, 그리고 접근성 레이블이 "3차원 도시와 애니메이션 메크. 드래그하여 회전하고 스크롤하여 확대/축소하세요."라고 안내하는 캔버스가 있습니다. 그 아래에는 "메크 시뮬레이션 / 001"이라는 아이브로우, "욘커스 라이징."이라는 헤드라인, "뉴욕 대도시권"이라는 서브라인이 있습니다.

완성도는 계기 장치에 있다. 동작 판독값이 "Rising"이라고 표시되고 실시간 좌표가 함께 나오는 텔레메트리 패널, 10 km라고 표시된 삽입형 경로 개요 캔버스, 그리고 시퀀스 카운터, 재생 및 재시작 버튼, 시계, 0에서 960까지의 스크럽 범위, 종료 시간 01:36이 있는 재생 콘솔이 있다. 이는 96초 분량의 제작된 시퀀스이며, 그렇게 긴 스크러버는 우연이 아니다 — 이는 이 데모가 영화이고 카메라가 감독이라는 결정이다.

또한 단일 번들 산출물로 제공됩니다. 위의 모든 것은 568,418바이트짜리 Vite 출력 하나와 8,075바이트짜리 스타일시트 하나로 컴파일되며, 시퀀스 데이터가 실제이기 때문에 chapters 문자열과 stompProgramCache가 최소화 후에도 남습니다. 데모라면 번들이 정답입니다. 호스팅할 파일 하나, 캐시 항목 하나, 깨질 임포트 그래프도 없습니다. 확장해야 하는 코드베이스라면 568KB의 벽입니다.

The GPT-6.2 Astra build of the Yonkers mech demo, titled Stride Atlas with a Yonkers Rising headline, showing a low-poly New York City on a three.js canvas, a mech telemetry panel reading Rising with coordinates 40.9310 degrees north and 73.8987 degrees west, a 10-kilometre route overview inset, a sequence console at 01 of 04 with a 96-second scrubber, and OpenStreetMap attribution.

Sol: 네 개의 모듈, 로컬 three.js

Sol의 빌드 제목은 "Yonkers Protocol | 뉴욕 메크 시뮬레이션"이며, 메타 설명에는 해당 기술이 명시되어 있습니다. "용커스에서 솟아올라 맨해튼, 퀸스, 브루클린을 행진하는 도시 규모 메크의 시네마틱 Three.js 애니메이션." 페이지는 "METRO CONTROL / NEW YORK, NY" 브랜드 아래에 "OPENSTREETMAP 지형" 칩, 궤도 뷰 토글, 사운드 토글, 그리고 "Yonkers Protocol 시뮬레이션"이라는 라벨이 붙은 뷰포트로 구성되어 있습니다.

Astra가 영화를 각본으로 썼다면, Sol은 관제실을 지었습니다. “01 / 04 YONKERS” 섹터 판독값, SPACE 힌트가 있는 “시퀀스 시작” 버튼, 184×138 레이더 캔버스, 네 개의 페이즈 버튼 — 용커스 / 각성, 맨해튼 / 남행, 퀸스 / 이스트강, 브루클린 / 최종 접근 — 그리고 드래그로 궤도 회전, 스크롤로 확대/축소하라는 힌트가 있습니다. 카피는 두 페이지 어느 쪽에서든 가장 자신감 넘치는 요소입니다: “용커스가 허드슨 강변에서 솟아올라 맨해튼, 퀸스, 브루클린을 가로질러 행진하는 모습을 지켜보세요.”

코드가 흥미로운 부분이다. Sol은 번들러를 완전히 건너뛰고 three를 모듈 빌드의 로컬 사본을 가리키는 임포트 맵으로 연결한 다음, 작업을 손으로 나눴다: city.js는 9,603바이트, mech.js는 25,511, effects.js는 12,119. main.js가 방향을 담당한다 — 48초 길이, 6.25초에 시작하는 보행, 마지막 걸음은 44.5초, 요커스에서 브루클린까지 이어지는 16개의 경도·위도 체크포인트, 그리고 THREE.CatmullRomCurve3를 그것들을 통과하도록 arcLengthDivisions를 1,000으로 설정해 메크가 좁은 코너에서 속도가 붙지 않고 일정한 속도로 걷게 했다. 그 마지막 설정은 캐릭터가 덜컹거리는 모습을 본 사람이라야 쓸 수 있는 종류의 디테일이다.

어느 쪽도 틀리지 않았습니다. Astra는 '로딩되는 것'에 최적화했고, Sol은 '열어서 편집할 수 있는 것'에 최적화했습니다. 그리고 파일 분할을 보면 Sol이 3D 데모란 장면 그래프, 액터, 효과의 집합이며 그것들은 각기 다른 파일에 속한다는 점을 이해했다는 게 드러납니다.

The GPT-6.2 Sol build of the Yonkers mech demo, titled Yonkers Protocol, showing a cinematic low-poly New York City with a sector readout at 01 of 04 Yonkers, a radar panel at 40.93 degrees north and 73.90 degrees west, a Start sequence button with a space-bar hint, four phase buttons for Yonkers, Manhattan, Queens and Brooklyn, and OpenStreetMap attribution.

두 데모 모두가 놓친 그 모프

UI를 아무리 다듬어도 가려지지 않는 부분이 여기 있다. 프롬프트는 Yonkers가 일어서기를 요구한다 — 거대한 메카로, 도시 블록이 몸체가 되는 변신으로. 어느 빌드도 그 전환을 설득력 있게 구현하지 못하며, Willison은 이를 직접 말하며 둘 다 Claude Fable 5.2와 Gemini 4 Carbon의 결과물보다 뒤로 순위를 매긴다.

그것이 1,318 Elo 점수에 대한 정직한 해석이다. Artificial Analysis는 Astra를 Sol보다 앞선 것으로 측정했고, 데모도 이에 동의한다 — Astra의 페이지가 더 완성도 높다. 하지만 리더보드는 "이 둘 중 어느 쪽이 더 나은가"에 답하고, 독자가 실제로 품는 질문은 "이것이 사용하기에 충분히 좋은가"이며, 그 질문에 대해 공개된 유일한 나란히 비교의 답은 아니다. 둘 다 morph를 놓친 두 모델 간의 선호도 테스트는 여전히 순위를 산출할 것이고, 그 순위는 여전히 역량 우위로 보고될 것이다.

출시 프론트엔드 이야기의 나머지 절반은 커뮤니케이션이며, 이 역시 듣기 좋은 이야기는 아니다. Willison은 Theo Browne의 출시 전 피드백 편지를 인용하는데, 그 편지는 긴 작업에서 서브에이전트를 잘 관리하다가 인간이라면 답할 수 없는 내부 구현 질문에서 막혀 버리는 모델을 묘사한다. 그의 예시는 프로젝트가 두 시간쯤 진행된 시점에 에이전트가 멈춰서 리뷰어가 자신의 클립을 한 파일명으로 쓰는지 다른 파일명으로 쓰는지를 묻는 것이다. 모델이 "의도가 불분명할 때는 단계를 제안하고 기다릴 수 있다"고 한 OpenAI 자신의 마이그레이션 노트는 같은 행동을 내부자의 시선에서 설명한 것이며, 이는 실제 비용이다. 당신이 줄 수 없는 입력을 기다리는 에이전트는 멈춰 있는 에이전트다.

격차가 빌드에 무엇을 의미하는지

작업이 3D 또는 프런트엔드 데모라면, 두 모델의 실질적인 차이는 59 Elo가 아니다. 그것은 Astra는 완성된 것처럼 보이는 결과물을 건네고 Sol은 리포지토리를 건넨다는 점이다. 결과물이 누군가에게 보내는 링크라면 Astra를 고르고, 결과물이 월요일에 다른 누군가가 수정해야 하는 코드라면 Sol을 고르라.

같은 축에서 선택의 가격을 매기세요. GPT-6.2 Astra는 입력 100만 토큰당 $8, 출력 100만 토큰당 $40으로 청구되며, 캐시된 입력은 $0.40, 캐시 쓰기는 $10입니다. GPT-6.2 Sol은 각각 $2, $10, $0.10, $2.50으로 청구되며, 모든 항목에서 토큰 요금의 4분의 1입니다. 둘 다 1,050,000토큰 컨텍스트 창을 갖추고 있으며 최대 입력은 922,000, 최대 출력은 128,000입니다. 둘 다 거부합니다: reasoning_effort: "none", 그리고 둘 다 요청당 272,000토큰을 초과하는 입력 및 캐시된 입력은 두 배로, 출력은 1.5배로 청구합니다. 배치 요금은 표준의 50%, Fast 모드는 두 배, Ultrafast는 2027년 2월 28일까지 세 배, 2027년 3월 1일부터는 여섯 배입니다.

같은 오후의 산출물당 비용 수치는 기억해 둘 만하다. Willison의 펠리컨 테스트는 동일한 SVG를 세 가지 노력 수준에서 렌더링하는데, 최대 노력 수준에서 Astra는 88.71¢로 Sol의 13.69¢보다 비쌌다. 그가 어느 쪽도 확실한 승리라고 묘사하지 않은 그림에 대해 약 6.5배의 비용이다. Ultra 노력 수준의 프런트엔드 생성은 비싼 모델의 우위가 실재하지만 좁은 영역이며, 한 번의 재시도로 그 우위가 사라지는 곳이다.

라우팅 레이어가 들어가는 위치

입장을 분명히 말씀드리면: GPT-6.2 Astra와 GPT-6.2 Sol은 현재 OrcaRouter 카탈로그에 없습니다. 저희가 제공하는 Open​AI 모델은 GPT-6 Astra, GPT-6 Sol 및 GPT-6.1 Sol이므로, 이 두 모델은 일반적으로 Open​AI 자체 API와 타사 플랫폼을 통해 접근할 수 있으며, 저희를 통해서는 접근할 수 없습니다.

카탈로그가 실제로 주는 것은 이 글에서 주장하는 습관입니다. Yonkers 같은 테스트는 프로덕션 경로로 확정하기보다 여러 모델에 걸쳐 A/B 테스트를 하고 싶은 바로 그런 유형의 워크로드입니다. 그리고 이를 하나의 엔드포인트로 처리하면 키 하나, 청구서 하나, 두 번째 계약 없이 할 수 있으며, 시험 중인 모델이 렌더링 도중 타임아웃되기 시작할 때 자동 장애 조치가 이루어집니다. 저희가 실제로 취급하는 항목에서는 OrcaRouter가 공급자 정가를 0% 마크업으로 그대로 전달하므로, 벤더 자체의 요율표가 곧 지불하는 가격이며 가격 인하는 당일 저희 쪽에도 반영됩니다. 프런트엔드 작업에 $2 모델과 $8 모델 중 하나를 고르고 있다면, 기본값을 정하기 전에 동일한 프롬프트로 직접 비교해 볼 가치가 있는 비교입니다.

이번 출시에서 더 좁은 교훈은 3D 생성이 "할 수 없다"에서 "미완성"으로 넘어왔다는 것이며, 두 모델은 그 경사의 서로 다른 지점에 있다. 하나는 완성된 것처럼 보이는 페이지를 만들어 내고, 다른 하나는 실제로 완성된 코드를 만들어 낸다. 어느 쪽도 Yonkers를 변형시키지는 못했다. 둘 다 다음 릴리스라면 아마 해낼 만큼 충분히 근접했고, 그렇게 되면 알아내는 비용은 마이그레이션 한 번이 아니라 프롬프트 하나일 것이다.

이 글에서 비교한 모델1

이 글에서 자동 인식