Thẻ tiêu đề cho phần so sánh GPT-6.2 Astra và GPT-6.2 Sol cùng xây dựng bản demo mech Yonkers bằng three.js, hiển thị Astra đạt 1.318 Elo trên AA-3D của Artificial Analysis và Sol đạt 1.259, kèm một dải ghi chú rằng trong bài so sánh song song do một nhà phát triển công bố, cả hai mô hình đều không biến thành phố thành mech một cách thuyết phục. Logo OrcaRouter nằm ở góc dưới bên phải.
Guides & Insights

GPT-6.2 Astra vs GPT-6.2 Sol: Hai bản demo mech, một lần trượt

Tác giả

jinhao.song

Ngày đăng

Mô hình mới nhất · 20Xem tất cả mô hình →
Benchmark: Artificial Analysis · cập nhật hằng ngày
Quay lại tất cả bài viết

Bài đăng ra mắt của Open​AI cho GPT-6.2 Astra và GPT-6.2 Solđưa ra một lời hứa hẹp, có thể kiểm chứng: cặp đôi này "viết mã sạch hơn và xây dựng giao diện người dùng trông đẹp hơn và hoạt động tốt hơn, đặc biệt đối với trang web, trò chơi và thiết kế 3D." Đó là kiểu tuyên bố mà một bảng thông số không thể giải quyết và một bài đánh giá chuẩn chỉ có thể ước lượng gần đúng, vì vậy hai ngày sau khi phát hành, chỉ có đúng một so sánh đối đầu đã được công bố và có thể tái lập về nó — lời nhắc Yonkers của Simon Willison, được chạy với cả hai mô hình ở mức nỗ lực Ultra trong Codex CLI, với cả hai đầu ra được để trực tuyến cho bất kỳ ai mở. Phán quyết của ông là dòng đầu tiên của câu chuyện: "Cả hai đều không làm đủ tốt việc biến Yonkers thành một mech lớn."

Điều khiến bài kiểm thử này đáng để viết thành một bài viết không phải là việc hai mô hình đều hụt chuẩn. Mà là chúng hụt chuẩn theo những cách khác nhau, trong đoạn mã bạn có thể đọc được, và mô hình hụt chuẩn với cái giá đắt hơn lại chính là mô hình đủ tốt để dựng video so sánh sau đó. Nếu bạn sắp dành một tuần cửa sổ ngữ cảnh cho việc sinh frontend, thì khác biệt giữa một gói 568 KB và bốn mô-đun viết tay là khác biệt giữa một bản demo có thể xuất xưởng và một bản bạn phải viết lại.

Open​AI nói cặp đôi có thể xây dựng gì

Tuyên bố này đủ cụ thể để có thể kiểm chứng. Bài đăng của Open​AI mô tả cả hai mô hình biến “một bản đề bài bằng văn bản thành trải nghiệm trình duyệt tương tác, từ một bàn pinball có thể chơi đến bản tái tạo Đấu trường La Mã mà bạn có thể khám phá từ nhiều góc độ khác nhau”, và chỉ ra AA-3D của Artificial Analysis, nơi các giám khảo là con người xem hai trải nghiệm được ẩn danh được tạo từ cùng một lời nhắc và bình chọn cho trải nghiệm mà họ thích hơn. Trên bảng xếp hạng đó, GPT-6.2 Astra đứng đầu với 1.318 Elo, trước Claude Fable 5.2 với 1.271 và GPT-6.2 Sol với 1.259.

Đọc khoảng cách 59 điểm giữa hai mô hình Open​AI và bạn sẽ kết luận Astra tốt hơn đáng kể ở 3D. Đọc những con số tuyệt đối và bạn sẽ biết được điều mà bảng xếp hạng che giấu: bảng chỉ luôn so sánh hai lần thử với cùng một lời nhắc, nên nó có thể cho bạn biết trong một cặp cái nào trông tốt hơn trong khi không nói gì về việc liệu một trong hai có tốt hay không. Một bài kiểm tra sở thích mù giữa hai mech chưa hoàn thiện vẫn cho ra một người thắng.

Tài liệu bổ sung một lưu ý mà đọc lên giống như lời xin lỗi từ nhóm kỹ thuật prompt. Trong ghi chú chuyển đổi cho GPT-6.2, OpenAI nêu rằng cả hai mô hình đều súc tích và trực tiếp hơn GPT-6 Astra, rằng chúng có thể đề xuất một bước và chờ khi ý định chưa rõ, và — câu quan trọng đối với bài viết này — rằng công việc frontend giờ đây cần chỉ dẫn rõ ràng về hình ảnh và kiểu chữ. Chỉ dẫn bạn không viết là chỉ dẫn mô hình tự tạo ra. Prompt Yonkers không chứa chút chỉ đạo nghệ thuật nào, đó chính xác là lý do nó là một phép thử công bằng cho cả hai mô hình và hơi bất công cho một trong hai.

Một prompt, hai bản demo đã xuất bản

Câu lệnh chỉ là một câu: "Hãy tạo một hoạt ảnh three js trong đó Yonkers đứng dậy thành một mech to lớn (chuyển động đứng lên cực ngầu) và dậm chân khắp Manhattan, Queens và Brooklyn, sử dụng dữ liệu bản đồ openstreetmap." Cả hai lần chạy đều dùng mức nỗ lực Ultra trong Codex CLI. Cả hai kết quả vẫn còn trực tuyến, và cả hai đều mở ra một cảnh WebGL chạy được với camera thật, một thành phố low-poly thật và một lộ trình thật — vốn đã nhiều hơn những gì hầu hết các yêu cầu three.js tạo ra ngay lần thử đầu tiên.

Cả hai đều không phải là một tác phẩm hoàn chỉnh. So sánh của chính Willison là với các bản dựng Claude Fable 5.2 và Gemini 4 Carbon từ cùng một đề bài, và đánh giá của ông là cả hai lần thử của GPT-6.2 đều thua ở đúng một thứ mà lời nhắc thực sự yêu cầu: chuyển cảnh từ thành phố sang mech đứng. Động tác đứng dậy chính là phần demo, và không mô hình nào thực sự làm hoạt hình cho nó.

• Gói — GPT-6.2 Astra phát hành một bản build Vite nặng 568.418 byte cộng thêm 8.075 byte CSS, so với GPT-6.2 Sol có main.js 17.094 byte nhập city.js, mech.js và effects.js, với three.js được phục vụ cục bộ ở 658.900 byte

• Dòng thời gian — Astra chạy chuỗi 96 giây trên thanh tua 0–960, còn Sol chạy chuỗi 48 giây, với bước đi bắt đầu ở 6,25 s và bước cuối ở 44,5 s

Chương — mỗi bên bốn chương: Astra đánh số chúng bằng một bộ đếm tuần tự hiển thị "01 / 04", còn Sol đặt tên chúng là Yonkers, Manhattan, Queens và Brooklyn, bắt đầu ở 0, 17,6, 30,2 và 38 giây.

• Camera — Astra chuyển đổi giữa chế độ xem "track" và "atlas", còn Sol có nút bật/tắt quỹ đạo gán với O

Đo từ xa — Astra in ra bản đọc hành động hiển thị "Rising" và tọa độ "40.9310° N 73.8987° W" so với Sol, một khung vẽ radar 184×138 tại "40.93° N · 73.90° W"

• Ghi công — cả hai đều ghi công OpenFreeMap, OpenMapTiles và © OpenStreetMap contributors ở chân trang, đây là yêu cầu duy nhất trong đề bài mà cả hai mô hình đều không bỏ sót

• Chi phí của lần chạy — ở mức nỗ lực tối đa, con bồ nông SVG tiêu chuẩn của Willison tốn 88,71¢ trên Astra so với 13,69¢ trên Sol, một tỷ lệ đúng ở mọi mức nỗ lực mà anh ấy đo được

A two-column scoreboard comparing GPT-6.2 Astra and GPT-6.2 Sol on the Yonkers three.js build, with rows reading AA-3D Elo 1,318 versus 1,259, input price $8.00 versus $2.00 per million tokens, output price $40.00 versus $10.00, cached input $0.40 versus $0.10, demo timeline 96 seconds versus 48 seconds, and build one 568 KB bundle versus four ES modules, with a footer crediting AA-3D to Artificial Analysis, prices to OpenAI's rate card, and the build and timeline to the two published demos. The OrcaRouter logo sits in the bottom-right corner.

Astra: một gói 568 KB, giao diện người dùng được script hóa

Bản dựng của Astra có tiêu đề “Stride Atlas — Yonkers trỗi dậy” và hoạt động như một bài thuyết trình: một phần đầu trang với thương hiệu và trạng thái “Hệ thống trực tuyến”, một nút bật/tắt âm thanh, một nút toàn màn hình, và một canvas có nhãn trợ năng ghi rằng “Thành phố ba chiều và mech hoạt hình. Kéo để xoay và cuộn để thu phóng.” Bên dưới là một dòng nhỏ ghi “Mô phỏng mech / 001”, một tiêu đề chính ghi “Yonkers trỗi dậy.” và một dòng phụ ghi “Vùng đô thị New York”.

Sự khéo léo nằm ở phần thiết bị đo đạc. Có một bảng đo từ xa với chỉ báo hành động ghi "Đang lên" và tọa độ trực tiếp, một khung vẽ tổng quan lộ trình dạng chèn được dán nhãn 10 km, và một bảng điều khiển phát với bộ đếm chuỗi, nút phát và khởi động lại, đồng hồ, dải tua từ 0 đến 960 và thời gian kết thúc là 01:36. Đó là 96 giây chuỗi đã được dàn dựng, và một thanh tua dài đến vậy không phải là chuyện ngẫu nhiên — đó là quyết định rằng bản demo là một bộ phim và camera chính là đạo diễn.

Nó cũng xuất hiện dưới dạng một sản phẩm đóng gói duy nhất. Mọi thứ ở trên được biên dịch thành một đầu ra Vite 568.418 byte và một tệp định kiểu 8.075 byte, với chuỗi chapters và một stompProgramCache vẫn tồn tại sau quá trình rút gọn vì dữ liệu chuỗi là thật. Đối với một bản demo, đóng gói là lựa chọn đúng: một tệp để lưu trữ, một mục bộ nhớ đệm, không có đồ thị import nào có thể bị hỏng. Đối với một cơ sở mã mà bạn phải mở rộng, nó là một bức tường 568 KB.

The GPT-6.2 Astra build of the Yonkers mech demo, titled Stride Atlas with a Yonkers Rising headline, showing a low-poly New York City on a three.js canvas, a mech telemetry panel reading Rising with coordinates 40.9310 degrees north and 73.8987 degrees west, a 10-kilometre route overview inset, a sequence console at 01 of 04 with a 96-second scrubber, and OpenStreetMap attribution.

Sol: bốn mô-đun, một three.js cục bộ

Bản dựng của Sol có tiêu đề "Yonkers Protocol | A New York Mech Simulation" và phần mô tả meta của nó nêu thẳng tên công nghệ: "Một hoạt cảnh Three.js đậm chất điện ảnh về một cỗ máy mech cỡ thành phố trỗi dậy ở Yonkers và diễu hành qua Manhattan, Queens và Brooklyn." Trang này chạy dưới thương hiệu "METRO CONTROL / NEW YORK, NY" với một chip "OPENSTREETMAP TERRAIN", một nút bật/tắt chế độ xem quỹ đạo, một nút bật/tắt âm thanh và một khung nhìn được gắn nhãn "Yonkers Protocol simulation".

Nơi Astra viết kịch bản một bộ phim, Sol dựng một phòng điều khiển. Có một màn hiển thị khu vực ở "01 / 04 YONKERS", một nút "Bắt đầu trình tự" với gợi ý phím SPACE, một khung vẽ radar 184×138, bốn nút giai đoạn — Yonkers / Thức tỉnh, Manhattan / Về hướng nam, Queens / East River, Brooklyn / Tiếp cận cuối — và một gợi ý kéo để xoay quanh, cuộn để thu phóng. Phần nội dung chữ là thứ tự tin nhất trên cả hai trang: "Hãy xem Yonkers vươn lên từ bờ sông Hudson và tiến qua Manhattan, Queens và Brooklyn."

Phần thú vị chính là đoạn mã. Sol đã bỏ qua hoàn toàn bundler và dùng một import map trỏ three tới một bản sao cục bộ của bản build module, rồi tự tay chia nhỏ công việc: city.js ở 9.603 byte, mech.js ở 25.511, effects.js ở 12.119. main.js chứa hướng đi — thời lượng 48 giây, bắt đầu bước đi ở 6,25 giây, bước cuối ở 44,5 giây, mười sáu điểm kiểm tra kinh độ và vĩ độ chạy từ Yonkers xuống Brooklyn, và một THREE.CatmullRomCurve3 đi qua chúng với arcLengthDivisions được đặt thành 1.000 để mech bước đi với tốc độ đều thay vì tăng tốc qua những khúc cua gắt. Cài đặt cuối cùng đó là kiểu chi tiết mà bạn chỉ viết khi đã từng chứng kiến một nhân vật bị giật.

Cả hai cách tiếp cận đều không sai. Astra tối ưu cho một thứ có thể tải, Sol tối ưu cho một thứ bạn có thể mở và chỉnh sửa — và cách tách tệp cho bạn thấy Sol hiểu rằng một bản demo 3D là một scene graph, một actor và một tập hợp các hiệu ứng, và rằng những thứ đó thuộc về các tệp khác nhau.

The GPT-6.2 Sol build of the Yonkers mech demo, titled Yonkers Protocol, showing a cinematic low-poly New York City with a sector readout at 01 of 04 Yonkers, a radar panel at 40.93 degrees north and 73.90 degrees west, a Start sequence button with a space-bar hint, four phase buttons for Yonkers, Manhattan, Queens and Brooklyn, and OpenStreetMap attribution.

Phép biến hình mà cả hai bản demo đều bỏ lỡ

Đây là phần mà không mức độ trau chuốt giao diện nào có thể khỏa lấp được. Lời nhắc yêu cầu Yonkers đứng dậy như một mech lớn — một sự biến đổi, với một dãy nhà phố trở thành một cơ thể. Cả hai bản dựng đều không thể hiện được sự chuyển đổi đó một cách thuyết phục, và Willison nói thẳng như vậy, xếp cả hai sau phiên bản của Claude Fable 5.2 và Gemini 4 Carbon.

Đó là cách diễn giải trung thực về điểm Elo 1.318. Artificial Analysis đo được Astra vượt Sol, và bản demo cũng đồng tình — trang của Astra là trang hoàn thiện hơn. Nhưng bảng xếp hạng trả lời câu hỏi “mẫu nào trong hai mẫu này tốt hơn”, còn câu hỏi mà người đọc thực sự có là “liệu cái này có đủ tốt để dùng không”, và với câu đó thì câu trả lời từ phép so sánh trực tiếp duy nhất được công bố là không. Một bài kiểm tra sở thích giữa hai mô hình mà cả hai đều trượt phần biến hình vẫn sẽ tạo ra một bảng xếp hạng, và bảng xếp hạng đó vẫn sẽ được báo cáo như một sự dẫn đầu về năng lực.

Nửa còn lại của câu chuyện frontend trong đợt ra mắt là giao tiếp, và nó cũng không mấy tốt đẹp. Willison trích dẫn lá thư phản hồi trước khi phát hành của Theo Browne, mô tả một mô hình xử lý subagent tốt trong các tác vụ dài rồi bị chặn bởi một câu hỏi triển khai nội bộ mà không người nào có thể trả lời — ví dụ của ông là một agent đã làm dự án được hai tiếng thì dừng lại để hỏi liệu một reviewer ghi các clip của nó vào tên tệp này hay tên tệp khác. Ghi chú chuyển đổi của chính OpenAI rằng mô hình "có thể đề xuất một bước và chờ khi ý định không rõ ràng" là cùng hành vi được mô tả từ bên trong, và đó là một cái giá thực sự: một agent chờ đầu vào mà bạn không thể cung cấp là một agent đã dừng lại.

Khoảng trống này có ý nghĩa gì đối với bản build của bạn

Nếu công việc là một bản demo 3D hoặc frontend, khác biệt thực tế giữa hai mô hình không phải là 59 Elo. Mà là Astra sẽ đưa cho bạn một sản phẩm trông đã hoàn thiện, còn Sol sẽ đưa cho bạn một kho mã nguồn. Chọn Astra khi thứ bàn giao là một đường liên kết bạn gửi cho ai đó; chọn Sol khi thứ bàn giao là mã nguồn mà người khác phải sửa vào thứ Hai.

Định giá lựa chọn trên cùng một trục. GPT-6.2 Astra tính giá $8 mỗi triệu token đầu vào và $40 mỗi triệu token đầu ra, với đầu vào được lưu đệm ở mức $0.40 và ghi bộ đệm ở mức $10. GPT-6.2 Sol tính giá $2, $10, $0.10 và $2.50 — bằng một phần tư mức giá token ở mọi dòng. Cả hai đều có cửa sổ ngữ cảnh 1,050,000 token với tối đa 922,000 token đầu vào và 128,000 token đầu ra, cả hai đều từ chối reasoning_effort: "none", và cả hai đều tính gấp đôi giá đầu vào và đầu vào được lưu đệm khi vượt 272,000 token mỗi yêu cầu, đồng thời tính 1.5× cho đầu ra. Batch tính giá bằng 50% mức tiêu chuẩn, chế độ Fast gấp đôi, và Ultrafast gấp ba lần cho đến ngày 28 tháng 2 năm 2027 và gấp sáu lần từ ngày 1 tháng 3 năm 2027.

Con số chi phí trên mỗi tạo tác từ cùng buổi chiều là con số nên giữ. Bài kiểm tra chim bồ nông của Willison kết xuất cùng một SVG ở ba mức nỗ lực, và ở mức nỗ lực tối đa, Astra tốn 88,71¢ so với 13,69¢ của Sol — gấp khoảng sáu lần rưỡi cho một bản vẽ mà ông ấy không mô tả cái nào trong hai là một thắng lợi trọn vẹn. Sinh mã frontend ở mức nỗ lực Ultra là trường hợp lợi thế của mô hình đắt tiền là có thật nhưng hẹp, và chỉ một lần thử lại là đủ xóa bỏ nó.

Lớp định tuyến phù hợp ở đâu

Nói thẳng về vị trí: GPT-6.2 Astra và GPT-6.2 Sol hiện không có trong danh mục của OrcaRouter. Các mục Open​AI mà chúng tôi cung cấp là GPT-6 Astra, GPT-6 Sol và GPT-6.1 Sol, vì vậy cặp này nói chung có thể được truy cập qua API riêng của Open​AI và các nền tảng bên thứ ba, chứ không phải qua chúng tôi.

Điều mà danh mục thực sự mang lại cho bạn là thói quen mà bài viết này đang lập luận ủng hộ. Một bài kiểm thử như Yonkers chính xác là kiểu khối lượng công việc mà bạn muốn A/B giữa các mô hình thay vì cam kết một lộ trình sản xuất cho nó — và làm việc đó qua một endpoint nghĩa là một khóa, một hóa đơn và không cần hợp đồng thứ hai, với tính năng tự động chuyển đổi dự phòng khi một mô hình bạn đang thử nghiệm bắt đầu hết thời gian chờ giữa lúc kết xuất. Đối với những dòng chúng tôi thực sự cung cấp, OrcaRouter chuyển nguyên giá niêm yết của nhà cung cấp với mức chênh lệch 0%, nên bảng giá của chính nhà cung cấp là mức bạn trả, và việc giảm giá có hiệu lực bên chúng tôi ngay trong ngày. Nếu bạn đang cân nhắc giữa một mô hình $2 và một mô hình $8 cho công việc frontend, thì đó chính là phép so sánh đáng để bạn tự chạy, trên cùng một prompt, trước khi bạn chọn một mặc định.

Bài học hẹp hơn từ lần ra mắt này là tạo sinh 3D đã vượt qua ranh giới từ “không thể” sang “chưa hoàn thiện”, và hai mô hình nằm ở những điểm khác nhau trên con dốc đó: một mô hình tạo ra một trang trông như đã xong, mô hình kia tạo ra mã thực sự đã xong. Không mô hình nào tạo hình được Yonkers. Cả hai đều đã tiến đủ gần để bản phát hành tiếp theo có lẽ sẽ làm được — và khi điều đó xảy ra, chi phí để kiểm chứng sẽ là một prompt, không phải một lần migration.

So sánh trong bài viết này1

Phát hiện từ bài viết này