Một thẻ tiêu đề được tạo có tiêu đề chính 'GPT-6.2 Astra đứng đầu Blueprint-Bench 2', phụ đề 'ranh giới con người là mười hai căn hộ' và chú thích '0.614 so với mức cơ sở con người 0.586'. Hai thẻ bo tròn nằm bên dưới: thẻ bên trái có nhãn 'GPT-6.2 Astra' với các dòng 'Blueprint-Bench 2: 0.614', 'hạng 1 trên bảng xếp hạng' và 'tái dựng cảnh 3D'; thẻ bên phải có nhãn 'mức cơ sở con người' với '0.586', 'được đo trên 12 căn hộ' và 'trong số 50 trong bộ đánh giá'. Logo OrcaRouter được ghép ở góc dưới bên phải.
Guides & Insights

GPT-6.2 Astra đứng đầu Blueprint-Bench 2: Ranh Giới Con Người Là Mười Hai Căn Hộ

Tác giả

jinhao.song

Ngày đăng

Mô hình mới nhất · 20Xem tất cả mô hình →
Benchmark: Artificial Analysis · cập nhật hằng ngày
Quay lại tất cả bài viết

GPT-6.2 Astra đạt 0,614 trên Blueprint-Bench 2. Mức cơ sở của con người trên cùng bảng xếp hạng đó là 0,586. Đó là một lợi thế thực sự, đồng thời cũng chỉ là 0,028 điểm được đo so với một con số của con người do Andon Labs tính từ mười hai căn hộ. Kết quả được đăng trên trang đánh giá của Andon vào ngày 20 tháng 11 năm 2026 và được Greg Brockman khuếch đại ngay sáng hôm đó, khi ông diễn đạt rằng GPT-6.2 Astra "vượt mức cơ sở của con người trên benchmark hiểu 3D vật lý". Cả hai vế của câu đó đều cần được xì bớt hơi một chút, và bài viết này bàn về những phần nào còn đứng vững. GPT-6.2 Astra, GPT-6.2 Sol và Gemini 4 Carbon chiếm bốn vị trí dẫn đầu trên bảng của Andon, điều này quan trọng hơn đối với một độc giả đang cân nhắc nên gọi nó là gì so với thứ hạng trên tiêu đề.

Bản thân bài đánh giá không mới. Blueprint-Bench 2 đã có trên trang của Andon Labs từ tháng 5 năm 2026 và đã thu thập dữ liệu từ các mô hình trong sáu tháng; điều thay đổi vào ngày 20 tháng 11 là một mô hình cuối cùng đã vượt qua ranh giới con người với khoảng cách lớn hơn biên sai số của chính nó. Vì vậy, đây không phải là một đợt ra mắt bài đánh giá và cũng không phải là một đợt ra mắt mô hình — OpenAI đã phát hành GPT-6.2 Astra vào ngày 17 tháng 11 năm 2026, ba ngày trước khi điểm số xuất hiện. Đây là một kết quả xuất hiện trên một bảng đã tồn tại, và câu hỏi thú vị không phải là con số đó có thật hay không. Mà là con số đó đang đo cái gì, vì cụm "hiểu biết 3D vật lý" đang gánh nhiều vai trò hơn trong dòng tweet so với vai trò của bài đánh giá trong chính phương pháp luận của nó.

Andon Labs thực sự đã đo lường điều gì

Blueprint-Bench 2 đưa cho một agent năm mươi căn hộ, lần lượt từng căn một. Với mỗi căn hộ, nó xem khoảng hai mươi bức ảnh nội thất và phải vẽ một mặt bằng 2D: các phòng, phòng nào thông với phòng nào, và kích thước tương đối của chúng. Các agent mang theo một cuốn sổ ghi chú thường trực giữa các căn hộ, nên một mô hình có thể ghi lại những gì nó đã học được về các cách bố trí điển hình — hành lang thường nằm ở đâu, một khung cửa ở góc ám chỉ điều gì — và dùng nó cho căn hộ tiếp theo. Cuốn sổ ghi chú đó chính là phần thiết kế khiến đây trở thành một bài đánh giá agent thay vì một bài kiểm tra thị giác, và đó là lý do vì sao điểm số phân tách các mô hình tiên phong khỏi các mô hình tầm trung rõ ràng hơn so với một benchmark chỉ dùng một ảnh.

Chấm điểm so sánh đồ thị kết nối của mô hình với dữ liệu chuẩn, có trọng số trên sáu chỉ số phụ: độ tương đồng Jaccard về liên kết giữa các phòng ở mức 50%, độ tương đồng bậc ở mức 20%, mật độ đồ thị ở mức 10%, số lượng phòng ở mức 10%, số lượng cửa ở mức 5% và định hướng ở mức 5%. Các bản vẽ được so khớp theo đối xứng D4, nên một bản vẽ bị xoay hoặc lật gương vẫn được tính điểm, và điểm tổng hợp được chuẩn hóa để đường cơ sở ngẫu nhiên ánh xạ về 0 còn bản vẽ hoàn hảo ánh xạ về 1. Trọng số 50% dành cho Jaccard chính là toàn bộ bài đánh giá gói trong một dòng: bài viết của chính Andon nói rằng mọi mô hình đều ước lượng số lượng phòng gần đúng, khoảng 90%, và yếu tố phân biệt là liệu mô hình có thể xác định được phòng nào mở thông sang phòng nào hay không. Đếm phòng từ ảnh chụp thì dễ. Tái dựng cấu trúc liên kết từ một lượt đi tham quan thì không.

Hai hệ quả kéo theo từ thiết kế đó. Thứ nhất, đầu ra là một mặt bằng 2D, không phải mô hình 3D — suy luận không gian mang tính ba chiều theo nghĩa tác nhân phải suy ra bố cục của một tầng từ một chuỗi các góc nhìn chồng lấn, nhưng không có gì trong cách tính điểm thưởng cho việc tái dựng đúng chiều cao trần, thể tích hay đồ nội thất. Thứ hai, điểm số là một con số tương đồng đồ thị, không phải tỷ lệ phần trăm độ chính xác. Điểm 0.614 không có nghĩa là mô hình làm đúng 61% số căn hộ; nó có nghĩa là các đồ thị kết nối của mô hình nằm ở vị trí 61.4% trên đường từ ngẫu nhiên đến hoàn hảo theo trọng số đó.

Con số 0,028 ngăn cách một mô hình với một con người

Đây là phần đầu bảng xếp hạng tính đến ngày 20 tháng 11 năm 2026, với các thanh sai số chuẩn mà Andon vẽ trên biểu đồ của mình được lấy từ con số đã công bố:

• GPT-6.2 Astra — 0,614, hạng 1, khoảng sai số khoảng 0,601 đến 0,627

• Gemini 4 Carbon — 0.586, đồng hạng 2, thanh sai số khoảng 0.571 đến 0.601

• Mức cơ sở của con người — 0,586, đồng hạng 2, được kiểm thử trên 12 căn hộ, không công bố khoảng tin cậy

• GPT-6.2 Sol — 0.570, hạng 4, thanh sai số khoảng 0.558 đến 0.584

• Claude Fable 5.2 — 0,566, hạng 5

• Gemini 4 Argon — 0.544, hạng 6

• Claude Opus 5.5 — 0.512, hạng 7

• GPT-6 Astra — 0.497, hạng 8

A screenshot of Andon Labs' Blueprint-Bench 2 evaluation page. The top half explains that agents convert roughly twenty interior photographs of each apartment into a 2D floor plan across fifty apartments, with the normalisation note that random maps to 0 and perfect to 1 and that error bars are standard error, above a connectivity-similarity chart. The leaderboard below lists GPT-6.2 Astra at 0.614 in first place, then Gemini 4 Carbon and a Human baseline both at 0.586, GPT-6.2 Sol at 0.570 and Claude Fable 5.2 at 0.566, continuing down through GPT-6 Astra at 0.497 to Claude Haiku 5.5 at 0.330.

Có ba điều đáng rút ra từ danh sách đó. Thứ nhất là độ lớn của khoảng cách, cụ thể là 0,028 điểm trên thang điểm trong đó ngẫu nhiên là 0 và hoàn hảo là 1. Thứ hai là thanh sai số của Astra không kéo xuống tới 0,586 — đáy của dải là 0,601 — nên mức dẫn trước so với con số của con người không nằm trong chính độ nhiễu của mô hình. Thứ ba là con số của con người không có dải bất định nào cả, bởi vì nó được tính trên một tá căn hộ trong một bài toán gồm năm mươi căn hộ. Điểm số của con người từ mười hai căn hộ và điểm số của mô hình từ năm mươi căn hộ không phải là cùng một phép đo, và Andon nói thẳng về điều đó: chú thích của bảng xếp hạng ghi rằng “Đường cơ sở của con người chỉ được kiểm thử trên tập con gồm 12 căn hộ.” Hãy coi 0,586 là một ước lượng về mức mà một người đạt được, chứ không phải là một đường có độ rộng đã biết.

Một điều nữa mà các thanh sai số cho thấy là phần đỉnh của bảng xếp hạng mỏng manh đến mức nào. Râu dưới của Astra và râu trên của Gemini 4 Carbon gặp nhau đúng tại 0.601. Trên phép đánh giá này, hạng nhất và hạng nhì đồng hạng chỉ cách nhau đúng một lần chạm râu, một khẳng định khác với “tốt hơn bất kỳ AI nào khác” và là khẳng định dễ bảo vệ hơn. Chú thích biểu đồ của chính Andon lại dung hòa khác biệt theo một cách đáng chú ý: nó ghi đường nét đứt của con người là “Human (0.59)” rồi viết rằng GPT-6.2 Astra và Gemini 4 Carbon “giờ đã ngang bằng với nó”, dù bảng đặt Astra cao hơn nó 0.028 và Carbon đúng bằng nó. Bảng mới là thứ cẩn thận hơn. Chú thích lại là thứ được trích dẫn.

Hai điểm chuẩn, một hướng đi

Một bảng xếp hạng vượt qua ngưỡng của con người có thể chỉ là một lỗi trong cách tính điểm. Lý do để coi trọng kết quả này là một đánh giá 3D thứ hai, được xây dựng độc lập, cũng thay đổi theo cùng hướng trong cùng tuần. Artificial Analysis vận hành AA-3D, một tác vụ hoàn toàn khác: các mô hình hoạt động như tác nhân trong một sandbox ngoại tuyến thông qua Stirrup và biến một bản tóm tắt bằng văn bản thành một cảnh three.js tương tác, còn thứ hạng đến từ bỏ phiếu theo cặp mù do một hội đồng người được tuyển chọn thực hiện — hơn 20.000 phiếu trên bảng hiện tại — chứ không phải từ so sánh đồ thị.

• GPT-6.2 Astra (Max) — 1.318 Elo, khoảng tin cậy 95% từ 1.286 đến 1.349, hạng 1

• Claude Fable 5.2 (Max) — 1.271 Elo, hạng 2

• GPT-6.2 Sol (Max) — 1.259 Elo, hạng 3

• Claude Sonnet 5.5 (Max) — 1.204 Elo, hạng 4

Claude Opus 5.5 (Max) — 1.202 Elo, hạng 5

• GPT-6 Astra (Max) — 1,168 Elo, khoảng tin cậy 95% từ 1,141 đến 1,196, xếp hạng 6

Hai bảng xếp hạng không đồng ý với nhau về phần giữa của bảng — Claude Fable 5.2 đứng thứ 5 trên bảng của Andon và thứ 2 trên bảng của Artificial Analysis — và chúng hoàn toàn đồng ý về vị trí dẫn đầu. Astra dẫn đầu, Sol nằm trong top ba, và thế hệ trước kém khoảng 150 Elo. Bài đăng ra mắt của chính O​penAI đã đưa ra tuyên bố AA-3D vào ngày 17 tháng 11 với đúng ba con số đó, và bảng độc lập hiện cho thấy chúng không thay đổi, đây là trường hợp hiếm khi số liệu của nhà cung cấp và số liệu của bên thứ ba là cùng một con số. Điều đó không đúng với con số Blueprint-Bench: O​penAI không nói gì về mặt bằng, và điểm số chỉ đến từ Andon.

A screenshot of the AA-3D Leaderboard from Artificial Analysis, with columns for rank, score range, model and Elo. GPT-6.2 Astra (Max) sits at rank 1 with 1318, above Claude Fable 5.2 (Max), GPT-6.2 Sol (Max), Claude Sonnet 5.5 (Max) and Claude Opus 5.5 (Max), with GPT-6 Astra (Max) further down at 1168.

Sự hội tụ chính là lập luận. Một benchmark độ tương đồng đồ thị được chấm bằng code, và một benchmark Elo được chấm bằng sở thích mù của con người, cách xa nhau gần như tối đa mà hai đánh giá về “khả năng không gian” có thể có, vậy mà chúng vẫn xếp hạng cùng ba mô hình theo cùng một thứ tự. Điều chúng không chứng minh được là một trong hai đo lường thứ mà một nhóm robotics sẽ gọi là trí tuệ không gian, và điều đó đưa chúng ta đến dòng thú vị nhất trên bảng của Andon.

Tại sao một mô hình robot lại đạt điểm 0

Gemini Robotics-ER 1.6 đạt 0,000 trên Blueprint-Bench 2 — ngang hoặc dưới mức cơ sở ngẫu nhiên, được Andon đánh dấu bằng hai dấu hoa thị. Đây là con số hữu ích nhất trên trang. Một mô hình được xây dựng riêng cho suy luận không gian và suy luận có thân thể, kiểu thứ bạn sẽ tìm đến nếu nhiệm vụ là “hiểu một không gian vật lý,” lại tạo ra các đồ thị kết nối không tốt hơn ngẫu nhiên. Chính Andon cũng chỉ ra điều đó: chuyên môn hóa về không gian không chuyển giao sang việc tạo sơ đồ mặt bằng.

Bốn mô hình khác cũng nằm ở mức cơ sở ngẫu nhiên, và hình dạng của cụm đó cho bạn biết benchmark thưởng cho điều gì. Thứ nó thưởng là một kỹ năng tổng hợp cụ thể — đọc một chuỗi ảnh, duy trì một giả thuyết nhất quán về một tầng, và xuất ra một kế hoạch được định dạng nghiêm ngặt mà một parser có thể chấm điểm. Một mô hình có thể rất giỏi suy luận về không gian vật lý mà vẫn thất bại ở đây, vì chế độ thất bại thường là định dạng đầu ra hoặc tính nhất quán trong tầm dài, chứ không phải suy luận không gian. Điều đó có nghĩa là "vượt mức cơ sở của con người về hiểu biết 3D vật lý" là một bản tóm tắt công bằng về điểm số và là một bản tóm tắt hơi hào phóng về kỹ năng. Phiên bản trung thực thì hẹp hơn: nó tái dựng tính kết nối của một căn hộ từ các bức ảnh chính xác hơn một mẫu người gồm mười hai căn hộ, trên một benchmark chỉ chấm cấu trúc đồ thị và không gì khác.

Với bất kỳ ai mà công việc thực tế có liên quan đến sơ đồ mặt bằng — thu thập thông tin bất động sản, hồ sơ bảo hiểm, công việc cơ sở vật chất, số hóa bản vẽ giấy — thì tuyên bố hẹp hơn đó vẫn là tuyên bố hữu ích, vì cấu trúc đồ thị chính xác là thứ những quy trình đó cần và cũng chính là thứ một pipeline PDF-to-CAD làm sai. Với bất kỳ ai đọc nó như một phát biểu về việc robot di chuyển trong các căn phòng, thì dòng Robotics-ER chính là phần đính chính.

Chi phí để mua khách hàng tiềm năng đó là bao nhiêu

GPT-6.2 Astra có giá niêm yết 8 USD mỗi triệu token đầu vào, 0,40 USD cho token được lưu đệm và 40 USD mỗi triệu token đầu ra, thấp hơn 20% so với GPT-6 Astra ở cả hai chiều tính giá. Mô hình sánh ngang mốc con người, Gemini 4 Carbon, có giá niêm yết 2 USD và 10 USD — bằng một phần tư giá đầu vào và một phần tư giá đầu ra của Astra. GPT-6.2 Sol, đứng thứ tư trên bảng xếp hạng của Andon với 0,570 và thứ ba trên AA-3D với 1.259 Elo, giữ nguyên giá token của GPT-6.1 Sol thay vì giá của Astra.

• Blueprint-Bench 2 — Gemini 4 Carbon 0.586 so với GPT-6.2 Astra 0.614

• Giá đầu vào cho mỗi 1M — Carbon $2.00 so với Astra $8.00

• Giá đầu ra trên 1M — Carbon $10.00 so với Astra $40.00

• AA-3D Elo — Carbon không có trên bảng xếp hạng đấu với Astra 1,318, hạng 1

• Vị trí của từng mô hình — Carbon ngang bằng mốc con người, còn Astra vượt mốc đó 0,028

A generated single-column scoreboard titled 'GPT-6.2 Astra — the scoreboard' with six rows reading 'Blueprint-Bench 2: 0.614, rank 1', 'Human baseline: 0.586 on 12 apartments', 'Error bar: 0.601 to 0.627', 'AA-3D Elo: 1,318, rank 1', 'AA-3D vs GPT-6 Astra: +150 Elo' and 'Price per 1M: $8 in / $40 out', over a footer reading 'Blueprint-Bench 2 figures per Andon Labs; AA-3D per Artificial Analysis; pricing per OpenAI.' The OrcaRouter logo is composited in the bottom-right corner.

Hãy đọc đó như một câu hỏi về giá, và câu trả lời thật khó chịu cho mẫu flagship. Trên phép đánh giá duy nhất mà cả hai mô hình cùng xuất hiện, với một phần năm mức giá, bạn có được kết quả ngang bằng đường cơ sở con người và chỉ cách vị trí đầu tiên trong gang tấc. Lý lẽ biện minh cho mức giá của Astra không dựa vào sơ đồ mặt bằng; nó dựa vào các đánh giá công việc chuyên môn trong bài ra mắt của OpenAI, nơi nó là mô hình có cửa sổ ngữ cảnh 1.050.000 token và điểm số tiên phong trên Agents' Last Exam và Terminal-Bench-Science. Nếu khối lượng công việc của bạn là ảnh căn hộ và đồ thị kết nối, thì chênh lệch giá rất khó biện minh chỉ từ bảng xếp hạng này. Nếu khối lượng công việc của bạn là một bộ tài liệu pháp lý hoặc khoa học dài, phép đánh giá này không nói lên điều gì về nó theo cả hai hướng.

Một lưu ý nữa về chi phí: cả Andon lẫn Artificial Analysis đều không công bố con số chi phí mỗi tác vụ cho Blueprint-Bench 2, và benchmark này đặc biệt nhạy cảm với yếu tố đó. Năm mươi căn hộ, mỗi căn khoảng hai mươi ảnh, là một lượng token đầu vào rất lớn trước khi mô hình viết được dù chỉ một phòng, và một mô hình đạt cùng điểm graph với nhiều vòng lặp notepad hơn sẽ tốn nhiều chi phí hơn cho mỗi căn hộ so với mức giá token của nó ngụ ý. Đừng đọc các mức giá token ở trên như thể đó là hóa đơn cho mỗi căn hộ; chúng không phải vậy.

Điều này đặt quyết định định tuyến vào tình thế nào

Phiên bản thực tế của tất cả những điều này là “mô hình nào cho công việc không gian” vừa trở thành câu hỏi hai mô hình với một khoảng chênh lệch giá, và lớp định tuyến chính là nơi khoảng chênh lệch đó được giải quyết. Gemini 4 Carbon có trong danh mục OrcaRouter theo giá niêm yết với mức đánh dấu 0% được chuyển thẳng, nghĩa là mức $2 và $10 ở trên chính là số tiền bạn thực trả trên mỗi triệu token chứ không phải giá của nhà cung cấp cộng thêm biên lợi nhuận nền tảng. Điều này đặc biệt quan trọng ở đây vì khoảng cách chi phí giữa vị trí thứ nhất và vị trí thứ hai đồng hạng trên bảng này là 4x, và khoảng cách 4x là kiểu điều bạn muốn đo trên sơ đồ mặt bằng của chính mình trước khi chuẩn hóa theo một trong hai.

GPT-6.2 Astra không có trong danh mục của chúng tôi tính đến ngày 20 tháng 11; các mô hình OpenAI chúng tôi cung cấp là GPT-6 Astra, đạt 0,497 trên bảng này, và dòng GPT-6 Sol. Điều đó đáng nói thẳng thay vì ngụ ý khác, vì nó thay đổi khuyến nghị: cho đến khi Astra có thể được định tuyến ở đây, mô hình trong danh mục của chúng tôi sánh ngang với mức cơ sở của con người là Carbon, và GPT-6 Astra nằm trên cùng khóa nếu bạn muốn phong cách đầu ra của OpenAI ở mức $10 và $50. Khi một mô hình và đối thủ rẻ hơn của nó cùng nằm trên một endpoint, việc A/B trên chính các căn hộ của bạn chỉ tốn một thay đổi khóa API thay vì hợp đồng thứ hai, và chuyển đổi dự phòng nghĩa là giới hạn tốc độ trên một mô hình không làm dừng lô.

Điều gì sẽ thay đổi cách đọc này?

Ba điều, xếp theo mức độ chúng có thể làm thay đổi câu chuyện. Thứ nhất là một đường cơ sở rộng hơn về con người. Mười hai căn hộ là mẫu nhỏ cho một nhiệm vụ gồm năm mươi căn hộ, và việc Andon công bố một khoảng tin cậy cho con số của con người sẽ phân định được liệu 0.586 là một đường rõ ràng hay một vệt mờ — nếu dải của con người hóa ra chạy từ 0.55 đến 0.62, thì lợi thế dẫn đầu của Astra là thật nhưng thế hòa của Carbon thì không, và toàn bộ phần đầu bảng xếp hạng sẽ xáo trộn lại. Thứ hai là một lần chạy thứ hai của GPT-6.2 Astra trên cùng bảng xếp hạng. Mô hình mới được ba ngày; các con số của Andon đến từ một chiến dịch duy nhất, và những benchmark có vòng lặp ghi chú cùng phạm vi năm mươi căn hộ có phương sai giữa các lần chạy lớn hơn một đánh giá một lần, điều mà các thanh sai số chuẩn đang ám chỉ nhưng không thể hấp thụ hết.

Điều thứ ba là chính trang đó. Mục “Key findings” của Andon vẫn nêu GPT 5.5, Gemini 3.1 Pro và Claude Opus 4.7 là ba mô hình hàng đầu, điều đó đúng vào tháng 5 năm 2026 và vẫn chưa được cập nhật khi bảng đã được điền thêm. Các bài viết về suy luận không gian của họ vẫn dẫn Gemini 3.1 Pro và GPT 5.5 khi xử lý từng căn hộ riêng lẻ. Bảng xếp hạng thì đã cập nhật; phần văn xuôi xung quanh nó lại là ảnh chụp từ sáu tháng trước. Hãy đọc bảng, không phải mục “Key findings”, và hãy đọc các thanh sai số trên biểu đồ thay vì chú thích nói rằng hai mô hình ngang bằng trên một đường trong khi một trong số chúng cao hơn một cách đo được.

Không điều nào trong số đó khiến kết quả trở nên sai. GPT-6.2 Astra là mô hình tốt nhất trên cả hai đánh giá 3D độc lập được công bố trong tuần này, với khoảng cách vượt qua biên sai số của chính nó ở một trong hai đánh giá và vượt 47 Elo ở đánh giá còn lại, nơi hai khoảng tin cậy 95% vẫn chồng lấn. Đây là mô hình đầu tiên nằm một cách đáng kể trên mức ước tính của con người trên một bộ đánh giá chuẩn đã chạy từ tháng Năm. Tuyên bố này nhỏ hơn dòng tweet và vững chắc hơn một vụ rò rỉ, đúng hình thái cho một kết quả xuất hiện ba ngày sau khi mô hình ra mắt.

So sánh trong bài viết này2

Phát hiện từ bài viết này · Benchmark: Artificial Analysis · cập nhật hằng ngày