
GPT-6.2 Astra, Blueprint-Bench 2 1위: 인간 기준선은 아파트 12채
- OrcaNEWOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 100만 토큰당 · 185 tok/s
- tencentNEWTencent: Hy4 Flash2026-11-16$0.02 / $0.07 100만 토큰당 · 826 tok/s
- AlibabaNEWQwen: Qwen4 Max2026-11-16$1.50 / $4.50 100만 토큰당 · 407 tok/s
- GoogleNEWGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 100만 토큰당 · 87 tok/s
- AnthropicNEWAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 100만 토큰당 · 150 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 100만 토큰당 · 99 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 100만 토큰당 · 134 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 100만 토큰당 · 83 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 100만 토큰당 · 120 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 100만 토큰당 · 108 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 100만 토큰당 · 67 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 100만 토큰당 · 90 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 100만 토큰당 · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447지능
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 100만 토큰당 · 212 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929지능
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 100만 토큰당 · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733지능
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 100만 토큰당 · 160 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740지능
GPT-6.2 Astra는 Blueprint-Bench 2에서 0.614점을 기록했습니다. 같은 보드에서 인간 기준선은 0.586입니다. 이는 실질적인 우위이며, 동시에 Andon Labs가 열두 개의 아파트에서 산출한 인간 수치를 기준으로 측정된 0.028점이기도 합니다. 이 결과는 2026년 11월 20일 Andon의 평가 페이지에 게시되었고, 같은 날 아침 Greg Brockman이 이를 확대 재생산하며 GPT-6.2 Astra가 "물리적 3D 이해 벤치마크에서 인간 기준선을 초과했다"고 표현했습니다. 그 문장의 두 절반 모두 다소 부풀려진 부분을 덜어낼 필요가 있으며, 이 글은 어떤 부분이 살아남는지를 다룹니다. GPT-6.2 Astra, GPT-6.2 Sol, Gemini 4 Carbon이 Andon의 보드에서 상위 네 자리를 차지하고 있는데, 이는 헤드라인 순위보다 독자가 무엇이라고 불러야 할지 결정하는 데 더 중요합니다.
벤치마크 자체는 새롭지 않다. Blueprint-Bench 2는 2026년 5월부터 Andon Labs 사이트에 올라와 6개월 동안 모델들을 모아 왔다. 11월 20일에 달라진 점은 한 모델이 마침내 자기 오차 범위보다 더 큰 차이로 인간 기준선을 넘어섰다는 것이다. 그래서 이것은 벤치마크 공개도, 모델 출시도 아니다. OpenAI는 점수가 나오기 사흘 전인 2026년 11월 17일에 GPT-6.2 Astra를 출시했다. 이것은 기존 보드에 결과가 하나 올라온 것이며, 흥미로운 질문은 그 숫자가 진짜인지 여부가 아니다. 그 숫자가 무엇을 측정하고 있느냐이다. 왜냐하면 "물리적 3D 이해"라는 표현은 트윗에서 평가가 자체 방법론에서 하는 것보다 더 큰 역할을 하고 있기 때문이다.
Andon Labs가 실제로 측정한 것
Blueprint-Bench 2는 한 에이전트에게 아파트를 하나씩, 총 50채 제공합니다. 각 아파트마다 약 20장의 실내 사진을 살펴보고 2D 평면도를 그려야 합니다. 방, 어떤 방이 어떤 방과 연결되는지, 그리고 각 방의 상대적 크기를 파악해야 하죠. 에이전트는 아파트 사이에서 지속되는 메모장을 가지고 다니므로, 모델은 일반적인 평면도에 대해 배운 것, 예컨대 복도가 보통 어디에 위치하는지, 모서리의 문틀이 무엇을 의미하는지를 적어 두고 다음 집에 활용할 수 있습니다. 이 메모장은 이 설계를 단순한 시각 테스트가 아니라 에이전트 평가로 만드는 부분이며, 단일 이미지 벤치마크보다 최전선 모델과 중간급 모델을 더 깔끔하게 구분하는 이유이기도 합니다.
채점은 모델의 연결성 그래프를 정답과 비교하며, 여섯 가지 하위 지표에 가중치를 두어 평가한다. 방 간 연결에 대한 Jaccard 유사도 50%, 차수 유사도 20%, 그래프 밀도 10%, 방 개수 10%, 문 개수 5%, 방향 5%이다. 도면은 D4 대칭 아래에서 매칭되므로 회전되거나 뒤집힌 도면도 점수를 받으며, 종합 점수는 무작위 기준선이 0, 완벽한 도면이 1이 되도록 정규화된다. Jaccard에 부여된 50% 가중치는 이 벤치마크 전체를 한 줄로 요약한다. Andon의 자체 설명에 따르면 모든 모델이 방 개수는 대략 90% 수준으로 맞히며, 판별 기준은 모델이 어느 방이 어느 방으로 통하는지를 알아낼 수 있는지 여부다. 사진에서 방 개수를 세는 것은 쉽다. 워크스루에서 토폴로지를 재구성하는 것은 쉽지 않다.
그 설계에서는 두 가지 결과가 따른다. 첫째, 출력은 3D 모델이 아니라 2D 평면도다 — 에이전트가 겹치는 여러 뷰의 연속으로부터 한 층의 배치를 추론해야 한다는 점에서 공간 추론은 3차원적이지만, 천장 높이, 부피, 가구를 올바르게 재구성하는 것에는 점수상 아무런 보상이 없다. 둘째, 점수는 정확도 백분율이 아니라 그래프 유사도 수치다. 0.614는 모델이 아파트의 61%를 맞혔다는 뜻이 아니라, 그 가중치 아래에서 모델의 연결성 그래프가 무작위에서 완벽까지의 61.4% 지점에 있다는 뜻이다.
모델과 사람을 가르는 0.028
2026년 11월 20일 당시 순위표 상단은 다음과 같으며, Andon이 차트에 그리는 표준오차 막대는 공개된 수치에서 판독한 값입니다:
• GPT-6.2 Astra — 0.614, 1위, 오차 범위는 대략 0.601~0.627
• Gemini 4 Carbon — 0.586, 공동 2위, 오차 범위 대략 0.571~0.601
• 인간 기준선 — 0.586, 공동 2위, 12개 아파트에서 테스트, 신뢰구간 미공개
• GPT-6.2 Sol — 0.570, 4위, 오차 범위 대략 0.558~0.584
• Claude Fable 5.2 — 0.566, 5위
• Gemini 4 Argon — 0.544, 순위 6
• Claude Opus 5.5 — 0.512, 7위
• GPT-6 Astra — 0.497, 8위

그 목록에서 꺼내 볼 만한 세 가지가 있습니다. 첫째는 격차의 크기로, 무작위가 0이고 완벽이 1인 척도에서 0.028점입니다. 둘째는 Astra의 오차 막대가 0.586까지 내려가지 않는다는 점입니다. 그 범위의 하단은 0.601이므로 인간 수치에 대한 우위는 모델 자체의 노이즈 안에 있지 않습니다. 셋째는 인간 수치에는 불확실성 범위가 전혀 없다는 점인데, 이는 50개 아파트 과제 중 12개 아파트만으로 계산되었기 때문입니다. 12개 아파트에서 나온 인간 점수와 50개에서 나온 모델 점수는 같은 측정이 아니며, Andon도 이를 솔직히 인정합니다. 리더보드 각주에는 "인간 기준선은 12개 아파트의 하위 집합에서만 테스트됨"이라고 적혀 있습니다. 0.586은 사람이 어디에 위치하는지에 대한 추정치로 취급하고, 폭이 알려진 선으로 취급하지 마십시오.
오차 막대가 보여 주는 또 다른 점은 리더보드 상단이 얼마나 얇은지다. Astra의 아래쪽 수염과 Gemini 4 Carbon의 위쪽 수염은 정확히 0.601에서 만난다. 이 벤치마크에서 1위와 공동 2위는 수염 하나가 닿을 만큼의 차이인데, 이는 "다른 어떤 AI보다 낫다"와는 다른 주장이며 더 방어하기 쉬운 주장이다. Andon 자신의 차트 캡션은 눈여겨볼 만한 방식으로 그 차이를 절충한다. 점선으로 된 인간 기준선을 "Human (0.59)"라고 표시한 다음, GPT-6.2 Astra와 Gemini 4 Carbon이 "이제 그것과 동률을 이룬다"고 쓰지만, 표에서는 Astra가 그보다 0.028 높고 Carbon은 정확히 그 위에 있다. 표가 더 신중한 산출물이다. 인용된 것은 캡션 쪽이다.
두 개의 벤치마크, 하나의 방향
한 리더보드가 인간 기준선을 넘어선 것은 채점상의 인공물일 수 있다. 이 결과를 진지하게 받아들여야 하는 이유는 독립적으로 구축된 두 번째 3D 평가가 같은 주에 같은 방향으로 움직였다는 점이다. Artificial Analysis는 전혀 다른 과제인 AA-3D를 운영한다. 모델들은 Stirrup을 통해 오프라인 샌드박스에서 에이전트로 작동하며 작성된 브리프를 인터랙티브 three.js 장면으로 바꾸고, 순위는 그래프 비교가 아니라 모집된 인간 패널의 블라인드 쌍대 투표(현재 리더보드에서 20,000표 이상)에서 나온다.
• GPT-6.2 Astra (Max) — Elo 1,318, 95% 구간 1,286~1,349, 순위 1
• Claude Fable 5.2 (Max) — 1,271 Elo, 2위
• GPT-6.2 Sol (Max) — 1,259 Elo, 3위
Claude Sonnet 5.5 (Max) — 1,204 Elo, 4위
• Claude Opus 5.5 (Max) — 1,202 Elo, 5위
• GPT-6 Astra (Max) — 1,168 Elo, 95% 구간 1,141~1,196, 6위
두 리더보드는 중위권에 대해 의견이 갈린다 — Claude Fable 5.2는 Andon의 리더보드에서 5위, Artificial Analysis의 리더보드에서 2위다 — 그리고 최상위권에 대해서는 완전히 일치한다. Astra가 선두이고, Sol은 상위 3위 안에 있으며, 이전 세대는 약 150 Elo 뒤에 있다. OpenAI 자체의 출시 게시물은 11월 17일 같은 세 가지 수치로 AA-3D 주장을 했고, 독립 리더보드는 이제 그 수치가 그대로임을 보여 주는데, 이는 벤더 수치와 제3자 수치가 동일한 수치가 되는 드문 사례다. Blueprint-Bench 수치에는 해당되지 않는다: OpenAI는 평면도에 대해 아무 말도 하지 않았고, 점수는 Andon에서만 나왔다.

수렴 자체가 논거다. 코드로 채점하는 그래프 유사도 벤치마크와 블라인드 인간 선호도로 채점하는 Elo 벤치마크는 '공간 능력'에 대한 두 평가가 서로 벌어질 수 있는 거의 최대치만큼 다름에도, 같은 세 모델을 같은 순서로 순위 매긴다. 이들이 입증하지 못하는 것은 둘 중 어느 것도 로보틱스 팀이 공간 지능이라고 부를 만한 것을 측정한다는 점이며, 이는 우리를 Andon의 표에서 가장 흥미로운 줄로 이끈다.
로봇공학 모델이 0점을 받은 이유
Gemini Robotics-ER 1.6은 Blueprint-Bench 2에서 0.000점을 기록했습니다 — 무작위 기준선과 같거나 그보다 낮으며, Andon이 이중 별표로 표시했습니다. 이것은 페이지에서 가장 유용한 숫자입니다. 공간 및 체화 추론을 위해 특별히 만들어진 모델, 즉 작업이 "물리적 공간을 이해하는 것"이라면 선택할 법한 종류의 모델이 우연보다 나을 게 없는 연결성 그래프를 생성합니다. Andon은 스스로 지적합니다: 공간 특화는 평면도 생성으로 전이되지 않습니다.
다른 네 모델도 무작위 기준선에 머물러 있으며, 그 군집의 형태는 이 벤치마크가 무엇을 보상하는지 보여준다. 그것이 보상하는 것은 특정한 복합 기술이다. 즉, 일련의 사진을 읽고, 한 층의 평면에 대한 일관된 가설을 유지하며, 파서가 채점할 수 있는 엄격한 형식의 계획을 출력하는 것이다. 모델은 물리적 공간에 대한 추론을 잘할 수 있으면서도 이것에는 실패할 수 있는데, 실패 모드는 보통 공간적 추론이 아니라 출력 형식이나 장기적인 일관성이기 때문이다. 따라서 "물리적 3D 이해에서 인간 기준선을 초과한다"는 것은 점수에 대해서는 공정한 요약이고 기술에 대해서는 다소 관대한 요약이다. 정직한 표현은 더 좁다. 즉, 그래프 구조만 채점하고 그 외에는 아무것도 채점하지 않는 벤치마크에서, 12개 아파트로 구성된 인간 표본보다 사진으로부터 아파트의 연결성을 더 정확하게 재구성한다는 것이다.
실제 업무가 평면도와 관련된 사람들—부동산 캡처, 보험 문서화, 시설 업무, 종이 도면의 디지털화—에게는 그 더 좁은 주장이 여전히 유용합니다. 왜냐하면 그래프 구조는 바로 그런 워크플로에 필요한 것이고, PDF-to-CAD 파이프라인이 바로 잘못 처리하는 것이기 때문입니다. 이를 로봇이 방을 탐색하는 것에 관한 주장으로 읽는 사람들에게는 Robotics-ER 행이 그 정정입니다.
그 리드를 구매하는 데 드는 비용
GPT-6.2 Astra의 가격은 입력 토큰 100만 개당 $8, 캐시된 경우 $0.40, 출력 100만 개당 $40이며, 이는 미터의 양방향 모두에서 GPT-6 Astra보다 20% 낮습니다. 인간 기준선과 동률을 이루는 모델인 Gemini 4 Carbon은 $2와 $10에 책정되어 있습니다 — Astra 입력 가격의 1/4, 출력 가격의 1/4입니다. Andon 보드에서 0.570으로 4위, AA-3D에서 1,259 Elo로 3위인 GPT-6.2 Sol은 Astra의 토큰 가격이 아니라 GPT-6.1 Sol의 토큰 가격을 유지합니다.
• Blueprint-Bench 2 — Gemini 4 Carbon 0.586 대 GPT-6.2 Astra 0.614
• 100만 개당 입력 가격 — Carbon $2.00 vs Astra $8.00
• 1M당 출력 가격 — Carbon $10.00 vs Astra $40.00
• AA-3D Elo — Carbon은 리더보드에 없음 vs Astra 1,318, 순위 1
• 각각의 위치 — Carbon은 인간 기준선과 동일하고, Astra는 0.028만큼 이를 상회

이것을 가격 질문으로 읽으면, 그 답은 플래그십에게 불편하다. 두 모델이 모두 등장하는 단 하나의 벤치마크에서, 5분의 1 가격으로 인간 기준선과 동점을 얻고 1위와는 털끝 하나 차이만큼 가깝다. Astra가 자신의 가격을 정당화하는 근거는 평면도에 있지 않다. 그것은 OpenAI 출시 글의 전문 업무 평가들에 있다. 그곳에서 Astra는 1,050,000토큰 컨텍스트 창을 가진 모델이며 Agents' Last Exam과 Terminal-Bench-Science에서 프런티어 점수를 기록한다. 당신의 작업 부하가 아파트 사진과 연결성 그래프라면, 이 평가판만으로는 가격 차이를 정당화하기 어렵다. 당신의 작업 부하가 긴 법률 또는 과학 문서 세트라면, 이 벤치마크는 그 어느 쪽에 대해서도 말해 주지 않는다.
비용에 관해 한 가지 주의할 점이 더 있습니다. Andon도 Artificial Analysis도 Blueprint-Bench 2의 작업당 비용 수치를 공개하지 않으며, 이 벤치마크는 그 수치에 유난히 민감합니다. 각각 약 20장의 이미지로 이루어진 아파트 50채는 모델이 방 하나를 쓰기도 전에 상당한 양의 입력 토큰을 필요로 하며, 더 많은 노트패드 루프 턴을 거쳐 동일한 그래프 점수에 도달하는 모델은 토큰 가격이 시사하는 것보다 아파트당 비용이 더 많이 듭니다. 위의 토큰 가격을 아파트당 청구서로 읽지 마십시오. 그렇지 않습니다.
이것이 라우팅 결정을 어디에 남기는가
이 모든 것의 실용적인 결론은 "공간 작업에 어떤 모델을 쓸 것인가"라는 질문이 이제 가격 차이가 있는 두 모델 간의 문제가 되었고, 그 차이는 라우팅 계층에서 해결된다는 것입니다. Gemini 4 Carbon은 OrcaRouter 카탈로그에 정가로 등재되어 있으며 0% 마크업이 그대로 전달됩니다. 즉 위의 $2와 $10은 벤더 요율에 플랫폼 마진이 얹힌 금액이 아니라 백만 토큰당 실제로 지불하는 금액입니다. 이것이 여기서 특히 중요한 이유는 이 순위표에서 1위와 공동 2위 사이의 비용 격차가 4배이며, 4배 격차는 어느 쪽으로든 표준화하기 전에 자체 도면에서 측정해 보아야 할 종류의 차이이기 때문입니다.
GPT-6.2 Astra는 11월 20일 기준으로 당사 카탈로그에 없습니다; 당사가 제공하는 OpenAI 모델은 GPT-6 Astra와 GPT-6 Sol 라인입니다. Astra는 이 보드에서 0.497점을 기록합니다. 이를 달리 암시하기보다 분명히 말할 필요가 있습니다. 추천이 달라지기 때문입니다: 여기서 Astra를 라우팅할 수 있게 되기 전까지, 인간 기준선과 동률인 당사 카탈로그 모델은 Carbon이고, OpenAI 출력 스타일을 $10와 $50에 원하신다면 GPT-6 Astra가 같은 키로 제공됩니다. 한 모델과 그보다 저렴한 경쟁 모델이 하나의 엔드포인트에 오르면, 자체 아파트먼트에서의 A/B 테스트는 두 번째 계약이 아니라 API 키 변경만으로 가능하며, 장애 조치 덕분에 한쪽에 속도 제한이 걸려도 배치가 중단되지 않습니다.
무엇이 이 읽기를 바꿀까요?
이야기를 얼마나 크게 바꿀지 순서대로 세 가지다. 첫째는 더 폭넓은 인간 기준선이다. 12개 아파트는 50개 아파트 과제에 비해 작은 표본이고, Andon이 인간 수치에 대한 구간을 발표하면 0.586이 선인지 번짐인지가 판가름 날 것이다. 인간 범위가 0.55에서 0.62까지로 밝혀지면 Astra의 우위는 실제지만 Carbon의 동률은 아니게 되고, 보드 상위권 전체가 재편된다. 둘째는 같은 보드에서 GPT-6.2 Astra를 두 번째로 실행하는 것이다. 이 모델은 나온 지 사흘 됐고, Andon의 수치는 한 번의 캠페인에서 나온 것이다. 또한 메모장 루프와 50개 아파트 지평을 가진 벤치마크는 단일 실행 평가보다 실행 간 분산이 더 크며, 표준오차 막대가 암시하고 있지만 완전히 흡수하지는 못하는 것이 바로 이것이다.
세 번째는 페이지 자체입니다. Andon의 "Key findings" 섹션은 여전히 GPT 5.5, Gemini 3.1 Pro, Claude Opus 4.7을 상위 세 모델로 명시하고 있는데, 이는 2026년 5월 당시에는 사실이었지만 표가 채워지는 동안 업데이트되지 않았습니다. 이들의 공간 추론 관련 글은 여전히 Gemini 3.1 Pro와 GPT 5.5가 개별 아파트를 처리하는 내용을 인용하고 있습니다. 리더보드는 최신이지만, 그 주변의 서술은 6개월 전의 스냅샷입니다. Key findings 섹션이 아니라 표를 읽고, 두 모델이 동점이라고 말하는 캡션보다는 둘 중 하나가 측정 가능할 정도로 위에 있는 선을 보여주는 차트의 오차 막대를 읽으십시오.
그중 어느 것도 결과가 틀렸다는 뜻은 아니다. GPT-6.2 Astra는 이번 주 발표된 두 개의 독립적인 3D 평가 모두에서 최고 모델이며, 한 평가에서는 자체 오차 범위를 넘어서는 격차로, 다른 평가에서는 47 Elo 차이로 앞섰는데, 후자에서는 두 95% 구간이 여전히 겹친다. 이는 5월부터 운영되어 온 벤치마크에서 인간 추정치를 의미 있게 웃도는 첫 모델이다. 이 주장은 트윗보다 작고 유출보다 견고한데, 이는 모델이 나온 지 사흘 뒤에 도착한 결과에 어울리는 형태다.
이 글에서 비교한 모델2
이 글에서 자동 인식 · 벤치마크: Artificial Analysis · 매일 업데이트
