Um cartão de título gerado, encabeçado por 'GPT-6.2 Astra Supera o Blueprint-Bench 2', com o subtítulo 'a linha humana é de doze apartamentos' e uma legenda que diz '0,614 contra uma linha de base humana de 0,586'. Dois cartões arredondados aparecem abaixo: o da esquerda, rotulado 'GPT-6.2 Astra', com as linhas 'Blueprint-Bench 2: 0,614', '1º lugar no ranking' e 'reconstrução de cena 3D'; o da direita, rotulado 'linha de base humana', com '0,586', 'medida em 12 apartamentos' e 'de 50 no benchmark'. O logotipo da OrcaRouter é inserido por composição no canto inferior direito.
Guides & Insights

GPT-6.2 Astra lidera o Blueprint-Bench 2: a linha humana é de doze apartamentos

Autor

jinhao.song

Data de publicação

Modelos mais recentes · 20Ver todos os modelos →
Benchmarks: Artificial Analysis · atualizado diariamente
Voltar para todas as publicações

GPT-6.2 Astra marca 0,614 no Blueprint-Bench 2. A linha de base humana no mesmo ranking é 0,586. Trata-se de uma vantagem real, e também de 0,028 de ponto medido em relação a um número humano que a Andon Labs calculou a partir de doze apartamentos. O resultado foi publicado na página de avaliação da Andon em 20 de novembro de 2026 e foi amplificado na mesma manhã por Greg Brockman, que o apresentou como GPT-6.2 Astra "superando a linha de base humana no benchmark de compreensão física 3D". As duas metades dessa frase precisam ser um pouco desinfladas, e este artigo trata de quais partes sobrevivem. GPT-6.2 Astra, GPT-6.2 Sol e Gemini 4 Carbon ocupam as quatro primeiras posições no ranking da Andon, o que importa mais para um leitor que decide como se referir a isso do que a posição de manchete.

O benchmark em si não é novo. O Blueprint-Bench 2 está no site da Andon Labs desde maio de 2026 e vem coletando modelos há seis meses; o que mudou em 20 de novembro é que um modelo finalmente ultrapassou a linha humana por mais que sua própria margem de erro. Portanto, não se trata do lançamento de um benchmark nem do lançamento de um modelo — a OpenAI lançou o GPT-6.2 Astra em 17 de novembro de 2026, três dias antes de a pontuação aparecer. É um resultado que chega a um placar já existente, e a pergunta interessante não é se o número é real. É o que o número está medindo, já que a expressão "compreensão física em 3D" está fazendo mais trabalho no tweet do que a avaliação faz em sua própria metodologia.

O que a Andon Labs realmente mediu

O Blueprint-Bench 2 dá a um agente cinquenta apartamentos, um após o outro. Para cada apartamento, ele analisa cerca de vinte fotografias de interiores e precisa desenhar uma planta baixa 2D: cômodos, quais cômodos se conectam a quais e seus tamanhos relativos. Os agentes carregam um bloco de notas persistente entre os apartamentos, para que um modelo possa anotar o que aprendeu sobre layouts típicos — onde um corredor costuma ficar, o que uma moldura de porta em um canto implica — e usar isso no próximo apartamento. Esse bloco de notas é a parte do design que faz disto uma avaliação de agente em vez de um teste de visão, e é por isso que as pontuações separam modelos de fronteira dos de nível intermediário com mais clareza do que um benchmark de imagem única faria.

A pontuação compara o grafo de conectividade do modelo com a verdade de referência, com pesos em seis submétricas: similaridade de Jaccard nas conexões sala a sala com 50%, similaridade de grau com 20%, densidade do grafo com 10%, contagem de salas com 10%, contagem de portas com 5% e orientação com 5%. As plantas são comparadas sob simetria D4, então uma planta rotacionada ou espelhada ainda pontua, e o composto é normalizado de modo que uma linha de base aleatória mapeia para 0 e uma planta perfeita mapeia para 1. O peso de 50% em Jaccard é o benchmark inteiro em uma linha: o próprio texto de Andon diz que todo modelo acerta aproximadamente a contagem de salas, em torno de 90%, e que o discriminador é se o modelo consegue descobrir quais salas se abrem para quais. Contar salas a partir de fotografias é fácil. Reconstruir a topologia a partir de um percurso não é.

Dessa concepção decorrem duas consequências. Primeiro, a saída é uma planta 2D, não um modelo 3D — o raciocínio espacial é tridimensional no sentido de que o agente tem de inferir o layout de um piso a partir de uma sequência de vistas sobrepostas, mas nada na pontuação recompensa uma reconstrução correta da altura do teto, do volume ou dos móveis. Segundo, a pontuação é um número de similaridade de grafos, não uma percentagem de exatidão. Uma pontuação de 0,614 não significa que o modelo acertou 61% dos apartamentos; significa que os seus grafos de conectividade ficam 61,4% do caminho entre aleatório e perfeito sob essa ponderação.

O 0,028 que separa um modelo de uma pessoa

Aqui está o topo do quadro como estava em 20 de novembro de 2026, com as barras de erro padrão que a Andon desenha em seu gráfico extraídas da figura publicada:

• GPT-6.2 Astra — 0,614, posição 1, barra de erro aproximadamente de 0,601 a 0,627

• Gemini 4 Carbon — 0,586, empatado na 2.ª posição, barra de erro aproximadamente de 0,571 a 0,601

• Linha de base humana — 0,586, empatado na 2ª posição, testado em 12 apartamentos, sem intervalo publicado

• GPT-6.2 Sol — 0.570, posição 4, barra de erro aproximadamente de 0.558 a 0.584

• Claude Fable 5.2 — 0,566, 5º lugar

• Gemini 4 Argon — 0,544, posição 6

• Claude Opus 5.5 — 0,512, posição 7

• GPT-6 Astra — 0.497, posição 8

A screenshot of Andon Labs' Blueprint-Bench 2 evaluation page. The top half explains that agents convert roughly twenty interior photographs of each apartment into a 2D floor plan across fifty apartments, with the normalisation note that random maps to 0 and perfect to 1 and that error bars are standard error, above a connectivity-similarity chart. The leaderboard below lists GPT-6.2 Astra at 0.614 in first place, then Gemini 4 Carbon and a Human baseline both at 0.586, GPT-6.2 Sol at 0.570 and Claude Fable 5.2 at 0.566, continuing down through GPT-6 Astra at 0.497 to Claude Haiku 5.5 at 0.330.

Três coisas merecem destaque nessa lista. A primeira é o tamanho da margem, que é de 0.028 de um ponto numa escala em que aleatório é 0 e perfeito é 1. A segunda é que a barra de erro da Astra não chega até 0.586 — o limite inferior da sua faixa é 0.601 —, portanto a vantagem sobre o número humano não está dentro do próprio ruído do modelo. A terceira é que o número humano não traz faixa de incerteza alguma, porque foi calculado com uma dúzia de apartamentos de uma tarefa de cinquenta apartamentos. Uma pontuação humana obtida a partir de doze apartamentos e uma pontuação de modelo obtida a partir de cinquenta não são a mesma medição, e Andon é transparente quanto a isso: a nota de rodapé do leaderboard diz "Linha de base humana testada apenas em um subconjunto de 12 apartamentos." Trate 0.586 como uma estimativa de onde uma pessoa fica, não como uma linha com largura conhecida.

A outra coisa que as barras de erro mostram é quão estreito é o topo do ranking. O bigode inferior de Astra e o bigode superior de Gemini 4 Carbon se encontram exatamente em 0.601. Neste benchmark, o primeiro lugar e o segundo lugar empatado estão a um toque de bigode de distância, o que é uma afirmação diferente de "melhor que qualquer outra IA" e mais defensável. A própria legenda do gráfico de Andon divide a diferença de um modo que vale notar: ela rotula a linha tracejada dos humanos como "Human (0.59)" e então escreve que GPT-6.2 Astra e Gemini 4 Carbon "now ties it", embora a tabela coloque Astra 0.028 acima dela e Carbon exatamente sobre ela. A tabela é o artefato mais cuidadoso. A legenda é a que foi citada.

Dois benchmarks, uma direção

Um ranking superar uma referência humana pode ser um artefato de pontuação. O motivo para levar o resultado a sério é que uma segunda avaliação 3D, construída de forma independente, seguiu na mesma direção na mesma semana. A Artificial Analysis executa o AA-3D, que é uma tarefa completamente diferente: os modelos atuam como agentes em um sandbox offline por meio do Stirrup e transformam um briefing escrito em uma cena interativa de three.js, e o ranking vem de votos cegos em pares de um painel humano recrutado — mais de 20.000 votos no ranking atual — em vez de uma comparação de grafos.

• GPT-6.2 Astra (Max) — 1.318 Elo, intervalo de 95% de 1.286 a 1.349, posição 1

• Claude Fable 5.2 (Max) — 1.271 Elo, 2º lugar

• GPT-6.2 Sol (Max) — 1.259 Elo, 3º lugar

• Claude Sonnet 5.5 (Max) — 1.204 Elo, 4º lugar

• Claude Opus 5.5 (Max) — 1.202 Elo, posição 5

• GPT-6 Astra (Max) — 1.168 Elo, intervalo de 95% de 1.141 a 1.196, posição 6

Os dois rankings discordam quanto ao meio da tabela — Claude Fable 5.2 está em 5º no da Andon e em 2º no da Artificial Analysis — e concordam totalmente quanto ao topo. Astra lidera, Sol está entre os três primeiros, e a geração anterior fica cerca de 150 de Elo atrás. O próprio post de lançamento da OpenAI fez a afirmação AA-3D em 17 de novembro com os mesmos três números, e o ranking independente agora os mostra inalterados, o que é o caso raro em que um número do fornecedor e um número de terceiros são o mesmo número. Isso não se aplica ao número do Blueprint-Bench: a OpenAI não disse nada sobre plantas baixas, e a pontuação veio apenas da Andon.

A screenshot of the AA-3D Leaderboard from Artificial Analysis, with columns for rank, score range, model and Elo. GPT-6.2 Astra (Max) sits at rank 1 with 1318, above Claude Fable 5.2 (Max), GPT-6.2 Sol (Max), Claude Sonnet 5.5 (Max) and Claude Opus 5.5 (Max), with GPT-6 Astra (Max) further down at 1168.

A convergência é o argumento. Um benchmark de similaridade de grafos pontuado por código e um benchmark Elo pontuado por preferência humana cega estão praticamente tão distantes quanto duas avaliações de “habilidade espacial” podem estar, e classificam os mesmos três modelos na mesma ordem. O que eles não estabelecem é que qualquer um dos dois meça algo que uma equipe de robótica chamaria de inteligência espacial, o que nos leva à linha mais interessante da tabela de Andon.

Por que um modelo de robótica marcou zero

O Gemini Robotics-ER 1.6 pontua 0,000 no Blueprint-Bench 2 — no nível ou abaixo da linha de base aleatória, sinalizado pela Andon com um asterisco duplo. É o número mais útil da página. Um modelo criado especificamente para raciocínio espacial e corporificado, o tipo de coisa a que você recorreria se a tarefa fosse “entender um espaço físico”, produz grafos de conectividade não melhores que o acaso. A própria Andon sinaliza isso: a especialização espacial não se transfere para a geração de plantas baixas.

Outros quatro modelos também ficam na linha de base aleatória, e o formato desse agrupamento revela o que o benchmark recompensa. O que ele recompensa é uma habilidade composta específica — ler uma sequência de fotografias, manter uma hipótese consistente sobre um andar e emitir um plano estritamente formatado que um parser consiga pontuar. Um modelo pode ser excelente em raciocinar sobre espaço físico e ainda assim falhar nisso, porque o modo de falha geralmente é o formato da saída ou a consistência de longo horizonte, não a inferência espacial. O que significa que "supera a linha de base humana em compreensão física 3D" é um resumo justo da pontuação e um resumo ligeiramente generoso da habilidade. A versão honesta é mais estreita: ele reconstrói a conectividade de um apartamento a partir de fotografias com mais precisão do que uma amostra humana de doze apartamentos, em um benchmark que pontua a estrutura do grafo e nada mais.

Para quem trabalha de facto com plantas — captura de imóveis, documentação de seguros, gestão de instalações, digitalização de plantas em papel —, essa afirmação mais restrita continua a ser a útil, porque a estrutura de grafo é exatamente aquilo de que esses fluxos de trabalho precisam e exatamente aquilo que um pipeline PDF-to-CAD faz mal. Para quem a lê como uma afirmação sobre robôs a navegar por salas, a linha Robotics-ER é a correção.

Quanto custa comprar esse lead

O GPT-6.2 Astra custa US$ 8 por milhão de tokens de entrada, US$ 0,40 em cache e US$ 40 por milhão de saída, o que é 20% abaixo do GPT-6 Astra em ambas as direções do medidor. O modelo que empata com a linha humana, Gemini 4 Carbon, custa US$ 2 e US$ 10 — um quarto do preço de entrada do Astra e um quarto do preço de saída. O GPT-6.2 Sol, quarto no ranking da Andon com 0,570 e terceiro no AA-3D com 1.259 Elo, mantém os preços por token do GPT-6.1 Sol em vez dos do Astra.

• Blueprint-Bench 2 — Gemini 4 Carbon 0.586 vs. GPT-6.2 Astra 0.614

• Preço de entrada por 1M — Carbon $2,00 vs Astra $8,00

• Preço de saída por 1M — Carbon $10,00 vs Astra $40,00

• Elo AA-3D — Carbon não está no placar vs. Astra 1.318, 1º lugar

• Onde cada um se posiciona — Carbon empata com a linha humana, enquanto Astra a supera em 0,028

A generated single-column scoreboard titled 'GPT-6.2 Astra — the scoreboard' with six rows reading 'Blueprint-Bench 2: 0.614, rank 1', 'Human baseline: 0.586 on 12 apartments', 'Error bar: 0.601 to 0.627', 'AA-3D Elo: 1,318, rank 1', 'AA-3D vs GPT-6 Astra: +150 Elo' and 'Price per 1M: $8 in / $40 out', over a footer reading 'Blueprint-Bench 2 figures per Andon Labs; AA-3D per Artificial Analysis; pricing per OpenAI.' The OrcaRouter logo is composited in the bottom-right corner.

Leia isso como uma pergunta sobre preço, e a resposta é desconfortável para o carro-chefe. No único benchmark em que os dois modelos aparecem, um quinto do preço rende um empate com a linha de base humana e uma distância ínfima do primeiro lugar. O argumento da Astra para justificar seu preço não se baseia em plantas de apartamento; baseia-se nas avaliações de trabalho profissional na publicação de lançamento da OpenAI, em que ela é o modelo com janela de contexto de 1.050.000 tokens e pontuações de ponta no Agents' Last Exam e no Terminal-Bench-Science. Se sua carga de trabalho é composta de fotografias de apartamentos e grafos de conectividade, a diferença de preço é difícil de justificar apenas com este quadro. Se sua carga de trabalho é um longo conjunto de documentos jurídicos ou científicos, este benchmark não diz nada sobre isso, seja de um jeito ou de outro.

Mais uma ressalva sobre custo: nem a Andon nem a Artificial Analysis publicam um valor de custo por tarefa para o Blueprint-Bench 2, e este benchmark é excepcionalmente sensível a isso. Cinquenta apartamentos com aproximadamente vinte imagens cada representam muitos tokens de entrada antes de o modelo escrever um único cômodo, e um modelo que alcança a mesma pontuação de grafo com mais voltas no loop do bloco de notas custa mais por apartamento do que seu preço por token sugere. Não interprete os preços por token acima como uma fatura por apartamento; eles não são.

Onde isso deixa uma decisão de roteamento

A versão prática de tudo isso é que "qual modelo para trabalho espacial" acaba de se tornar uma questão de dois modelos com uma diferença de preço, e a camada de roteamento é onde essa diferença é resolvida. O Gemini 4 Carbon está no catálogo do OrcaRouter pelo preço de tabela, com 0% de markup repassado, o que significa que os US$ 2 e US$ 10 acima são o que você realmente paga por milhão de tokens, em vez de uma tarifa de fornecedor com uma margem de plataforma acumulada por cima. Isso importa aqui especificamente porque a diferença de custo entre o primeiro e o segundo empatado neste ranking é de 4x, e uma diferença de 4x é o tipo de coisa que você quer medir nas suas próprias plantas baixas antes de padronizar em qualquer um dos dois.

O GPT-6.2 Astra não está no nosso catálogo em 20 de novembro; os modelos da OpenAI que servimos são o GPT-6 Astra, que obtém 0,497 neste ranking, e a linha GPT-6 Sol. Vale a pena dizer isso claramente em vez de dar a entender o contrário, porque isso muda a recomendação: até que o Astra possa ser encaminhado aqui, o modelo do nosso catálogo que empata com a linha de base humana é o Carbon, e o GPT-6 Astra está na mesma chave se quiser o estilo de saída da O​penAI por $10 e $50. Quando um modelo e o seu rival mais barato ficam no mesmo endpoint, um teste A/B nos seus próprios apartamentos custa uma alteração da chave de API em vez de um segundo contrato, e o failover significa que um limite de taxa num deles não interrompe o lote.

O que mudaria essa leitura?

Três coisas, em ordem de quanto elas moveriam a história. A primeira é uma linha de base humana mais ampla. Doze apartamentos é uma amostra pequena para uma tarefa de cinquenta apartamentos, e o fato de a Andon publicar um intervalo sobre o número humano resolveria se 0,586 é uma linha ou uma mancha — se a faixa humana acabar indo de 0,55 a 0,62, então a vantagem da Astra é real, mas o empate da Carbon não é, e todo o topo da tabela se reorganiza. A segunda é uma segunda rodada do GPT-6.2 Astra no mesmo tabuleiro. O modelo tem três dias; os números da Andon vêm de uma única campanha, e benchmarks com um loop de bloco de notas e um horizonte de cinquenta apartamentos têm mais variação entre execuções do que uma avaliação de disparo único, que é o que as barras de erro padrão estão indicando, mas não conseguem absorver totalmente.

O terceiro é a própria página. A seção “Principais conclusões” da Andon ainda nomeia GPT 5.5, Gemini 3.1 Pro e Claude Opus 4.7 como os três principais modelos, o que era verdade em maio de 2026 e não foi atualizado à medida que a tabela foi preenchida. Os textos sobre raciocínio espacial deles ainda citam Gemini 3.1 Pro e GPT 5.5 percorrendo apartamentos individuais. O ranking está atualizado; o texto ao redor dele é um retrato de seis meses atrás. Leia a tabela, não a seção de conclusões, e leia as barras de erro do gráfico em vez da legenda que diz que dois modelos empatam em uma linha, embora um deles esteja mensuravelmente acima dela.

Nada disso torna o resultado errado. O GPT-6.2 Astra é o melhor modelo nas duas avaliações 3D independentes publicadas esta semana, por uma margem que supera sua própria barra de erro em uma delas e por 47 Elo na outra, onde os dois intervalos de 95% ainda se sobrepõem. É o primeiro modelo a ficar significativamente acima de uma estimativa humana em um benchmark em execução desde maio. A afirmação é menor que o tweet e mais sólida que um vazamento, o que é o formato certo para um resultado que chegou três dias depois do modelo.

Comparados neste artigo2

Detectado a partir deste artigo · Benchmarks: Artificial Analysis · atualizado diariamente