Nanbeige4.3-33B obteve sua primeira pontuação externa: 20, no mesmo nível do Qwen3.8-27B, e duas vezes mais tagarela

Durante duas semanas, a única evidência de que o Nanbeige4.3-33B era bom em alguma coisa veio de uma tabela de vinte linhas que o laboratório escreveu sobre si mesmo. Em 5 de novembro, isso mudou: o Artificial Analysis colocou o Nanbeige4.3-33B em seu Intelligence Index v5.0.1 em 20, a mesma pontuação que atribui ao Qwen3.8-27B em sua configuração de raciocínio mais alta — 20 no composto, 20,1 para o modelo Qwen na execução v5.0 subjacente. Um décimo de ponto é menor que o ruído entre duas avaliações do mesmo checkpoint, então os dois estão em empate técnico no único composto público que mede ambos.

Esse é o número pelo qual o lançamento estava esperando, e é a coisa menos interessante da medição. O composto esconde um modelo cujas duas metades apontam em direções opostas: uma metade agêntica que está muito à frente do modelo Qwen que ele foi criado para superar, e uma metade de conhecimento que está mensuravelmente atrás dele. Também esconde o fato de que o Nanbeige4.3-33B gastou 160 milhões de tokens de saída para chegar a esse 20 — mais que o dobro do que consome o modelo mediano de sua classe de comparação, e o suficiente para colocá-lo em último lugar entre oito na medida de verbosidade da Artificial Analysis.

Então, a leitura honesta deste lançamento não é mais "não verificada". É "verificada, e mais estranha do que a tabela do fornecedor sugeria". Aqui está o que a execução independente realmente diz, onde ela concorda com os próprios números da Nanbeige, e o único ponto em que a medição externa ficou mais alta do que a própria alegação do laboratório.

O que 20 significa, e o que não significa

O Artificial Analysis coloca o Nanbeige4.3-33B em primeiro lugar entre nove em sua própria classe de comparação, frente a uma mediana de classe de 10. Essa classe é composta pelos nove modelos de pesos abertos de tamanho semelhante com os quais ele é comparado no gráfico, e o site afirma separadamente que abrange 144 modelos na coorte comparável mais ampla. Vale a pena manter as duas populações em mente ao mesmo tempo: entre modelos de pesos abertos de tamanho aproximadamente igual, ele é o mais forte já medido; e no campo inteiro — incluindo modelos fechados de fronteira e o melhor de Qwen, DeepSeek e Anthropic — uma pontuação de 20 é um resultado sólido de meio de tabela.

Essa diferença entre o 1º de 9 e uma pontuação de meio da tabela vale a pena ser preservada, porque é exatamente a diferença que se perde quando um lançamento é resumido como "supera o Qwen". Um modelo de pesos abertos de 33B ficar no meio da tabela em um composto dominado por modelos várias vezes maiores é uma conquista genuína. Não é um resultado de fronteira, e nada no vocabulário deste lançamento deveria sugerir o contrário.

O que o índice não inclui é o preço. Não há preço, porque não há endpoint hospedado: o Artificial Analysis registra "Nenhuma API disponível publicamente", o mapeamento de provedores de inferência do Hugging Face para o repositório está vazio, e todo rastreador que inclui o modelo mostra o custo como indisponível. Seu custo é o hardware.

As duas metades do modelo estão em desacordo

A Artificial Analysis não publica um único número, e é nas pontuações parciais que este modelo se torna legível. Leia-as como duas colunas.

• Terminal-Bench 4.0 (harness do Artificial Analysis) — Nanbeige4.3-33B 29,8%, classificado em 56º entre todas as configurações do ranking. Qwen3.8-27B com xhigh pontua 5,6% no mesmo harness.

• FrontierCode 2.0 — Nanbeige4.3-33B 10,7%, 81.º lugar. Qwen3.8-27B em xhigh marca 14,9%, então o benchmark de qualidade de código vai no sentido oposto.

• AA-Omniscience v1.1 — Nanbeige4.3-33B tem pontuação líquida de −4,4 com 11,7% de acurácia. Qwen3.8-27B em xhigh tem pontuação líquida de −6,4 com 17,3% de acurácia. Qwen sabe mais; Nanbeige tem resultado líquido melhor porque se recusa a responder com mais frequência.

• Não alucinação no AA-Omniscience — Nanbeige4.3-33B 81,8%, classificado em 7º lugar em todo o site. Qwen3.8-27B em xhigh pontua 71,4%.

• AutomationBench — Nanbeige4.3-33B 53,1%, classificado em 82º. AA-Briefcase v1.1 — 1.162, classificado em 90º. Terminal-Bench-Science 0.1 — 0,9%, classificado em 89º.

• HLE-Diamond — 6,9%, classificado em 117º. Subconjunto difícil do CritPt v2 — 15,5%, classificado em 85º. GDP.pdf — 11,2%, classificado em 135º.

O padrão nessas linhas é consistente. Quando a tarefa é "operar um terminal por muito tempo e não parar cedo", este modelo tem aproximadamente cinco vezes a pontuação do modelo Qwen. Quando a tarefa é "saber um fato", ele fica atrás — e quando a tarefa é "saber um fato ou dizer que não sabe", ele está à frente de quase tudo no ranking, com 81,8% de não alucinação.

Essa combinação não é um acidente de tuning. É o que um modelo criado para gerar trajetórias de agentes parece quando você aponta um benchmark de conhecimento para ele. Um modelo professor que inventa fatos é um professor que envenena os dados de treinamento do aluno, então a calibração importa mais do que o recall no pipeline que a Nanbeige diz estar construindo. Seja essa troca deliberada ou emergente, é a coisa mais defensável desse lançamento.

O problema da verbosidade é um problema de custo disfarçado

A Artificial Analysis relata que o Nanbeige4.3-33B gerou 160 milhões de tokens de saída durante a avaliação no Intelligence Index. O modelo mediano da sua classe de comparação gerou 77,7 milhões. No ranking de verbosidade do site, ele fica em último, nº 8 de 8 nessa classe, a cerca de 2,06 vezes a mediana. O volume de entrada foi de 15,4 bilhões de tokens, o que coloca a proporção de saída para entrada em 1,034%.

Duas coisas decorrem disso. A primeira é que o 20 foi caro de comprar. Se você paga por token em qualquer lugar, um modelo que emite o dobro de tokens para a mesma pontuação composta custa aproximadamente o dobro por unidade de capacidade medida, e o índice não normaliza isso. A segunda é que a verbosidade é um problema de latência antes de ser um problema de dinheiro: um modelo denso de 33B nas suas próprias GPUs produzindo o dobro de tokens leva o dobro do tempo para concluir uma tarefa.

As configurações recomendadas pelo próprio Nanbeige explicam parte disso e não desculpam tudo. O card pede um teto de 262.144 tokens para raciocínio e chat, 65.536 para trabalho agêntico, com o pensamento ativado por padrão. Qualquer modelo que seja informado de que pode pensar por um quarto de milhão de tokens usará alguns deles. Mas a mediana da classe é uma comparação justa — outros modelos por trás do mesmo índice também são modelos de raciocínio — e o múltiplo de 2,06× sobrevive a esse controle.

Para uma implantação auto-hospedada, a correção prática é um orçamento, não uma mudança de modelo: limite o máximo de novos tokens por tarefa e meça sua própria taxa de aprovação em 8K, 16K e 32K antes de presumir que os padrões da placa são os adequados para sua carga de trabalho. A maioria das tarefas agênticas não melhora além de um certo ponto, e este modelo não vai lhe dizer onde esse ponto está.

A única linha em que a execução externa superou o número do próprio fornecedor

A ficha do modelo da Nanbeige afirma Terminal-Bench 4.0 em 23,8 para o Nanbeige4.3-33B contra 6,3 para o Qwen3.8-27B. A Artificial Analysis mediu 29,8. O número independente é seis pontos mais alto do que o que o laboratório publicou sobre si mesmo.

Isso é incomum o suficiente para valer a pena dizer claramente, porque o modo de falha padrão neste setor vai na direção oposta — os laboratórios relatam o melhor número que seu próprio scaffold produz, e reexecuções externas vêm mais baixas. Um fornecedor que subnotifica sua própria pontuação agêntica sugere ou um harness diferente do lado dele, ou uma alegação deliberadamente conservadora, ou uma tabela construída antes do checkpoint final. Nenhuma dessas coisas é ruim; todas significam que a tabela do fornecedor não é um teto e não deve ser lida como tal.

Não se segue que toda linha de fornecedor seja confiável. As maiores alegações na tabela da Nanbeige — DeepSWE com 65,5 contra 42,5 da Qwen, SWE-Atlas-QnA com 50,8 contra 41,9 — ainda não têm contrapartida independente, e ambos são benchmarks sensíveis ao scaffold, nos quais a escolha do harness altera as pontuações mais do que a qualidade do modelo. O que o resultado do Terminal-Bench estabelece é mais restrito e mais útil: a direção agêntica da alegação é real. A magnitude em qualquer linha individual ainda não foi verificada.

Onde isso deixa uma equipe que quer experimentar

Nada mudou em relação ao acesso. Não há endpoint para chamar, nem tabela de tarifas, nem listagem de provedores — os pesos estão no Hugging Face sob Apache 2.0 e o caminho de serviço é vLLM, SGLang ou Transformers em hardware próprio. O checkpoint bfloat16 tem 66,3 GB distribuídos em quatorze shards e, com contexto de 512K, apenas o cache KV chega a aproximadamente 104 GiB, e é por isso que a configuração funcional é paralelismo de tensores em quatro vias, em vez de uma única placa grande.

O que mudou é que agora você pode pular a parte cara da diligência devida. Antes desta semana, avaliar o Nanbeige4.3-33B significava provisionar quatro GPUs para descobrir se as alegações agênticas sobreviviam ao contato com um harness neutro. O 29,8 no Terminal-Bench 4.0 responde à primeira pergunta — a direção está certa — e o número de verbosidade responde a uma pergunta que ninguém estava fazendo, que é quanto o modelo vai custar em tokens por tarefa concluída.

Se você quer um ponto de comparação que possa realmente consultar hoje, o Qwen3.8-27B é o controle natural: mesma pontuação composta, preço publicado e janela de 262K. Ele roda no OrcaRouter a US$ 0,33 por milhão de tokens de entrada e US$ 2,40 por milhão de saída, na mesma chave do restante do catálogo, com os preços de tabela dos provedores repassados sem acréscimo. Executar seu conjunto de tarefas em um modelo hospedado e em um auto-hospedado sob uma única regra de roteamento é a forma mais barata de descobrir se um checkpoint denso de 33B no seu próprio hardware supera um 27B que você aluga por token — e é uma pergunta que o Intelligence Index não pode responder por você, porque ele não sabe quais são suas tarefas nem quanto custam suas GPUs.

As coisas ainda verdadeiramente desconhecidas são poucas. Se o Nanbeige4.3-3B, o alvo de destilação que este modelo existe para ensinar, herda algo da calibração. Se a verbosidade sobrevive ao aluno, já que um modelo pequeno que emite 2× tokens é um erro muito mais barato. E se o resultado de não alucinação se sustenta fora do harness Omniscience, porque 81,8% é um número notável e números notáveis merecem uma segunda olhada antes de alguém construir um pipeline com base neles.