Nanbeige4.3-33B vs Qwen3.8 27B: Auditando a alegação de 18 em 20

O Nanbeige4.3-33B supera o Qwen3.8-27B em 18 de 20 benchmarks. Essa é a afirmação que circula na internet esta semana, e é tecnicamente o que o model card diz. É também uma frase com um denominador, e o denominador é a parte interessante. Dessas 20 linhas, 19 são pontuadas e uma é um valor em dólares; quatro das 18 vitórias são por menos de um ponto; e pelo menos três dos números do Qwen parecem ter sido copiados dos próprios resultados publicados do Qwen, em vez de reproduzidos pelo Nanbeige. Nada disso torna a afirmação falsa. Torna-a mais estreita do que parece.

O confronto é incomum porque a Nanbeige escolheu o Qwen3.8-27B como seu parceiro de sparring. O Qwen3.8-27B foi lançado em meados de agosto de 2026, tem 27,78 bilhões de parâmetros densos, licença Apache 2.0, é multimodal na entrada e — diferentemente do Nanbeige4.3-33B — tem um Índice de Inteligência da Artificial Analysis independente de 34. Portanto, esta é a única comparação do lote em que o oponente tem uma pontuação verificada e o objeto avaliado não. Essa assimetria é a melhor ferramenta que temos para auditar a tabela.

Quem escreveu a afirmação, e o que o denominador contém?

A tabela é da Nanbeige. Foi publicada no model card do Nanbeige4.3-33B no Hugging Face, em um repositório criado em 24 de outubro de 2026. Não há post de blog de acompanhamento, nem evento de lançamento, nem reprodução por terceiros. Cada número na coluna Qwen, e cada número na coluna Nanbeige, foi produzido ou selecionado pelo laboratório que fez a comparação.

As 20 linhas abrangem três grupos: codificação agêntica (Terminal-Bench 2.1 e 4.0, DeepSWE, SWE-Bench Pro, SWE-Atlas-QnA, NL2Repo, Scicode, SkillsBench), cowork agêntico (Automation Bench, JobBench, GDPval, Claw-Eval, Toolathlon-Verified, DeepPlanning, EnterpriseOps-Gym, YC-bench, Tau3-Bench) e raciocínio (GPQA Diamond, AIME 2026, AA-LCR). O harness é divulgado com mais cuidado do que na maioria das fichas de fornecedores: Terminus 2 para Terminal-Bench 2.1, mini-swe-agent v2.4.6 para Terminal-Bench 4.0, DeepSWE e SWE-Atlas-QnA, Claude Code para NL2Repo e JobBench, e GPT-6 Sol como juiz para SWE-Atlas-QnA. Essa divulgação é um mérito da Nanbeige. É também o motivo pelo qual a comparação é mais difícil de interpretar do que uma simples contagem de vitórias.

As duas linhas que a Nanbeige perde

• SWE-Bench Pro — Qwen3.8-27B 61,7 contra Nanbeige4.3-33B 60,3. Uma vantagem de 1,4 ponto da Qwen.

• GDPval — Qwen3.8-27B 86,4 contra Nanbeige4.3-33B 84,8. Uma vantagem de 1,6 ponto do Qwen.

Estas são as duas linhas que a manchete “18 de 20” descarta silenciosamente por arredondamento, e elas apontam numa direção consistente. Ambas são benchmarks de trabalho profissional e economicamente valioso: o SWE-Bench Pro é a variante mais difícil de engenharia de software, e o GDPval mede a qualidade dos resultados em tarefas ocupacionais reais. O Qwen vence ambas por margens pequenas em termos absolutos, mas estáveis entre duas famílias de tarefas diferentes. Se você está escolhendo entre esses modelos para trabalho profissional, e não para um ranking, essas são duas das linhas que você deveria ponderar com mais peso, e são as duas em que o modelo em questão perde.

A ficha da Nanbeige não explica as perdas. Não precisa — um fornecedor tem o direito de publicar uma tabela em que vence. Mas o leitor deve notar que as perdas se concentram exatamente onde o benchmark está mais próximo de “um profissional aceitaria esta saída?”, e as vitórias se concentram onde o benchmark está mais próximo de “o agente completou o ciclo?”.

Vitórias que são erros de arredondamento

Quatro das 18 vitórias são decididas por menos de um ponto.

• Tau3-Bench — 48,8 vs 48,5. Três décimos de um ponto.

• GPQA Diamond — 89,5 vs 89,2. Três décimos.

• AIME 2026 — 95,2 vs 94,5. Sete décimos.

• EnterpriseOps-Gym — 41,0 vs 40,2. Oito décimos.

Mais dois estão dentro de cerca de dois pontos: Toolathlon-Verified em 70,4 vs 68,5, e AA-LCR em 84,0 vs 82,0. Em benchmarks desse tamanho e variância, uma margem inferior a um ponto não é evidência de superioridade. É evidência de que dois modelos estão na mesma faixa. Uma reformulação justa da manchete seria "Nanbeige lidera claramente em 12 de 20, empata em 6 e fica atrás em 2" — o que ainda é um resultado forte, e mais útil.

Os grandes ganhos são onde reside o verdadeiro argumento. DeepSWE em 65,5 vs 42,5 é uma diferença de 23 pontos. Terminal-Bench 4.0 em 23,8 vs 6,3 é 17,5. Automation Bench em 54,2 vs 38,3 é 15,9. DeepPlanning em 63,3 vs 49,2 é 14,1. O YC-bench, uma tarefa denominada em dólares, reporta $1.025.437 vs $641.290. Isso não é arredondamento. Eles indicam que a Nanbeige é melhor em execução de longo horizonte e em várias etapas — o tipo de trabalho em que um modelo precisa manter um plano vivo ao longo de dezenas de chamadas de ferramentas. Essa é uma narrativa coerente, e é consistente com o contexto nativo de 512K do modelo e suas configurações recomendadas orientadas a agentes.

As colunas podem não ser do mesmo experimento

Esta é a observação que complica toda a tabela. Três valores da Qwen coincidem exatamente com os números publicados pela própria Qwen: Terminal-Bench 2.1 em 73,0, SWE-Bench Pro em 61,7 e GPQA Diamond em 89,2. A Qwen publica todos os três. As linhas que a Qwen não publica — DeepSWE, SWE-Atlas-QnA, NL2Repo, JobBench, Automation Bench, DeepPlanning, YC-bench, Tau3, EnterpriseOps-Gym, Claw-Eval — são precisamente as linhas em que as margens da Nanbeige são maiores.

Esse padrão é consistente com dois métodos diferentes dentro de uma mesma tabela: números copiados para benchmarks que o concorrente já havia publicado e execuções novas para benchmarks que ele não havia publicado. É uma inferência, não um fato divulgado — o card da Nanbeige diz que todos os modelos foram avaliados com o esforço máximo de raciocínio, usando os mesmos parâmetros de inferência e o mesmo harness, o que argumentaria contra a cópia. Mas a correspondência exata em três números independentes é uma coincidência digna de nota e, se a coluna da Qwen for uma mistura, então "18 de 20" compara execuções da Nanbeige com execuções da Qwen em algumas linhas e execuções da Nanbeige com execuções da Nanbeige em outras.

Há um segundo problema, mais sutil. O próprio modelo da Nanbeige está sendo executado no harness que sua ficha recomenda: chamadas de ferramentas via XML, preserve_thinking=true, temperatura 1.0 para trabalho agêntico. A ficha não diz se o Qwen3.8-27B recebeu suas próprias configurações recomendadas ou se foi colocado nas da Nanbeige. No segundo caso, parte da lacuna de 23 pontos no DeepSWE é uma diferença de configuração, não de capacidade. Essa é a mesma ressalva que se aplica a qualquer comparação entre fornecedores, e não é motivo para descartar o resultado — é motivo para exigir uma nova execução neutra antes de considerá-lo resolvido.

A pontuação independente que apenas um modelo possui

A Artificial Analysis atribui ao Qwen3.8-27B a pontuação 34 no seu Intelligence Index, medida na configuração de raciocínio xhigh, com 45,2 tokens de saída por segundo. A latência varia por provedor: nossa própria página relata um tempo até o primeiro token p50 de 2,95 segundos, contra os 3,8 segundos que a Artificial Analysis mediu no endpoint que amostrou. Esse índice é um composto de dez avaliações, incluindo Terminal-Bench 4.0, SciCode, AA-LCR, GDPval-AA e AutomationBench-AA — várias das mesmas famílias de benchmarks que a Nanbeige reporta por conta própria.

O Nanbeige4.3-33B não tem entrada no Artificial Analysis. Isso não é um escândalo; o modelo tem dois dias de vida. Mas significa que os dois lados desta comparação não são epistemologicamente equivalentes. O 34 do Qwen é um número que outra pessoa mediu. O 80,9 do Nanbeige no Terminal-Bench 2.1 é um número que a própria Nanbeige mediu. Se ambos estiverem corretos, é provável que o Nanbeige fique bem acima de 34 no mesmo índice composto — seu 23,8 no Terminal-Bench 4.0 e seu 52,6 no SciCode são linhas fortes. O ponto é que o "provavelmente" está fazendo o trabalho, e continuará fazendo até que um avaliador independente execute o modelo.

Esta é também a razão prática para tratar a alegação de 18 em 20 como um argumento inicial. A alegação é falsificável de uma forma específica e barata: submeter o Nanbeige4.3-33B a um avaliador independente e comparar o resultado composto. Até que isso aconteça, a afirmação honesta mais forte é que a Nanbeige alega liderança em trabalho agêntico de longo horizonte e fica ligeiramente atrás na qualidade dos resultados profissionais, e que apenas um desses dois modelos foi verificado por outra pessoa que não o seu criador.

Custo por tarefa, não por token

O Qwen3.8-27B é o único destes dois que você pode usar hoje. Na OrcaRouter, ele custa US$ 0,33 por milhão de tokens de entrada e US$ 2,40 por milhão de saída — abaixo dos US$ 0,50 e US$ 3,00 que a Artificial Analysis lista para o endpoint próprio da Alibaba. Este é servido na nossa própria infraestrutura, em vez de revendido pelo preço de tabela do provedor, e é por isso que fica abaixo do preço do endpoint próprio; nos modelos que repassamos, a regra de 0% de markup significa que você paga o preço de tabela do provedor. De qualquer forma, os preços por token variam o suficiente conforme a rota, de modo que o endpoint próprio não é automaticamente o mais barato. O modelo também aceita imagens e vídeo junto com texto e tem uma janela de 262.144 tokens.

No entanto, o preço por token é a unidade errada para essa comparação. Avaliadores relatam que o Qwen3.8-27B consome tokens de forma incomum — cerca de três vezes mais tokens que o Qwen3.6-27B em tarefas comparáveis — e a Artificial Analysis estima cerca de US$ 1,01 por tarefa do Intelligence Index na configuração xhigh. Um modelo que vence no preço por token e perde em tokens por tarefa ainda pode ser a escolha mais cara. O Nanbeige4.3-33B não tem preço por token algum: os pesos são gratuitos, nenhum provedor de inferência o implanta, e executá-lo significa uma implantação em paralelismo de tensores com quatro GPUs mantida aberta haja tráfego ou não.

É aí que uma camada de roteamento se justifica. O Qwen3.8-27B está acessível com nossa chave hoje; o Nanbeige não está, e não vamos fingir que está. O que você pode fazer é manter o Qwen como caminho de produção e rotear uma fração do tráfego real para um endpoint Nanbeige auto-hospedado, para medir a conclusão de tarefas e os tokens consumidos, em vez de confiar em uma tabela. O failover automático importa aqui: um endpoint de experimento que cai no meio da execução deve passar para o modelo atual, não derrubar o agente junto. A decisão então se baseia no seu próprio custo por tarefa concluída, que é o único número que combina honestamente o comportamento de tokens dos dois modelos.

O que falsificaria isto?

Três resultados resolveriam a questão, e nenhum deles exige um novo modelo.

• Um registro do Artificial Analysis para o Nanbeige4.3-33B. Se ficar próximo ou acima de 34, a direção da tabela do fornecedor é confirmada e a magnitude se torna discutível. Se ficar bem abaixo, a alegação de 18 de 20 precisa de uma explicação muito melhor do que a escolha de harness.

• Uma reexecução neutra do DeepSWE e do Terminal-Bench 4.0 com ambos os modelos em suas próprias configurações recomendadas. Esse é o experimento específico que a tabela atual não realiza, e ele tem como alvo as linhas que concentram a maior parte da margem da Nanbeige.

• Um número publicado de tokens por tarefa concluída para ambos. Preços por token não permitem comparar um modelo denso de 33B que você hospeda com um modelo de 27B que consome muitos tokens e que você aluga. O custo por trabalho concluído permite.

O veredito que defenderíamos

O Nanbeige4.3-33B provavelmente é o modelo de agente de horizonte longo mais forte dos dois. As margens no DeepSWE, Terminal-Bench 4.0, Automation Bench e DeepPlanning são grandes demais e consistentes demais em direção para serem inteiramente artefato do harness, e o contexto nativo de 512K se encaixa nessa história. O Qwen3.8-27B provavelmente é o modelo mais forte para qualidade de entregáveis profissionais, onde vence as duas linhas que a medem, e é inequivocamente o mais utilizável: pontuação independente, API hospedada, entrada multimodal e um preço que você pode colocar numa planilha hoje.

“18 de 20” é um resultado real apresentado como se fosse maior. A versão precisa é que um modelo com dois dias de existência, de um laboratório que ninguém avaliou de forma independente, afirma ter uma liderança clara em execução agêntica, um empate em raciocínio geral e um pequeno déficit em produção profissional — contra um oponente que está disponível há dez semanas e foi medido por alguém que não é seu criador. Essa é uma afirmação genuinamente interessante. Ainda não é motivo para trocar.