Nemotron 3.5 Bolt 24GB vs Qwen3.8-27B: Ambos cabem em 24GB — Apenas um diz quanto custou

Circula uma história interessante sobre esses dois modelos: N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB cabe em 24 gigabytes e Qwen3.8-27B não. A primeira metade é verdadeira e a segunda está desatualizada. A​libaba publicou o Qwen3.8-27B em agosto de 2026 como um modelo denso de visão-linguagem de 27 bilhões de parâmetros cujos pesos de 16 bits chegam a aproximadamente 56GB, e em poucos dias a comunidade produziu builds de quatro bits dele com 16,46GB. Ambos os modelos cabem em 24GB hoje. A diferença que vale a pena discutir é que a N​VIDIA projetou a compressão, publicou quanto custou e a lançou como o produto — enquanto o lado Q​wen dessa comparação é uma build que outra pessoa fez, com uma conta que ninguém totalizou.

O que cada modelo realmente é

Bolt é um híbrido de mistura de especialistas: 74 bilhões de parâmetros no total, 9 bilhões ativos por token, camadas de espaço de estados Mamba-2 intercaladas com especialistas e atenção, além de um codificador de visão C-RADIO v4-H. Ele existe em sua forma de 24GB porque a NVIDIA executou uma busca de arquitetura guiada por roteador contra um orçamento de footprint e então quantizou os especialistas para 2,0625 bits por elemento, reparando os danos com destilação ciente de quantização.

O Qwen3.8-27B é denso. Todos os 27 bilhões de parâmetros são lidos para cada token, e a seção de arquitetura do cartão do modelo descreve uma pilha de 64 camadas organizada como dezesseis repetições de três blocos de atenção linear com portão seguidas por um bloco de atenção completa com portão, com previsão de múltiplos tokens treinada em várias etapas e um contexto nativo de 262.144 tokens, extensível a um milhão. Ele entende nativamente imagens e vídeo, e expõe controle de pensamento por solicitação por meio de uma configuração de esforço de raciocínio e um sinalizador que preserva o contexto de raciocínio entre turnos.

Filosofias de produção diferentes, e ambos são disponibilizados como pesos abertos sob licenças suficientemente permissivas — OpenMDW-1.1 para o Bolt, Apache 2.0 para o Qwen3.8-27B.

Duas compressões, uma das quais documentada

Esta é a parte da comparação que decide as coisas.

O checkpoint de 24 GB da N​VIDIA é comprimido pela N​VIDIA, e o custo é publicado. A versão BF16 do mesmo modelo traz uma tabela com ambas as colunas lado a lado, então o preço dos especialistas de 2 bits fica visível linha por linha:

• GPQA Diamond — 86,43 em 2 bits contra 88,83 em 16 bits, uma perda de 2,40 pontos.

• Terminal-Bench 2.1 — 50,98 contra 53,93, uma perda de 2,95.

• BrowseComp — 66,75 contra 70,00, uma perda de 3,25.

• Raciocínio de contexto longo AA-LCR — 64,06 contra 67,38, uma perda de 3,32.

• HLE sem ferramentas — 25,30 contra 28,73, uma perda de 3,43.

• Precisão do AA-Omniscience — 16,90 contra 21,80, uma perda de 4,90.

E duas linhas que vão no sentido oposto: em não alucinação do AA-Omniscience, o modelo comprimido pontua 61,27 contra 56,14 da precisão completa, e no WebArena vision o par está empatado dentro de um ponto. Esses são números de fornecedor, não reproduzidos, e ainda assim são o relato mais completo que qualquer laboratório publicou sobre o que uma compressão de 24 GB fez ao seu próprio modelo.

Agora o lado do Qwen. Existe uma versão de quatro bits do Qwen3.8-27B com 16,46 GB, publicada por terceiros, e não traz nenhuma medição de precisão. Não uma medição fraca — nenhuma. O mesmo vale para as versões de 9,83 GB e 7,27 GB que ficam abaixo dela, e para a versão de 21,98 GB acima. Seja o que for que um modelo denso de visão e linguagem de 27B perca quando seus pesos são comprimidos para quatro bits, ninguém publicou um número para isso, o que significa que a aritmética de memória que faz com que caiba é a parte fácil, e a questão da capacidade está totalmente em aberto.

Essa assimetria é a versão honesta deste confronto. O Bolt diz o preço para você. O Qwen3.8-27B faz você pagar um que você mesmo precisa estimar.

O painel independente, e o que ele cobre e não cobre

A Artificial Analysis avalia o Qwen3.8-27B no nível do modelo completo, na sua configuração máxima de raciocínio: um Índice de Inteligência de 34, o primeiro entre 141 modelos do painel; cerca de 41 tokens de saída por segundo, o que o coloca na 51ª posição entre 63; e um custo de $0,50 por milhão de tokens de entrada e $3,00 por milhão de saída no conjunto de provedores que acompanha, que ela considera particularmente caro para um modelo de pesos abertos desse tamanho. Ela também observa que o modelo é muito verboso, com 200 milhões de tokens gerados durante a execução do índice.

O mesmo painel atribui ao Bolt, no Intelligence Index, uma pontuação de 21, quarto de 67 modelos em sua classe, com velocidade e custo ambos indisponíveis porque não há uma API pública que o sirva. Treze pontos é uma diferença ampla e é medida da mesma forma para ambos, o que a torna a afirmação isolada mais confiável deste artigo. Ela também vem com uma ressalva que importa mais do que parece: o próprio resumo comparativo do painel chama o Qwen3.8-27B de notavelmente lento e muito verboso, então o modelo que vence em inteligência é aquele pelo qual você espera mais tempo.

Em relação à modalidade, as duas páginas divergem de uma forma que vale a pena notar, já que um painel de especificações não é a mesma coisa que uma página de produto. O cartão do fornecedor da Qwen descreve compreensão nativa de imagem e vídeo; o painel de análise lista entrada de texto, imagem e vídeo para o Qwen3.8-27B em algumas visualizações e texto-e-imagem para o Bolt. Ambos os modelos enxergam. Nenhum enxerga de forma idêntica, e a diferença na maneira como terceiros descrevem os dois é um lembrete para verificar uma afirmação sobre modalidade na ficha do modelo, em vez de em uma linha de resumo.

A tabela de fornecedores do lado do Qwen

O model card da A​libaba é longo, e são as suas linhas agênticas que tornam este modelo interessante quando comparado ao Bolt. Terminal Bench 2.1 em 73,0, SWE-bench Pro em 61,7, GPQA Diamond em 89,2, HLE em 30,8, LiveCodeBench v6 em 90,3, OSWorld-Verified em 84,3 e AndroidWorld em 81,9 — todos avaliados pela A​libaba, na maioria dos casos dentro do harness do C​laude Code, com um contexto de 256.000 tokens.

Esses números não são comparáveis à tabela do Bolt. Harnesses diferentes, datas de avaliação diferentes, seleções de baseline diferentes e, no caso do Bolt, um grupo de baseline escolhido em parte por caber em 24 GB em quatro bits. A única afirmação honesta é que as pontuações de agente publicadas do Qwen3.8-27B são mais altas que as pontuações de agente publicadas do Bolt, que ambos os conjuntos de números vêm dos laboratórios que criaram os modelos e que nenhum dos laboratórios executou a suíte de benchmarks do outro.

Um número do Qwen merece ser destacado por um motivo diferente. A própria ficha dele admite GPQA Diamond em 89,2, enquanto a ficha do Bolt alega 86,43 — próximos o bastante para que uma diferença de harness possa fazer qualquer um dos dois ultrapassar o outro. Essa é a escala na qual tabelas de fornecedores resolvem discussões. Não é uma escala na qual você deveria resolver uma.

Alugar um, e a latência que você herda

O Bolt não tem endpoint. Não há taxa a citar, nenhum provedor a servi-lo, e nenhuma forma de avaliá-lo no seu próprio tráfego sem completar a receita de implantação da NVIDIA — o contêiner nightly fixado do vLLM, o pacote de kernel buscado em tempo de execução, o plugin de parser de raciocínio, os backends b12x, o cache KV fp8 e uma concorrência servida de uma sequência.

O Qwen3.8-27B pode ser baixado e chamado, e essa combinação é a razão pela qual esta comparação tem sequer uma resposta prática. Servimos qwen/qwen3.8-27b na nossa própria infraestrutura a $0,33 por milhão de tokens de entrada e $2,40 por milhão de saída. A entrada no catálogo indica um contexto de 262.144 tokens com entrada de texto, imagem e vídeo, e publicar a essa tarifa é possível do nosso lado porque o OrcaRouter repassa o preço de tabela do fornecedor sem margem adicionada — se um fornecedor reduzir um preço, a alteração fica ativa aqui no mesmo dia, em vez de no próximo ciclo de faturação.

A latência, no entanto, merece ser citada com honestidade, e não de forma lisonjeira. Nos sete dias terminados em 16 de outubro de 2026, nosso próprio endpoint para este modelo registrou um tempo p50 até o primeiro token de 10,00 segundos e um p95 de 10,00 segundos, uma velocidade de saída de 515 tokens por segundo e uma taxa de erro de 2,1%. A série diária explica o agregado: 1,42 segundo em 10 de outubro, 1,65 no dia 11, 2,83 no dia 12, depois 10,00 no dia 13 e no dia 15, 1,91 no dia 14. Dois dos seis dias atingiram o teto da nossa janela de medição e três não.

Esse não é um número agradável, e é o número. É também o motivo concreto pelo qual failover automático existe como recurso de roteamento em vez de slogan: uma espera pelo primeiro token que é aceitável na segunda-feira e de dez segundos na quarta-feira é exatamente o modo de falha para o qual uma cadeia de fallback serve, e a DSL de roteamento existe para que "tente este modelo, recorra àquele se ele degradar" seja configuração em vez de código de aplicação. Um modelo que você possui — Bolt, ou uma build local do Qwen — não tem esse problema nem essa opção. Ele é tão rápido quanto a sua GPU, todos os dias, sem terceiros no caminho e sem um segundo modelo a que recorrer quando ele trava.

Como isso realmente se resolve

Não há vencedor a entregar, porque os dois modelos não estão competindo pela mesma vaga.

Se a sua restrição é uma máquina sem rede, ou um trabalho que não pode sair do dispositivo, o Bolt é a resposta e o custo de compressão publicado é o preço de entrada. Nada no Qwen3.8-27B muda isso, porque você não consegue chegar por download a uma implantação de 24 GB que a NVIDIA ainda não construiu e documentou — você pode aproximá-la com uma versão de quatro bits cuja qualidade não foi medida e cujo projetor de visão você teria de obter separadamente.

Se a sua restrição é capacidade por dólar e a rede estiver disponível, o Qwen3.8-27B está à frente por treze pontos no único índice que mediu ambos, a uma taxa publicada, sob uma licença que sua equipe jurídica já viu antes. A build local de quatro bits é um terceiro caminho razoável, e é aquele em que você deve esperar fazer sua própria avaliação em vez de herdar a tabela de outra pessoa.

A parte que ambos os modelos deixam para você é a mesma: nenhum tem um benchmark independente em relação ao outro, nenhum laboratório mediu o modelo do outro, e as opiniões do primeiro dia que circulam sobre eles são leituras de fichas de fornecedor. Baixe os dois, execute suas próprias tarefas e fique com o que terminar. Esse é o único resultado nesta comparação que não terá sido publicado por um dos dois laboratórios que os criaram.

O que os números não podem dizer é se algo deu errado em campo: os incidentes de IA documentados e as falhas de agentes envolvendo modelos dessa classe estão reunidos em o OrcaRouter AI Incident Archive, onde cada entrada traz suas próprias fontes, gravidade, grau de confiança e sinalização de contestação.