Bonsai 2 vs Bonsai 27B: Um Deles Você Pode Baixar, o Outro Não

A diferença mais concreta entre Bonsai 2 e Bonsai 27B não tem nada a ver com benchmarks. Em 17 de outubro de 2026, uma entrada da biblioteca do Ollama foi publicada cobrindo toda a família Bonsai 2 — Ternary Bonsai 2 2B, Ternary Bonsai 2 4B, Ternary Bonsai 2 9B e Bonsai 2 27B — e não há entrada equivalente para a primeira geração. Procure por bonsai-27b, ternary-bonsai-27b ou qualquer nome de variante nesse registro e você recebe um 404. Bonsai 27B, lançado pela Prism ML em 14 de julho de 2026, precisa ser baixado dos repositórios Hugging Face do fornecedor e executado com o fork llama.cpp da Prism ML. O Bonsai 2 tem uma instalação de uma linha.

Essa assimetria é toda a forma prática da escolha, e é fácil de passar despercebida porque os dois nomes parecem uma única linha de produto com um incremento de versão. Eles são duas gerações, dois modelos básicos, dois conjuntos diferentes de embalagens e — a partir desta semana — dois mecanismos de entrega diferentes. O que segue é o que de fato mudou entre eles, onde o mais antigo ainda leva vantagem e a única configuração em que a resposta não é nenhum dos dois.

O que cada um é

Ambos são compressões ternárias de um modelo Qwen de atenção híbrida. Nenhum deles é um modelo recém-treinado — a arquitetura, os pesos e o treinamento com reconhecimento de quantização vêm da base Qwen, e o que a Prism ML contribui é a representação ternária e os kernels que a consomem.

• Geração — Bonsai 2 (setembro de 2026, prolongado em outubro de 2026) vs Bonsai 27B (14 de julho de 2026)

• Modelo base no tamanho 27B — Qwen3.8-27B vs Qwen3.6-27B

• Modelos base de toda a família — Qwen3.5-2B, -4B, -9B e Qwen3.8-27B sob o Bonsai 2; um único Qwen3.6-27B sob a primeira geração

• Tamanhos oferecidos — quatro (2B, 4B, 9B, 27B) vs um (27B)

• Dois pontos de operação em 27B — não, um: o Bonsai 2 27B é lançado apenas em ternário, enquanto o Bonsai 27B era lançado tanto em uma versão ternária quanto em uma binária

• Menor ocupação da classe 27B — 5,95 GB PTQ1_0 no Bonsai 2 vs 3,9 GB na build de 1 bit da primeira geração

• Contexto — 262,144 tokens herdados do backbone Qwen em ambos

• Licença — Apache 2.0 em ambos

• Entrega — tags do Ollama e Hugging Face para o Bonsai 2; Hugging Face mais o fork llama.cpp da Prism ML para o Bonsai 27B

A linha que decide mais implantações do que todas as outras é a quinta. O Bonsai 27B foi disponibilizado de duas formas de usar memória: uma build ternária de aproximadamente 7,2 GB e uma build binária de 3,9 GB. O Bonsai 2 27B traz apenas uma — uma build ternária de 5,95 GB no empacotamento dense-trit ou 7,21 GB no empacotamento 2-bit-slot — e não há companheiro binário nesta geração. Se você estava rodando a build de 3,9 GB da primeira geração e esperando um sucessor equivalente, não existe um no 27B.

O que a geração realmente comprou

Os próprios números da Prism ML, no próprio sistema de avaliação da Prism ML, sem qualquer reprodução independente disponível: o Bonsai 27B ternário de primeira geração reportou uma média de 80,49 no modo de pensamento, em comparação com 85,07 de sua referência Qwen3.6-27B FP16 — 94,6% de retenção em 15 benchmarks. O Bonsai 2 27B reporta 84,78 em comparação com 86,32 do Qwen3.8-27B FP16 — 98,2% em 14 benchmarks. Em termos absolutos, o modelo comprimido ganhou cerca de 4,3 pontos na escala do fornecedor.

Duas ressalvas devem ser feitas no mesmo fôlego, porque a manchete convida a uma leitura mais limpa do que os dados sustentam. Primeiro, os conjuntos de benchmarks não são o mesmo conjunto — 15 para um, 14 para o outro — e a linha de base mudou de Qwen3.6-27B para Qwen3.8-27B, que já era um modelo mais forte. O próprio cartão de modelo 27B do fornecedor torna o segundo ponto explícito ao recalcular a versão anterior no novo conjunto de 14 benchmarks para uma linha de comparação equivalente: nessa base comum, a versão anterior pontua 80,98 e o Bonsai 2 27B pontua 84,78. Portanto, a leitura honesta da mudança é de aproximadamente 3,8 pontos em relação ao mesmo conjunto de benchmarks, com parte disso vindo do modelo base e parte do treinamento ternário. A porcentagem de retenção subiu de 94,6% para 98,2% em parte porque o denominador mudou.

Segundo, a forma da perda é mais informativa do que o agregado. Na mesma suite de 14 benchmarks, o Bonsai 2 27B cede quase nada onde o raciocínio sustentado se manifesta: matemática 96,57 contra 97,06, programação 89,42 contra 89,07 — em linha, marginalmente à frente — e seguimento de instruções 82,66 contra 81,25, à frente. Conhecimento e raciocínio cai de 85,55 para 79,86, e visão de 71,36 para 66,19. Esse é o perfil que se esperaria de uma representação de 1,72 bits por peso: o núcleo de raciocínio sobrevive, a recordação factual e a compreensão de imagens é que sofrem. Se a sua carga de trabalho é código e matemática, a compressão é quase gratuita. Se for respostas a perguntas no formato de recuperação sobre um corpus, não é.

O espaço de 3,9 GB é onde isto fica interessante.

Aqui está a parte que o enquadramento das duas gerações esconde. O artefato mais distintivo da primeira geração era o build binário: um modelo 27B em 3,9 GB, retendo 89,5% de FP16, segundo o fornecedor, em uma média de 76,11 em 15 benchmarks. O Bonsai 2 não tem um 27B binário. Mas o Bonsai 2 tem, sim, um 9B com 1,997 GB no empacotamento denso de trits e 2,42 GB no empacotamento de slots de 2 bits — aproximadamente metade da pegada do 27B binário, vindo da geração mais nova e do modelo base mais novo.

O 9B é melhor que o 27B de 1 bit? O fornecedor não reporta um número que responda a isso, e você não deveria construir um. Os dois modelos foram avaliados em suítes diferentes — 19 benchmarks em seis áreas de habilidade para os modelos pequenos Bonsai 2, 15 para o 27B de primeira geração — contra baselines diferentes, e os relatórios de lançamento dos modelos pequenos reportam retenção por categoria em relação aos seus próprios equivalentes Qwen3.5 de precisão total, em vez de uma única média absoluta comparável ao 76,11 do 27B. As comparações que existem são por benchmark e apontam em ambas as direções. Nos números do fornecedor, o 9B pontua 71,81 no BFCLv3 e 73,02 no Tau2Bench, enquanto o 27B binário registrou 74,41 no BFCL v3 — suficientemente próximo para que a diferença entre as suítes o engula.

O que pode ser dito sem exagero é mais restrito e ainda assim útil: a classe de footprint que o binário 27B costumava dominar sozinho agora tem um concorrente mais barato da próxima geração, e os dois estão próximos o bastante para que ninguém deva escolher entre eles com base em uma tabela de fornecedor. Isso é um argumento para medir com seus próprios prompts, não para confiar em um número. É também o único ponto nesta comparação em que a resposta genuinamente não é nenhum dos dois modelos do título.

Executando-os: os números e o senão

Os números de throughput foram medidos pelos fornecedores e não foram obtidos numa máquina comum, por isso leia-os como ordens de magnitude e não como um ranking.

• Bonsai 2 27B em um Apple M5 Max — cerca de 47 tok/s na build pré-rotação anterior, pendente de nova medição na stack atual

• Bonsai 2 27B em um M5 Pro — 28,1 tok/s no empacotamento com slots de 2 bits, a aproximadamente 27,5 W no rail da GPU

• Bonsai 2 27B em uma RTX 5090 — 129,9 tok/s no empacotamento de slots de 2 bits, 120,5 no empacotamento denso de trits

• Bonsai 27B ternário de primeira geração em um M5 Max — 44,0 tok/s; em um H100, 98,0 tok/s, subindo para cerca de 131,8 com seu drafter DSpark

• Bonsai 27B binário de primeira geração em um iPhone 17 Pro Max — cerca de 11 tok/s, limitado termicamente

O problema é o empacotamento, e ele afeta da mesma forma ambas as gerações. Nenhuma das gerações tem seus kernels ternários no llama.cpp upstream. A primeira geração precisa do fork da Prism ML para todos os arquivos. O Bonsai 2 traz três empacotamentos dos mesmos pesos e o llama.cpp upstream executa exatamente um deles — Q2_0, no master recente — enquanto rejeita o menor PTQ1_0 e o mais rápido PQ2_0 como tipos desconhecidos. Portanto, o pacote dense-trit que chega mais perto dos teóricos 1,72 bits por peso é também o que requer uma build forkada.

Vale a pena refletir sobre isso, porque explica a listagem do Ollama. As tags do Ollama para o Bonsai 2 servem Q2_0: a camada de modelo da tag 9B mede 2,557 GB, byte a byte o tamanho do arquivo Q2_0 no Hugging Face, e o menor pacote PTQ1_0 está totalmente ausente do registro. Seja o que for essa listagem, ela não é um caminho para o menor artefato. Conveniência e pegada estão sendo trocadas aqui, e a troca é invisível a menos que você leia os tamanhos dos arquivos.

Chegando a qualquer um dos dois

Se você está no Ollama, a decisão já foi tomada para você: Bonsai 2, quatro tamanhos, ollama pull bonsai-2:27b ou :9b, aproximadamente 8,3 GB e 3,2 GB em disco, incluindo o projetor de visão. Se você precisar do empacotamento dense-trit, dos modelos de rascunho de decodificação especulativa, ou de qualquer coisa da primeira geração, é um download do Hugging Face e uma build de fork, e o repositório de demonstração do fornecedor é a referência testada para esse caminho.

Onde uma camada de roteamento realmente ajuda aqui é do outro lado da questão. Você não pode rotear para nenhum destes — eles são pesos locais, e o OrcaRouter não serve nenhum tamanho do Bonsai hoje. O que o OrcaRouter oferece é a linha de base de comparação: uma API na frente de mais de 200 modelos hospedados com 0% de markup, com o preço de lista do provedor repassado, com failover automático entre provedores. A sequência sensata para a maioria das equipes é estabelecer, em um modelo hospedado, o que uma tarefa realmente precisa, e só então decidir se um modelo local de 2 GB, 3,9 GB ou 6 GB atinge esse patamar — em vez de adivinhar a partir de uma porcentagem de retenção.

Qual deles, concretamente?

• Você quer a geração ternária mais recente em 27B e uma instalação com um único comando — Bonsai 2 27B via Ollama, aceitando o empacotamento Q2_0 e o maior tamanho em disco.

• Você quer os menores artefatos possíveis da classe 27B, ou depende do drafter do DSpark — Bonsai 27B de primeira geração do Hugging Face, com a build do fork. Nada no Bonsai 2 o substitui em 27B.

• Você estava executando o build binário de 3,9 GB e precisa que essa pegada se mantenha — não presuma que o Bonsai 2 tenha um sucessor. Ou fique, ou avalie o Bonsai 2 9B com seus próprios prompts; ele tem metade do tamanho e é uma geração mais recente, e o fornecedor não publicou uma comparação que resolva isso.

• Você precisa de quatro classes de tamanho em um único runtime — Bonsai 2 é a única geração que oferece isso.

Uma coisa a observar que simplificaria tudo isso: uma ptq1_0 tag aparecendo na listagem da Ollama. Isso significaria que os kernels dense-trit chegaram ao motor que a Ollama distribui, o requisito de fork deixa de existir para o menor pacote, e o trade-off entre conveniência e footprint deixa de ser um trade-off.

Nada disso é hipotético: as falhas de IA documentadas e os incidentes com agentes por trás de lançamentos como este estão reunidos no Arquivo de Incidentes de IA da OrcaRouter, onde cada entrada traz as suas próprias fontes, gravidade, grau de confiança e sinalização de contestação.