Bonsai 2 vs Bonsai 27B: a uno puedes descargarlo, al otro no

La diferencia más concreta entre Bonsai 2 y Bonsai 27B no tiene nada que ver con las pruebas comparativas. El 17 de octubre de 2026 se publicó una entrada en la biblioteca de Ollama que abarcaba toda la familia Bonsai 2 — Ternary Bonsai 2 2B, Ternary Bonsai 2 4B, Ternary Bonsai 2 9B y Bonsai 2 27B — y no hay ninguna entrada equivalente para la primera generación. Busca bonsai-27b, ternary-bonsai-27b o cualquier nombre de variante en ese registro y obtienes un 404. Bonsai 27B, publicado por Prism ML el 14 de julio de 2026, tiene que descargarse de los repositorios de Hugging Face del proveedor y ejecutarse con el fork de llama.cpp de Prism ML. Bonsai 2 tiene una instalación en una sola línea.

Esa asimetría es toda la forma práctica de la elección, y es fácil pasarla por alto porque los dos nombres parecen una sola línea de productos con un salto de versión. Son dos generaciones, dos modelos base, dos conjuntos distintos de empaques y —a partir de esta semana— dos mecanismos de entrega diferentes. Lo que sigue es lo que realmente cambió entre ellos, dónde el más antiguo todavía gana y la única configuración en la que la respuesta no es ninguna de las dos.

Lo que es cada uno

Ambos son compresiones ternarias de un modelo Qwen de atención híbrida. Ninguno es un modelo recién entrenado: la arquitectura, los pesos y el entrenamiento consciente de la cuantización provienen de la base de Qwen, y lo que aporta Prism ML es la representación ternaria y los kernels que la consumen.

• Generación — Bonsai 2 (septiembre de 2026, ampliado en octubre de 2026) vs. Bonsai 27B (14 de julio de 2026)

• Modelo base en el tamaño 27B — Qwen3.8-27B vs Qwen3.6-27B

• Modelos base en toda la familia — Qwen3.5-2B, -4B, -9B y Qwen3.8-27B bajo Bonsai 2; un solo Qwen3.6-27B en la primera generación

• Tamaños ofrecidos — cuatro (2B, 4B, 9B, 27B) vs uno (27B)

• Dos puntos de operación en 27B — no, uno: Bonsai 2 27B solo se distribuye en ternario, mientras que Bonsai 27B se distribuía tanto en una compilación ternaria como en una binaria

• La huella más pequeña de la clase 27B — 5.95 GB PTQ1_0 en Bonsai 2 frente a 3.9 GB en la compilación de 1 bit de la primera generación

• Contexto — 262.144 tokens heredados del backbone de Qwen en ambos

• Licencia — Apache 2.0 en ambos

Entrega — etiquetas de Ollama y Hugging Face para Bonsai 2; Hugging Face más el fork de llama.cpp de Prism ML para Bonsai 27B

La fila que decide más despliegues que todas las demás es la quinta. Bonsai 27B llegó con dos formas de gastar memoria: una variante ternaria de aproximadamente 7,2 GB y una variante binaria de 3,9 GB. Bonsai 2 27B incluye una —una variante ternaria de 5,95 GB en el empaquetado de trits densos o 7,21 GB en el empaquetado de ranuras de 2 bits— y no hay una contraparte binaria en esta generación. Si estabas ejecutando la variante de 3,9 GB de la primera generación y esperabas un sucesor equivalente, no lo hay en 27B.

Lo que la generación realmente compró

Las cifras propias de Prism ML, en el propio entorno de pruebas de Prism ML, sin que haya una reproducción independiente disponible: el Bonsai 27B ternario de primera generación reportó un promedio en modo de pensamiento de 80,49 frente a 85,07 de su referencia Qwen3.6-27B FP16 — 94,6 % retenido en 15 benchmarks. Bonsai 2 27B reporta 84,78 frente a 86,32 de Qwen3.8-27B FP16 — 98,2 % en 14 benchmarks. En términos absolutos, el modelo comprimido ganó alrededor de 4,3 puntos en la escala del proveedor.

Dos salvedades deben mencionarse en la misma frase, porque el titular invita a una lectura más limpia de la que los datos respaldan. Primero, los conjuntos de benchmarks no son el mismo —15 para uno, 14 para el otro—, y la línea base pasó de Qwen3.6-27B a Qwen3.8-27B, que de por sí era un modelo más fuerte. La propia ficha del modelo 27B del proveedor explicita el segundo punto al recalcular la versión anterior sobre el nuevo conjunto de 14 benchmarks para una fila comparable: sobre esa base común, la versión anterior obtiene 80.98 y Bonsai 2 27B obtiene 84.78. Así que la lectura honesta del cambio es de aproximadamente 3.8 puntos frente al mismo conjunto de benchmarks, y parte de eso proviene del modelo base y parte del entrenamiento ternario. El porcentaje de retención subió del 94.6% al 98.2% en parte porque el denominador cambió.

En segundo lugar, la forma de la pérdida es más informativa que el agregado. En la misma batería de 14 benchmarks, Bonsai 2 27B casi no cede nada donde se manifiesta el razonamiento sostenido: matemáticas 96,57 frente a 97,06, programación 89,42 frente a 89,07 —a la par, ligeramente por delante— y seguimiento de instrucciones 82,66 frente a 81,25, por delante. Conocimiento y razonamiento baja de 85,55 a 79,86, y visión de 71,36 a 66,19. Ese es el perfil que cabría esperar de una representación de 1,72 bits por peso: el núcleo de razonamiento sobrevive; el recuerdo de hechos y la comprensión de imágenes se llevan la peor parte. Si tu carga de trabajo es código y matemáticas, la compresión es casi gratuita. Si se trata de respuesta a preguntas con forma de recuperación sobre un corpus, no lo es.

La ranura de 3,9 GB es donde esto se pone interesante.

Esta es la parte que esconde el encuadre de dos generaciones. El artefacto más distintivo de la primera generación fue el build binario: un modelo 27B en 3,9 GB, que conservaba, según lo reportado por el proveedor, el 89,5 % del FP16 en un promedio de 76,11 en 15 benchmarks. Bonsai 2 no tiene un 27B binario. Pero Bonsai 2 sí tiene un 9B de 1,997 GB en el empaquetado de trits densos y de 2,42 GB en el empaquetado de ranuras de 2 bits —aproximadamente la mitad de la huella del 27B binario, de la generación más reciente y del modelo base más reciente.

¿Es el 9B mejor que el 27B de 1 bit? El proveedor no reporta una cifra que responda a eso, y no deberías construir una. Los dos modelos se evaluaron en conjuntos de pruebas diferentes —19 benchmarks en seis áreas de habilidad para los modelos pequeños Bonsai 2, 15 para el 27B de primera generación— frente a líneas base diferentes, y los informes de lanzamiento de los modelos pequeños reportan retención por categoría frente a sus propios equivalentes Qwen3.5 de precisión completa, en lugar de un único promedio absoluto comparable con el 76.11 del 27B. Las comparaciones que sí existen son por benchmark y apuntan en ambas direcciones. Según las cifras del proveedor, el 9B obtiene 71.81 en BFCLv3 y 73.02 en Tau2Bench, mientras que el 27B binario registró 74.41 en BFCL v3 —lo bastante cerca como para que la diferencia entre conjuntos de pruebas se lo trague.

Lo que puede decirse sin exagerar es más acotado y aun así útil: la categoría de huella que el binary 27B solía tener en exclusiva ahora tiene un entrante más barato de la siguiente generación, y los dos están lo bastante cerca como para que nadie deba elegir entre ellos a partir de la tabla de un proveedor. Eso es un argumento para medir con tus propios prompts, no para confiar en un número. También es el único punto de esta comparación en el que la respuesta no pertenece, genuinamente, a ninguno de los dos modelos del título.

Ejecutarlos: los números y el truco

Las cifras de rendimiento las mide cada proveedor y no se obtuvieron en una misma máquina, así que léelas como órdenes de magnitud y no como una clasificación.

• Bonsai 2 27B en un Apple M5 Max — alrededor de 47 tok/s en la build anterior previa a la rotación, pendiente de volver a medirse en el stack actual

• Bonsai 2 27B en un M5 Pro — 28,1 tok/s en el empaquetado de ranuras de 2 bits, a aproximadamente 27,5 W en el raíl de la GPU

• Bonsai 2 27B en una RTX 5090 — 129,9 tok/s en el empaquetado de ranuras de 2 bits, 120,5 en el empaquetado denso de trits

• Bonsai 27B ternario de primera generación en un M5 Max: 44,0 tok/s; en un H100, 98,0 tok/s, y asciende a aproximadamente 131,8 con su modelo de borrador DSpark

• Bonsai 27B binario de primera generación en un iPhone 17 Pro Max — alrededor de 11 tok/s, limitado térmicamente

El truco está en el empaquetado, y aplica por igual a ambas generaciones. Los kernels ternarios de ninguna de las dos generaciones están en el upstream de llama.cpp. La primera generación necesita el fork de Prism ML para cada archivo. Bonsai 2 incluye tres empaquetados de los mismos pesos y el upstream de llama.cpp ejecuta exactamente uno de ellos —Q2_0, en el master reciente— mientras rechaza el PTQ1_0 más pequeño y el PQ2_0 más rápido como tipos desconocidos. Así que el pack de trits densos que más se acerca al teórico de 1,72 bits por peso es también el que requiere una compilación con fork.

Vale la pena detenerse en eso, porque explica el listado de Ollama. Las etiquetas de Ollama para Bonsai 2 sirven Q2_0: la capa de modelo de la etiqueta 9B mide 2,557 GB, byte por byte el tamaño del archivo Q2_0 en Hugging Face, y el paquete PTQ1_0 más pequeño está ausente por completo del registro. Sea lo que sea ese listado, no es una ruta hacia el artefacto más pequeño. Aquí se están intercambiando conveniencia y huella, y el intercambio es invisible a menos que leas los tamaños de los archivos.

Llegar a cualquiera de los dos

Si usas Ollama, la decisión ya está tomada por ti: Bonsai 2, cuatro tamaños, ollama pull bonsai-2:27b o :9b, aproximadamente 8,3 GB y 3,2 GB en disco, incluido el proyector de visión. Si necesitas el empaquetado dense-trit, los modelos de borrador para decodificación especulativa o cualquier cosa de la primera generación, se trata de una descarga de Hugging Face y una compilación de un fork, y el repositorio de demostración del proveedor es la referencia probada para esa vía.

Donde una capa de enrutamiento realmente ayuda aquí es en el otro lado de la cuestión. No puedes enrutar a ninguno de estos dos: son pesos locales, y OrcaRouter no sirve ningún tamaño de Bonsai hoy en día. Lo que OrcaRouter te ofrece es la base de comparación: una API frente a más de 200 modelos alojados con un 0 % de margen, con el precio de lista del proveedor traspasado y con conmutación por error automática entre proveedores. La secuencia sensata para la mayoría de los equipos es establecer en un modelo alojado lo que una tarea realmente necesita, y luego decidir si un modelo local de 2 GB, 3.9 GB o 6 GB supera ese umbral, en lugar de adivinarlo a partir de un porcentaje de retención.

¿Cuál, concretamente?

• Quieres la generación ternaria más reciente en 27B y una instalación con un solo comando — Bonsai 2 27B a través de Ollama, aceptando el empaquetado Q2_0 y el mayor tamaño en disco.

• Quieres los artefactos de clase 27B más pequeños posibles, o dependes del DSpark drafter — Bonsai 27B de primera generación de Hugging Face, con la compilación fork. Nada en Bonsai 2 lo reemplaza en 27B.

• Estabas ejecutando la compilación binaria de 3,9 GB y necesitas que esa huella se mantenga — no asumas que Bonsai 2 tiene un sucesor. O te quedas, o evalúas Bonsai 2 9B con tus propios prompts; es la mitad de tamaño y una generación más nueva, y el proveedor no ha publicado una comparación que lo resuelva.

• Necesitas cuatro clases de tamaño de un solo entorno de ejecución — Bonsai 2 es la única generación que ofrece eso.

Una cosa a la que hay que prestar atención, que simplificaría todo esto: una etiqueta ptq1_0 que aparezca en el listado de Ollama. Eso significaría que los kernels de trit densos llegaron al motor que distribuye Ollama, el requisito de fork desaparece para el paquete más pequeño, y el compromiso entre conveniencia y huella deja de ser un compromiso.

Nada de eso es hipotético: los fallos documentados de IA y los incidentes de agentes detrás de lanzamientos como este se recopilan en el OrcaRouter AI Incident Archive, donde cada entrada incluye sus propias fuentes, severidad, grado de confianza e indicador de disputa.