Bonsai 27B: объяснение модели 27B из семейства Bonsai

Bonsai 27B — это модель на 27 млрд параметров из семейства Bonsai от PrismML, и именно её имеют в виду, когда вводят «bonsai 27b», — но одно это название не приведёт вас к ней, потому что на нечто близкое к нему откликаются три разные вещи. Bonsai 27B — это низкобитная пересборка Qwen3.6-27B, датированная 14 июля 2026 года согласно собственному анонсу вендора, и она поставляется в виде двух пакетов одной и той же модели: 1-bit Bonsai 27B, которая хранит бинарные веса {−1, +1} примерно в 3,9 ГБ, и Ternary Bonsai 27B, которая хранит тернарные веса {−1, 0, +1} при 1,71 эффективного бита на вес — 5,9 ГБ в заявленной вендором цифре, 7,165 ГБ в том виде, в каком пакет фактически поставляется. Это не Ternary Bonsai 2 27B — отдельно названное второе поколение, построенное на Qwen3.8-27B, — и не визуально-языковая модель на 2 млрд параметров, которую PrismML создала для умных очков Snapdragon AR1 Gen 1. Оба пакета Bonsai 27B имеют контекст в 262 000 токенов, компактную 4-битную визуальную башню и лицензию Apache 2.0. Модель — это Bonsai 27B; следующее решение — какой из двух её пакетов укладывается в ваш бюджет памяти.

Эта страница — справочный материал по той модели. Это не анонс: Bonsai 27B доступна с июля 2026 года, и вопросы о ней, на которые сейчас стоит ответить, — это те, с которыми приходит читатель: что именно это такое, что отличает это название и во что на самом деле обходится её запуск.

Который из них — 27B?

Здесь действительно легко перепутать, и это стоит разрешить прежде всего остального, потому что неверная догадка отправит вас к модели с 2 миллиардами параметров или не к тому поколению нужной модели.

• Bonsai — это название семейства и то, как называет его сам производитель. Само по себе оно не указывает ни на что, что можно скачать. PrismML выпустила Bonsai 1.7B, Bonsai 4B, Bonsai 8B, Bonsai 27B и Bonsai Image, а также модель для очков с 2 миллиардами параметров и более ранний релиз за апрель 2026 года под названием Ternary Bonsai для младшей линейки. Поиск по одному лишь этому слову наугад приводит к одному из них.

• Bonsai 27B — предмет этой страницы. Первое поколение линейки 27B, производное от Qwen3.6-27B, датированное 14 июля 2026 года. Когда на странице указано «Bonsai 27B» без каких-либо других уточнений и без «2», имеется в виду именно эта модель, и именно это название следует использовать.

• Ternary Bonsai 27B — не другая модель. Это ориентированный на качество пакет Bonsai 27B: та же модель 27B, та же архитектура и та же база, но с тернарными весами вместо бинарных. Репозиторий называется Ternary-Bonsai-27B-gguf, и в его карточке модели в качестве базы указан Qwen3.6-27B — точно так же, как в бинарной карточке. «Ternary» здесь — это формат весов, а не версия.

• Ternary Bonsai 2 27B — по-настоящему другая модель. Второе поколение линейки 27B, построенное на Qwen3.8-27B и анонсированное 17 сентября 2026 года, с другим распределением параметров и другим заявлением о качестве. Вся разница — в цифре «2».

• 1-bit Bonsai 2B — другой представитель семейства в другом масштабе: визуально-языковая модель с 2 миллиардами параметров для аппаратного обеспечения класса очков, а не 27B-модель при любой точности.

Итак, если вы пришли сюда, чтобы выяснить, какая из них — модель 27B, ответ такой: третья и четвёртая строки выше — это одна и та же модель в двух форматах весов, а пятая — та, которая ею не является. Практически: называйте её Bonsai 27B и добавляйте пакет, когда это важно.

Спецификация, из карточки модели

Каждая цифра в этом разделе взята из опубликованных карточек моделей PrismML для двух пакетов, и это собственное заявление поставщика о его собственной модели. Там, где число является утверждением, а не измерением, это указано.

• Параметры — всего около 27,3 млрд, и «27B» обозначает всё это целиком. Это распределение стоит знать, потому что оно объясняет поведение памяти: примерно 24,8 млрд приходится на языковой бэкбон в 64 блоках, примерно 2,5 млрд — на эмбеддинги и LM-голову, и около 0,46 млрд — на 27-блочную визуальную башню. Низкобитное представление применяется сквозным образом — к эмбеддингам, вниманию, MLP и LM-голове — без какой-либо лазейки к более высокой точности где-либо в языковой сети.

• Контекст — полные 262 000 токенов, без варианта с длинным контекстом и без сборки с уменьшенным контекстом. Стоимость этого окна контролируется, а не оплачивается полностью: основа модели гибридная, поэтому только 16 из 64 её слоёв сохраняют полный кэш внимания, и этот кэш хранится в 4-битном формате, почти без потерь. При полном окне в 262K именно сжатый кэш удерживает модель в пределах примерно 9,4 ГБ на бинарном пакете и 12,8 ГБ — на тернарном.

• Модальность — текст и изображения, оба пакета. Башня зрения поставляется в компактной 4-битной форме (0,63 ГБ) вместе с копией BF16 (0,93 ГБ). Кроме того, именно в зрении сжатие обходится дороже всего, что описано ниже.

• Формат весов и размер — 1-битная Bonsai 27B использует бинарные веса {−1, +1} с групповым масштабированием FP16, упакованные в формате GGUF Q1_0_g128 при фактическом значении 1,125 эффективных бит на вес; размер поставляемого файла — 3,803 ГБ, а в карточке объём при развёртывании округляется примерно до 3,9 ГБ. Тернарная Bonsai 27B использует тернарные веса {−1, 0, +1} с тем же групповым масштабированием; тернарное значение несёт log₂3 ≈ 1,585 бит информации, поэтому нижняя граница представления составляет ~1,71 бит на вес, что в идеале даёт 5,9 ГБ. Опубликованный тернарный пакет больше этого идеала, потому что современные ядра хранят каждое тернарное значение в 2-битном слоте — 2,125 бит на вес при развёртывании — а размер поставляемого файла — 7,165 ГБ. PrismML приводит оба числа, а не только выгодное, и разрыв между ними — это ограничение ядер, а не следствие выбора при моделировании.

• Лицензия — Apache 2.0 на обоих пакетах, указана в обоих репозиториях и в анонсе вендора. Это разрешительная лицензия без ограничений по области применения, что при таком размере весов значит больше, чем в большинстве случаев.

• Базовая модель — Qwen3.6-27B в обоих случаях. Это повторное сжатие чужой модели, а не модели, обученной с нуля, и следствие этого в том, что и потолок возможностей Bonsai 27B, и периодичность его обновлений следуют за вышестоящей линейкой 27B, а не за линейкой PrismML.

Тернарное отношение, сформулированное один раз

Эти два пакета — одна модель, и честный итог таков: тернарный вариант выигрывает в качестве, а бинарный — в занимаемом объёме, причём разрыв между ними меньше, чем можно предположить по разнице размеров — 3,9 ГБ против 7,2 ГБ.

В собственном наборе PrismML из 15 бенчмарков для режима мышления базовая модель FP16 Qwen3.6-27B набирает 85,07. Ternary Bonsai 27B набирает 80,49 — сохранение 94,6%, что производитель округляет примерно до 95%. 1-bit Bonsai 27B набирает 76,11 — 89,5%, округлённо около 90%. Таким образом, пакет, ориентированный на качество, сокращает примерно половину разрыва между бинарным пакетом и полной точностью, но занимает примерно на 3,3 ГБ больше, а бинарный пакет — это тот, который помещается в 12-гигабайтный телефон. Тот же набор показывает, что 4-битная сборка Q4_K_XL той же базовой модели набирает 84,99, то есть 99,9% сохранения, при 17,6 ГБ — именно это сравнение объясняет, почему вообще существует любой из низкобитных пакетов: она превосходит их по качеству и проигрывает на каждом устройстве, где для модели доступно меньше 18 ГБ.

Там, где бинарный пакет уступает, это происходит неравномерно, и полезная часть — это разбивка по категориям. По сравнению с базовой линией FP16 он падает с 95,33 до 91,66 в математике и с 88,74 до 81,88 в программировании, но с 78,47 до 65,74 в следовании инструкциям, с 80,00 до 66,03 в агентных задачах и работе с вызовом инструментов и с 72,61 до 59,57 в задачах зрения. Если ваша нагрузка — арифметика или автодополнение кода, то 3,9 ГБ почти ничего не стоят. Если же это агенты с вызовом инструментов или понимание изображений, то именно там за сжатие фактически приходится расплачиваться.

В карточке модели также публикуется производный показатель, который она называет интеллектуальной плотностью — агрегированный балл на гигабайт, нормализованный так, что идеальный балл стремится к бесконечности. По этому показателю 1-битная Bonsai 27B достигает 0,530, а Ternary Bonsai 27B — 0,400, против 0,199 у 2-битной сборки IQ2_XXS на той же базовой модели, 0,155 у 4-битной сборки Q4_K_XL и 0,051 у модели FP16. Самое интересное число в этом списке — первое сравнение: бинарный пакет превосходит обычную 2-битную сборку по агрегированному качеству, занимая менее половины объёма, и это в одной строке выражает всю суть этого семейства.

Полное очное сравнение двух наборов и источники показателей каждого из них изложены на странице Bonsai vs Bonsai 27B в этом блоге, рядом с моделью на 2 миллиарда параметров, носящей то же название семейства.

Один вопрос, который возникает вместе с этой моделью, заслуживает фактического ответа и ничего больше. Паки — это низкобитные кодировки той же самой базовой модели, а не переобученного варианта, и в репозиториях рядом с ними не публикуется отдельно настроенный или нецензурированный чекпоинт — единственный доступный полноточный артефакт — это распакованное преобразование FP16 тех же весов, опубликованное, чтобы вы могли сравнить сжатый пак с его собственной базовой версией в стандартных инструментах.

Веса и лицензия, из репозиториев

Веса Bonsai 27B опубликованы на Hugging Face в организации prism-ml, и список файлов — это самое конкретное, что есть в релизе. Репозиторий бинарного пакета содержит саму модель объёмом 3,803 ГБ, FP16 GGUF той же модели объёмом 53,808 ГБ для сравнения, драфтер DSpark для спекулятивного декодирования объёмом 1,787 ГБ в 4-битном формате и 7,292 ГБ в BF16, а также визуальные башни объёмом 0,931 ГБ и 0,629 ГБ. Тернарный репозиторий содержит собственный пакет объёмом 7,165 ГБ плюс вторую упаковку объёмом 7,585 ГБ, которая использует group-64, а не group-128, и совместима с upstream, а не оптимальна, а также те же файлы драфтера и vision. Оба репозитория распространяются под лицензией Apache 2.0, и в обоих в качестве базовой модели указана Qwen3.6-27B.

Из этого перечня следуют две вещи. Первая: 53,808 ГБ против 3,803 ГБ — это соотношение 14,2x, с которого начинается карточка модели, и его можно проверить, а не просто принять на веру — файл полной точности находится прямо здесь. Вторая: релиз тяжелее самой модели: если взять ещё драфтер и визуальный энкодер, которые требует мультимодальный тракт, вы добавляете примерно 2,4 ГБ к модели размером 3,9 ГБ. Заявленные в заголовке 3,9 ГБ — это языковые веса, а не развёртывание.

Загрузки — единственное, в чём пакет, ориентированный на качество, лидирует: по состоянию на октябрь 2026 года репозиторий тернарных GGUF превысил 590 000 загрузок против чуть более 400 000 у бинарного пакета, тогда как MLX-контейнеры для обоих превышают миллион каждый. Такая картина говорит о том, что эта модель в основном запускается на оборудовании Apple, а не на серверах, и что люди, скачивающие её, выбирают дополнительные пять пунктов сохранения, а не самый маленький возможный файл — примерно для этого вендор и создавал эту пару.

его запуск

Сегодня можно получить четыре вида артефактов на пакет, и то, какой из них вам нужен, определяется вашей средой выполнения, а не качеством.

• GGUF для llama.cpp — основной путь, и именно для него писались низкобитные ядра. Оба пакета — это сборки llama.cpp для CUDA, Metal и CPU, но 1-битные и тернарные ядра находятся в собственном форке PrismML, а не в апстриме, поэтому стандартный llama.cpp пока не умеет корректно их загружать. Тернарная упаковка group-64 существует именно для случаев, когда нужна совместимость с апстримом и вы готовы взять 7.585 ГБ вместо 7.165 ГБ, чтобы её получить.

• MLX для Apple silicon — отдельные поставляемые контейнеры: 5,129 ГБ для бинарного пакета и 8,491 ГБ для тернарного. Обратите внимание, что бинарный контейнер MLX больше, чем бинарный пакет GGUF, что объясняется накладными расходами контейнера, а не тем, что это другая модель.

• AWQ 4-bit для серверных фреймворков — 4-битная сборка каждой модели для серверных фреймворков, которые ожидают AWQ-чекпоинт: девять шардов общим объёмом 18,70 ГБ, включая рецепт для нескольких GPU. Это не низкоразрядный артефакт; это та же модель в точности, которая имеет смысл на серверной стойке, и она отказывается от всего, ради чего эта модель существует.

• Распакованные FP16 safetensors — полная модель объёмом ~54 ГБ в стандартном формате Hugging Face, опубликованная специально для фреймворков, которые пока не поддерживают 1-битные веса нативно. Производитель сообщает, что этот артефакт будет выведен из обращения, как только низкобитные ядра появятся в upstream.

Измеренная пропускная способность декодирования на бинарном паке, согласно собственной таблице из карточки модели, составляет 66,4 токена в секунду на M5 Max, 44,2 на M5 Pro, 26,0 на M4 Pro и 104,8 на H100, при этом префилл — 874, 421, 133 и 2 755 токенов в секунду соответственно. На странице анонса указаны более высокие пиковые значения — до 87 токенов в секунду на M5 Max и 163 на RTX 5090, — которые отражают собственный лучший вариант конфигурации производителя, а не данные из таблицы. Рассматривайте эти два набора как разные условия измерений, а не как противоречие, и считайте оба значения заявленными производителем. Пиковое потребление памяти, опять же согласно карточке, составляет 5,2 ГБ при контексте 4K, 5,6 ГБ при 10K и 11,6 ГБ при 100K на бинарном паке, а также 8,4, 8,7 и 14,7 ГБ на тернарном паке — с оговоркой, что эти цифры относятся ко времени до появления 4-битного KV-кэша, который и позволяет снизить полное окно в 262K до однозначного числа гигабайт.

Драфтер DSpark необязателен, и в нём стоит разобраться, прежде чем включать его, потому что он ничего не меняет в выходах: это шестислойный блочно-параллельный трансформер, обусловленный скрытыми состояниями, снимаемыми с пяти равномерно распределённых слоёв целевой модели; он добавляет около 0,5 ГБ при точности, используемой при обслуживании, и проверяет себя по целевой модели, а не выполняет выборку самостоятельно. Именно поэтому поставщик может заявлять ускорение в 1,37 раза на CUDA, не затрагивая показатели качества. На Apple silicon он не включён по умолчанию.

Там, где локальная модель упирается в предел своих возможностей, и начинается интересный инженерный вопрос, и это вопрос маршрутизации, а не вопрос модели. Модель на 3,9 ГБ на ноутбуке справляется с тем, что помещается в её контекст; всё остальное должно куда-то уходить, и это «куда-то» — хостинговая модель за API. OrcaRouter — это и есть тот слой — один эндпоинт для более чем 200 хостинговых моделей с 0% наценки к прайс-листам провайдеров, автоматическое переключение между провайдерами при сбое, а правило эскалации с локального уровня на хостинговый задаётся конфигурацией, а не собирается вручную. Это слой над локальной моделью, а не её замена.

Индекс сравнения

Bonsai 27B входит в семейство, где каждый сосед отвечает на свой вопрос, и это страницы, которые раскрывают каждый из них, — ни один из них здесь не обсуждается заново.

• Bonsai против Bonsai 27B — модель для очков с 2 миллиардами параметров против этой: в шестнадцать раз больше параметров и в двести пятьдесят шесть раз больше контекста, а также о том, почему название семейства ничего не говорит о том, что вы скачиваете. Эта страница — пост в блоге, а не размещённая модель, и это различие стоит чётко понимать в этом семействе.

• Bonsai 27B против Qwen3.8-27B — очное сравнение этой модели с более новой базовой моделью, которую она не использует. Этому сравнению посвящена отдельная страница в этом пакете, и, поскольку две модели носят похожие названия и их разделяет одно поколение, её стоит читать как самостоятельный материал, а не как продолжение этой спецификации.

• Bonsai vs Ternary Bonsai 2 27B — поколенческий скачок и тот факт, что два релиза сообщают о своём качестве по двум разным меркам: в одном случае — сохранение базового уровня, в другом — сравнительное утверждение.

• Ternary Bonsai 2 27B — второе поколение как самостоятельная запись, на Qwen3.8-27B, для читателей, которые решили, что им нужна более новая модель, а не эта.

Что не решено

Все показатели качества на этой странице принадлежат PrismML, измерены на собственном наборе PrismML из 15 бенчмарков, и никто за пределами компании не публиковал их воспроизведения. Это самый крупный пробел в том, что известно о Bonsai 27B: утверждения о сжатии необычно конкретны и необычно проверяемы, но третья сторона их по-прежнему не проверила. Вендор также прямо заявляет, что агентное программирование — долгосрочные, многофайловые рабочие процессы с запуском и исправлением — не является приоритетной целью этого выпуска и что вариант, оптимизированный для него, — следующий пункт дорожной карты; это согласуется с потерями в вызове инструментов и следовании инструкциям в приведённой выше разбивке по категориям. Пока не появится независимая оценка, и показатель сохранения, и рейтинг плотности следует воспринимать как позицию вендора, а не как установленный результат.

Что уже решено — это меньше и полезнее: веса существуют, размеры можно сверить со списком файлов, лицензия — Apache 2.0, а два пакета различаются примерно на 3,3 ГБ в обмен на примерно пять пунктов сохранённого качества. Этого достаточно, чтобы выбрать между ними. Какой из них подходит вам, зависит от того, похожа ли ваша рабочая нагрузка больше на арифметику или больше на вызовы инструментов, и приведённые выше показатели по категориям — это лучшие доступные на сегодня доказательства для такого решения.