Nemotron 3.5 Bolt 24GB vs Qwen3.8-27B: обе умещаются в 24GB — только одна сообщает вам, во сколько это обошлось

A neat story circulates about these two models: the N​VIDIA Nemotron 3.5 Bolt 74B-A9B 24GB fits in 24 gigabytes and Qwen3.8-27B does not. The first half is true and the second half is out of date. A​libaba published Qwen3.8-27B in August 2026 as a dense 27-billion-parameter vision-language model whose 16-bit weights run to roughly 56GB, and within days the community had produced four-bit builds of it at 16.46GB. Both models fit in 24GB today. The difference worth arguing about is that N​VIDIA designed the compression, published what it cost, and shipped it as the product — while the Q​wen side of that comparison is a build someone else made, with a bill nobody has totalled.

Что на самом деле представляет собой каждая модель

Bolt is a mixture-of-experts hybrid: 74 billion parameters total, 9 billion active per token, Mamba-2 state-space layers interleaved with experts and attention, plus a C-RADIO v4-H vision encoder. It exists in its 24GB form because N​VIDIA ran a router-guided architecture search against a footprint budget and then quantised the experts to 2.0625 bits per element, repairing the damage with quantisation-aware distillation.

Qwen3.8-27B — плотная модель. Все 27 миллиардов параметров считываются для каждого токена, а в разделе архитектуры карточки модели описан 64-слойный стек, организованный как шестнадцать повторов трёх стробированных блоков линейного внимания, за которыми следует один стробированный блок полного внимания, с обучением многотокеновому предсказанию на нескольких шагах и нативным контекстом в 262 144 токена, расширяемым до одного миллиона. Она нативно понимает изображения и видео и предоставляет управление размышлением для каждого запроса через настройку усилия рассуждения и флаг, сохраняющий контекст рассуждений между ходами.

Разные философии производства, и обе выпускаются как открытые веса под достаточно разрешительными лицензиями — OpenMDW-1.1 для Bolt, Apache 2.0 для Qwen3.8-27B.

Два сжатия, одно из которых задокументировано.

Это та часть сравнения, которая всё решает.

N​VIDIA's 24GB checkpoint is compressed by NVIDIA, and the cost is published. The BF16 release of the same model carries a table with both columns side by side, so the price of 2-bit experts is visible line by line:

• GPQA Diamond — 86,43 при 2-битном режиме против 88,83 при 16-битном, потеря 2,40 балла.

• Terminal-Bench 2.1 — 50,98 против 53,93, отставание на 2,95.

• BrowseComp — 66,75 против 70,00, потеря 3,25.

• AA-LCR рассуждение с длинным контекстом — 64.06 против 67.38, потеря 3.32.

• HLE без инструментов — 25,30 против 28,73, потеря 3,43.

• Точность AA-Omniscience — 16,90 против 21,80, снижение на 4,90.

А вот две строки, которые идут в другую сторону: в тесте AA-Omniscience на отсутствие галлюцинаций сжатая модель набирает 61,27 против 56,14 у полной точности, а в WebArena vision эти две модели идут вровень в пределах одного пункта. Это вендорские цифры, никем не воспроизведённые, и всё же это самый полный отчёт, который какая-либо лаборатория опубликовала о том, что 24-гигабайтное сжатие сделало с её собственной моделью.

Now the Q​wen side. A four-bit build of Qwen3.8-27B at 16.46GB exists, was published by a third party, and comes with no accuracy measurement at all. Not a weak one — none. The same is true of the 9.83GB and 7.27GB builds sitting below it, and of the 21.98GB build above. Whatever a 27B dense vision-language model loses when its weights are squeezed to four bits, nobody has published a number for it, which means the memory arithmetic that makes the fit possible is the easy half and the capability question is entirely open.

Эта асимметрия — честная версия этого противостояния. Bolt называет свою цену. Qwen3.8-27B заставляет вас платить ту, которую приходится оценивать самому.

Независимая панель и что она охватывает, а что нет

Artificial Analysis измеряет Qwen3.8-27B на уровне полной модели в её максимальной конфигурации рассуждений: индекс Intelligence Index составляет 34, первое место среди 141 модели в панели; около 41 выходного токена в секунду, что ставит её на 51-е место из 63; и стоимость $0,50 за миллион входных и $3,00 за миллион выходных токенов в отслеживаемом им наборе провайдеров, который он называет особенно дорогим для модели с открытыми весами такого размера. Он также отмечает, что модель очень многословна — 200 миллионов токенов, сгенерированных за время прогона индекса.

Та же панель оценивает Bolt по индексу интеллекта в 21 балл, четвёртое место среди 67 моделей своего класса, при этом скорость и стоимость недоступны, потому что нет публичного API, который бы его обслуживал. Тринадцать пунктов — это большой разрыв, и он измеряется одинаково для обоих, что делает это самым надёжным отдельным утверждением в этой статье. К этому прилагается оговорка, которая важнее, чем кажется: в собственном сравнительном резюме панели Qwen3.8-27B называется заметно медленной и очень многословной, так что модель, выигрывающая по интеллекту, — это та, которую приходится дольше ждать.

On modality the two pages disagree in a way worth noting, since a spec panel is not the same as a product page. The Q​wen vendor card describes native image and video understanding; the analysis panel lists text, image and video input for Qwen3.8-27B on some views and text-and-image for Bolt. Both models see. Neither sees identically, and the difference in how third parties describe the two is a reminder to check a modality claim against the model card rather than a summary row.

Таблица вендоров на стороне Qwen

A​libaba's model card is a long one, and its agentic rows are the reason this model is interesting next to Bolt at all. Terminal Bench 2.1 at 73.0, SWE-bench Pro at 61.7, GPQA Diamond at 89.2, HLE at 30.8, LiveCodeBench v6 at 90.3, OSWorld-Verified at 84.3 and AndroidWorld at 81.9 — all evaluated by A​libaba, in most cases inside the C​laude Code harness, at a 256,000-token context.

Эти числа несопоставимы с таблицей Bolt. Разные испытательные стенды, разные даты оценки, разный выбор базовых моделей, а в случае Bolt — базовая группа, выбранная отчасти потому, что она помещается в 24 ГБ при четырёхбитном квантовании. Единственное честное утверждение состоит в том, что опубликованные агентные оценки Qwen3.8-27B выше опубликованных агентных оценок Bolt, что оба набора чисел получены лабораториями, создавшими эти модели, и что ни одна из лабораторий не запускала набор тестов другой.

One Q​wen number is worth flagging for a different reason. Its own card concedes GPQA Diamond at 89.2 while Bolt's card claims 86.43 — close enough that a harness difference could move either one past the other. That is the scale on which vendor tables settle arguments. It is not a scale on which you should settle one.

Аренда одного — и задержка, которую вы наследуете

Bolt has no endpoint. There is no rate to quote, no provider serving it, and no way to evaluate it on your own traffic without completing N​VIDIA's deployment recipe — the pinned nightly vLLM container, the kernel package fetched at runtime, the reasoning-parser plugin, the b12x backends, the fp8 KV cache and a served concurrency of one sequence.

Qwen3.8-27B можно скачать и вызывать, и именно это сочетание — причина, по которой у данного сравнения вообще есть практический ответ. Мы обслуживаем qwen/qwen3.8-27b на нашей собственной инфраструктуре по цене $0,33 за миллион входных токенов и $2,40 за миллион выходных. В карточке каталога указан контекст на 262 144 токена с поддержкой ввода текста, изображений и видео, и публикация по такому тарифу возможна с нашей стороны, поскольку OrcaRouter передаёт прайс-листовую цену провайдера без добавления наценки — если вендор снижает цену, изменение вступает в силу здесь в тот же день, а не в следующем расчётном периоде.

Задержка, впрочем, заслуживает того, чтобы её приводили честно, а не приукрашивая. За семь дней, закончившихся 16 октября 2026 года, наш собственный эндпоинт для этой модели показал p50 времени до первого токена 10,00 секунды и p95 10,00 секунды, скорость вывода 515 токенов в секунду и долю ошибок 2,1%. Ежедневный ряд объясняет совокупный показатель: 1,42 секунды 10 октября, 1,65 — 11-го, 2,83 — 12-го, затем 10,00 — 13-го и 15-го, 1,91 — 14-го. Два из шести дней достигли потолка нашего окна измерений, а три — нет.

That is not a nice number, and it is the number. It is also the concrete reason automatic failover exists as a routing feature rather than a slogan: a first-token wait that is fine on Monday and ten seconds on Wednesday is exactly the failure mode a fallback chain is for, and the routing DSL exists so that "try this model, fall back to that one if it degrades" is configuration rather than application code. A model you own — Bolt, or a local Q​wen build — has no such problem and no such option. It is as fast as your GPU is, every day, with no third party in the path and no second model to reach for when it stalls.

Как это на самом деле разрешается

Нет победителя, которого можно было бы объявить, потому что две модели не соревнуются за одно и то же место.

If your constraint is a machine without a network, or work that cannot leave the device, Bolt is the answer and the published compression cost is the price of admission. Nothing about Qwen3.8-27B changes that, because you cannot download your way into a 24GB deployment that N​VIDIA has not already built and documented — you can approximate it with a four-bit build whose quality is unmeasured and whose vision projector you would have to source separately.

Если ваше ограничение — возможности на доллар, и сеть доступна, Qwen3.8-27B опережает на тринадцать пунктов по единственному индексу, который измерял и то и другое, по опубликованной ставке, под лицензией, которую ваша юридическая команда уже видела. Локальная четырёхбитная сборка — разумный третий путь, и именно на нём вам стоит рассчитывать на проведение собственной оценки, а не на заимствование чьей-то таблицы.

Та часть, которую обе модели оставляют на ваше усмотрение, одинакова: ни у одной нет независимого бенчмарка в сравнении с другой, ни одна лаборатория не измеряла модель другой, а мнения, циркулирующие о них с первого дня, — это интерпретации карточек производителей. Скачайте обе, запустите собственные задачи и оставьте ту, которая завершит работу. Это единственный результат в этом сравнении, который не будет опубликован одной из двух лабораторий, создавших их.

Чего цифры не могут вам сказать, так это того, не пошло ли что-то не так на практике: задокументированные инциденты с ИИ и сбои агентов, связанные с моделями этого класса, собраны в архиве инцидентов ИИ OrcaRouter, где каждая запись сопровождается собственными источниками, оценкой серьёзности, уровнем достоверности и отметкой о спорности.