Nemotron 3.5 Bolt 24GB против Nemotron 3.5 Bolt 74B: одна модель, два артефакта

This is a comparison between a model and itself. N​VIDIA Nemotron 3.5 Bolt 74B-A9B 24GB and N​VIDIA Nemotron 3.5 Bolt 74B-A9B BF16 are the same architecture at the same parameter count, produced in the same week, from the same parent — and N​VIDIA's own documentation says plainly that one is for running and the other is for changing. Treating them as rivals is a category error; treating them as interchangeable is an expensive one. Here is the difference, measured in bytes and in benchmark points.

Что на самом деле представляют собой эти два артефакта

The names describe the pipeline, not two designs. N​VIDIA took Nemotron 3.5 Super VL 120B-A12B, ran a router-guided architecture search called Star Elastic against a memory budget, and produced a 74-billion-parameter model with 9 billion active parameters. That result exists in two published forms: the BF16 weights as they came out of post-training, and the same weights with the expert layers quantised to 2.0625 bits per element and repaired with quantisation-aware distillation.

На обеих карточках моделей указана дата 15 октября 2026 года. Обе используют одну и ту же лицензию OpenMDW-1.1, одно и то же контекстное окно на 256 000 токенов, один и тот же гибридный бэкбон Mamba-2 LatentMoE и один и тот же визуальный кодировщик C-RADIO v4-H. Метаданные репозитория делают эту связь явной в одном поле: карточка 24-ГБ чекпойнта указывает base_model_relation: quantizedпо отношению к релизу BF16.

Различается то, для чего предназначена каждая. 24-гигабайтная карта указывает в качестве сценария использования локальные агентные среды — вызов инструментов, работу с браузером, работу в терминале, — а в качестве развёртывания — vLLM на Ampere, Hopper или Blackwell. Карта BF16 указывает в качестве сценария использования пост-обучение с NeMo RL и NeMo Gym, адаптацию к предметной области, дистилляцию и создание собственных квантованных вариантов, и в том же абзаце предупреждает, что для инференса, оптимизированного по задержке и пропускной способности, вместо неё следует использовать 24-гигабайтную версию. Когда производитель говорит не запускать только что скачанный чекпойнт, к этому стоит отнестись буквально.

Разница в размере, считанная из списков файлов

• BF16 — всего 149,8 ГБ в 63 шардах safetensors, самый большой шард — 3,71 ГБ, плюс визуальная башня на 228 МБ.

• 24 ГБ safetensors — 24,12 ГБ, распределённые по 90 шардам в сборке, готовой для vLLM, что незначительно превышает число в названии модели.

• 24GB GGUF — 22.02GB в одном файле, плюс отдельный визуальный проектор на 1.73GB, итого 23.75GB.

• Соотношение — примерно шесть к одному в байтах: от 16-битных экспертов до 2-битных экспертов плюс обработка всего остального со смешанной точностью.

Шестьдесят три шарда против девяноста — это тоже различие в форме, а не только в размере. Релиз BF16 рассчитан на загрузку фреймворком для обучения при любой вашей схеме параллелизма; релиз на 24 ГБ рассчитан на загрузку одной GPU или через llama.cpp на одной машине, и количество шардов отражает разные задачи.

Три гигабайта из 24-гигабайтного разброса стоит понять, прежде чем планировать хранилище. В сборке GGUF проектор визуальных признаков — отдельный файл, потому что именно так llama.cpp обрабатывает мультимодальный ввод, а тот, кто скачивает только веса и потом удивляется, почему изображения не работают, пропустил его. В сборке safetensors визуальная башня находится внутри шардов, и общий объём переходит отметку в 24 ГБ.

Сколько стоило квантование, по собственным данным NVIDIA?

Карточка BF16 публикует обе колонки рядом, что необычно откровенно: одна и та же таблица бенчмарков содержит показатели IQ2 24GB и показатели BF16 для одних и тех же тринадцати оценок. Заявлено производителем, не воспроизведено, и всё же это самые прямые из доступных доказательств того, во что обходятся два бита на эксперта.

• Terminal-Bench 2.1 — 50,98 при IQ2 против 53,93 при BF16, потеря 2,95 балла.

• BrowseComp — 66,75 против 70,00, потеря 3,25.

• GPQA Diamond — 86,43 против 88,83, потеря 2,40.

• AA-LCR рассуждение с длинным контекстом — 64.06 против 67.38, потеря 3.32.

• HLE без инструментов — 25,30 против 28,73, потеря 3,43.

• Точность AA-Omniscience — 16,90 против 21,80, снижение на 4,90, наибольшее в таблице.

• PinchBench — 87,82 против 90,35, потеря 2,53.

• GDPVal-AA-V2 — 28.47 против 31.13, снижение на 2.66.

Две строки выбиваются из закономерности, и именно они самые интересные. В метрике отсутствия галлюцинаций AA-Omniscience квантованная модель показывает более высокий результат — 61.27 против 56.14: сжатие экспертов сделало модель менее склонной уверенно отвечать, когда она не знает, а это как раз из тех находок, ради которых стоит публиковать таблицу целиком. В WebArena vision обе модели идут вровень — 50.86 против 50.25, что говорит о том, что визуальный путь пережил сжатие более или менее невредимым, и, по-видимому, именно поэтому в карточке модели описано дообучение визуального адаптера.

В совокупности: налог в два–пять пунктов на большинстве строк способностей, почти нулевой на визуальной привязке и улучшение по одной метрике калибровки. Это благоприятный результат для шестикратного сжатия, но это по-прежнему налог, который следует учитывать, а не отмахиваться от него.

Какой из них вы действительно можете подать?

У 24GB-артефакта своя история во время выполнения, а у BF16 — своя история обучения, и это не одна и та же история с другим флагом.

The 24GB GGUF is listed for llama.cpp, and N​VIDIA points the same model at Ollama, LM Studio and Unsloth. The vLLM path is stricter than it sounds: the reference recipe pins a nightly container by commit hash, requires a separate kernel package fetched at runtime, sets the v2 model runner explicitly, names b12x for the linear and MoE backends with FlashInfer for attention and Mamba, pins the KV cache to fp8, and sets max-num-seqs 1. That last flag is the one to notice — the published serving configuration is a single concurrent sequence, which is a laptop-shaped configuration, not a serving-shaped one.

The drafter is a third download. LiLiCorr is a 1.13B companion checkpoint whose card states in as many words that it is not a standalone language model, that it proposes draft tokens and the 24GB target verifies them, and that the target produces the visible text. N​VIDIA's reported 83.99 tokens per second on AIPerf SPEED-Bench-Coding assumes it is attached, with seven drafted tokens per step and mean acceptance lengths of 4.68 under greedy decoding and 4.25 with sampling at concurrency 64.

История с обслуживанием чекпоинта BF16 — это ваша задача. Ему требуется примерно в шесть раз больше памяти, чем квантованной сборке, ещё до какого-либо KV-кэша, что выводит один 80GB ускоритель за пределы досягаемости и делает конфигурацию с несколькими GPU или несколькими узлами предположением по умолчанию. Это правильный компромисс для пост-обучения и неправильный компромисс для инференса, что как раз и указано в карточке.

Решение, изложенное без обиняков

Если вы хотите запустить агента сегодня на собственном оборудовании, скачайте сборку на 24 ГБ, смиритесь с налогом в два–пять пунктов и заложите в бюджет средства на драфтер и проектор, а также на веса.

If you want to change the model — fine-tune on your own data, distil it into something smaller, or compress it differently for hardware N​VIDIA did not optimise for — download the BF16 build and treat the 24GB release as documentation of one possible outcome.

The interesting middle case is the one the BF16 card invites explicitly: producing your own quantised variant. Someone with a different accelerator, or an appetite for four-bit weights, or a workload that needs more concurrency than the reference recipe allows, can take the full-precision weights and build the artifact N​VIDIA did not. The quantisation tax above is then the number to beat, and it is now a published target rather than a mystery.

Где шлюз вписывается в локальный стек

Neither of these checkpoints is hosted anywhere, including by us — the OrcaRouter catalogue carries no N​emotron model, so there is no endpoint and no price to quote for either. Local inference is also only ever half of an agent architecture: the machine that runs Bolt still needs to reach models it cannot download, whether that is a frontier model for the hard cases, a vision model for something Bolt handles badly, or a second opinion on a decision that matters.

Это тот слой, который обслуживаем мы. Один ключ к более чем 200 размещённым моделям по цене из прайс-листа провайдера без наценки; автоматическое переключение при сбое, когда провайдер деградирует посреди запроса; DSL маршрутизации, который превращает «попробовать Bolt локально, перейти на размещённую модель, когда задача превышает её возможности» в конфигурацию, а не в код. Та половина стека, что на 24 ГБ, определяется вашим оборудованием и вашей терпимостью к ночному контейнеру. Та половина, что по другую сторону эскалации, определяется тем, у кого есть ключ.

Что изменило бы эту картину?

Две вещи, и обе предсказуемы.

The first is a four-bit or FP4 build of Bolt from N​VIDIA or from the community, given that the parent family already ships NVFP4 checkpoints and the BF16 release exists precisely so that such variants can be made. A four-bit Bolt that recovered half the gap above while still fitting in a 24GB envelope would make the quantisation tax argument considerably less interesting.

Второе — это любая независимая оценка любого из этих артефактов. Панель Artificial Analysis измерила 24GB-модель на уровне 21 по своему Intelligence Index, не опубликовав ни скорость, ни стоимость, потому что цену не с чем сопоставить. Никто вообще не публиковал воспроизводимый прогон чекпоинта BF16 — что неудивительно для загрузки на 150GB, предназначенной для обучения. Пока кто-нибудь этого не сделает, разрыв между двумя столбцами выше — это описание вендором собственного сжатия, и честный способ читать это — как утверждение, которое, как оказалось, необычно хорошо подкреплено структурой доказательств.

Подобный результат — это также напоминание о том, что ошибки моделей уже задокументированы: инциденты ИИ и сбои агентов, связанные с моделями этого класса, собраны в архиве инцидентов ИИ OrcaRouter, где каждая запись содержит собственные источники, уровень серьёзности, степень уверенности и флаг спорности.