Nemotron 3.5 Bolt 24GB: что NVIDIA на самом деле поместила в 24-ГБ файл

Главное число — это не количество параметров. Это количество байт. 15 октября 2026 года NVIDIA выпустила NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB — визуально-языковую агентную модель, 74 миллиарда параметров которой занимают 23.75GB в том формате, в котором большинство людей действительно будут её скачивать: GGUF на 22.02GB плюс файл визуального проектора на 1.73GB. Обе цифры взяты из собственного списка файлов опубликованного репозитория, а не из поста в блоге, и именно из-за них название заканчивается числом. Вот что это число даёт, что оно скрывает и что в него не входит.

Что и когда вышло

Новостной раздел NVIDIA описал 15 октября как расширение семейства, а не запуск одной модели: Nemotron 3.5 Super VL — мультимодальная модель на 120 млрд параметров с 12 млрд активных параметров — появилась вместе с чекпоинтом Bolt, а её гораздо меньший собрат Nemotron 3.5 Bolt E4B 4GB запланирован на 23 октября. Bolt присоединяется к Nemotron 3.5 Lightning (август) и Nemotron 3 Ultra в семействе, которое теперь охватывает рассуждения в дата-центрах, обслуживание с высокой пропускной способностью и локальных периферийных агентов.

Релиз действительно новый, и при этом он немного старше анонса. Репозиторий Hugging Face nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB был создан 7 октября 2026 года; карточка модели внутри него содержит дату релиза 15 октября — ту же дату, что указана на собственной исследовательской странице NVIDIA с пометкой «Опубликовано». То, что файлы восемь дней лежали в открытом доступе до первого слова объяснений, — обычная практика для вендора, выпускающего продукт в рамках эмбарго, согласованного с аппаратным обеспечением, — ноутбуки RTX Spark датированы 16 октября, на следующий день после анонса, — и стоит знать, какая половина публичной истории этой модели стала следствием маркетингового решения, а какая — следствием листинга файлов.

Как 74 миллиарда параметров помещаются в 24 гигабайта

Два механизма, и они разделимы.

Первое — структурное. Bolt — это не меньшая модель, обученная с нуля; это родительская модель Super 3.5 VL, сжатая алгоритмом, который NVIDIA называет Star Elastic, — поиском архитектуры под управлением маршрутизатора, который должен был удовлетворить одному ограничению — размер развертывания ниже 24 ГБ при размере батча 1 и контексте 128K — при этом потеряв как можно меньше точности дистилляции знаний. В результате получился гибрид смеси экспертов с общим числом параметров 74B и 9B активных, с фиксированным top-K экспертов равным 9, тогда как родительская модель использовала 22. NVIDIA сама формулирует результат прямо и проверяемо: при фиксированном бюджете памяти сжатие большой модели превосходит обучение маленькой.

Второе — это точность, и именно здесь кроется большая часть экономии.

• Веса экспертов — маршрутизируемые и общие слои FC1 и FC2, квантованные в IQ2_XXS при 2,0625 бита на элемент, что составляет основную часть модели по количеству параметров.

• Слои Mamba — NVFP4, 4-битный формат с плавающей запятой, и только на тех слоях, где дополнительная точность оправдывает дополнительные байты.

• Эмбеддинги, выходная голова, внимание и латентные веса MoE — Q8_0.

• Восстановление — дистилляция с учётом квантизации, а не выполняемое постфактум округление до ближайшего: именно это отличает сжатую модель от сломанной.

Прочтите это вместе, и «24GB» перестаёт быть маркетинговой сводкой и становится распределением бюджета. 2-битные эксперты дёшевы в пересчёте на байт и многочисленны; слои, важные для стабильности, сохраняют 4 или 8 бит.

Показатель в 24 ГБ, сверенный с файлами

Утверждение выдерживает проверку, что верно не всегда.

• Веса GGUF — 22 018 326 528 байт, или 22,02 ГБ в десятичном формате, в одном файле.

• Проектор зрения — 1 733 692 736 байт, или 1,73 ГБ, поставляется отдельно как mmproj — именно так llama.cpp принимает изображения и видео на вход.

• Сборка Safetensors — та же модель в виде готовых для vLLM шардов в сумме занимает 24,12 ГБ в 90 файлах, немного превышая заявленную цифру.

• Референс BF16 — 149,8 ГБ в 63 шардах, опубликован отдельно для всех, кто хочет дообучить модель, а не выполнять инференс.

Поверх этого есть две честные оговорки. Во-первых, веса — это ещё не работающая модель. Рецепт vLLM, который публикует NVIDIA, фиксирует KV-кэш в fp8 и задаёт обслуживаемый контекст в 262 144 токена при max-num-seqs 1 — единственной одновременной последовательности. Вот в чём разница между «помещается в 24 ГБ» и «быстро работает в 24 ГБ», и это как раз та деталь, которую заголовок про объём памяти никогда не упоминает. Во-вторых, 24 ГБ — это число, которое было задано при поиске архитектуры, а не измеренное на вашей машине: накладные расходы драйвера, операционная система и всё остальное, что есть на ноутбуке, находятся за его пределами — именно поэтому и говорят «запускайте вместе с вашими приложениями», а не «запускайте вместо них».

Заявление о скорости и машине, на которой его измерили

NVIDIA закладывала как минимум 80 токенов в секунду и сообщает о 83,99 в AIPerf SPEED-Bench-Coding. Это число обретает смысл только с тремя элементами контекста: оно получено с llama.cpp под Windows 11 ARM x64, на Surface Laptop Ultra с 128 ГБ памяти, с подключённым спекулятивным драфтером LiLiCorr и семью черновыми токенами на шаг. Драфтер — не необязательное украшение: это сопутствующий чекпоинт на 1,13 млрд параметров, вся цель которого — повысить длину принятия (NVIDIA сообщает о средних значениях 4,68 при жадном декодировании и 4,25 при сэмплировании с параллелизмом 64 в vLLM). Если убрать драфтер, вы будете измерять другую модель.

Второй показатель скорости интереснее, потому что это время завершения, а не скорость: 600,80 секунды длительности воспроизведения в AA-AgentPerf Local против 453,97 у Qwen3.6 35B-A3B, 480,68 у Gemma 4 26B-A4B и 1 043,28 у Qwen3.8 27B — всё из собственной таблицы NVIDIA, всё на одном и том же оборудовании. Bolt выигрывает эту строку, завершая те же агентные траектории быстрее, чем меньшая модель, и проигрывает строку пропускной способности обеим другим: 83,99 против 96,63 и 100,56 токена в секунду. «Fast» и «quick» — не одно и то же измерение, и эта модель обменивает второе на первое.

Что говорит независимое измерение

Одна цифра в открытых данных о Bolt была получена не NVIDIA: индекс Artificial Analysis Intelligence Index оценивает его в 21, что ставит его на четвёртое место среди 67 моделей в его классе. Эта панель также не сообщает ни скорости, ни стоимости для него, поскольку нет публичного API для вызова, — и она указывает входную модальность модели как текст и изображения, а не видео, что является более узкой трактовкой, чем у производителя.

На той же странице отмечается, что во время оценки модель сгенерировала 230 млн токенов, которую там называют очень многословной на фоне медианы в 100 млн. Рассуждение, порождающее больше токенов при выполнении той же задачи, не обязательно хуже, но оно чего-то стоит на локальном устройстве, где каждый токен генерируется вентилятором.

Все остальные данные, находящиеся в обращении, сообщены производителями. Собственная таблица NVIDIA из тринадцати бенчмарков, в которой Bolt лидирует в своём классе по объёму памяти на PinchBench и занимает второе место в WebArena и BrowseComp, сравнивает с моделями, выбранными отчасти за то, что они помещаются в 24 ГБ при 4-битном квантовании, — группа равных, определяемая ограничением, которому Bolt был спроектирован соответствовать. Это не нечестно; это также не рейтинг агентных моделей в целом, и единственная ячейка, где картина обратная, поучительна: с показателем 16,90 по точности AA-Omniscience Bolt уступает Gemma 4 26B-A4B с 22,17 в той же таблице.

Чего нет в коробке?

Нет эндпоинта. Нет тарификации по мере использования, нет провайдера, который бы его обслуживал, и нет способа оценить его на собственном трафике, не завершив развёртывание. Вместо этого есть поддержка на уровне среды выполнения, появившаяся к релизу, а не месяцы спустя: llama.cpp и GGUF-чекпойнт, Ollama, LM Studio, Unsloth для дообучения и vLLM для квантованного чекпойнта на DGX Spark и BF16-чекпойнта на других платформах. В собственном блоге NVIDIA перечисляет эти пять по именам, и именно широта охвата здесь и есть настоящий продукт: файл размером 24 ГБ полезен, только если то, что его загружает, уже есть на вашей машине.

Охват аппаратного обеспечения шире, чем можно судить по истории о ноутбуках RTX Spark в день запуска: упомянуты GeForce RTX ПК, DGX Spark, DGX Station и рабочие станции RTX PRO, а карточка модели для пути vLLM перечисляет Ampere, Hopper и Blackwell.

Лицензия — OpenMDW-1.1: она достаточно либеральна, чтобы на её основе можно было строить, и достаточно незнакома, чтобы юридическая проверка была реальным этапом, а не формальностью, — об этом стоит знать, прежде чем от неё будет зависеть архитектурное решение.

Опечатка из-за копипаста в собственном техническом блоге NVIDIA помещает список контрольных точек под заголовок «Nemotron 3.5 Super VL 74B-A9B 24GB», а не Bolt. Это опечатка при быстром выпуске, а не ответвление внутри семейства, но это полезное напоминание о том, что страницы вендоров, написанные в день анонса, — это черновики с проставленной датой публикации.

Для команд, которые также вызывают модели, которыми они не владеют

Локально запускаемая половина стека агента и хостируемая половина обычно относятся к одному проекту, и Bolt решает только одну из них. OrcaRouter не хостит ни один чекпойнт Nemotron — это проверялось по нашему собственному каталогу, а не принималось на веру, — так что здесь нет рекламы модели, которую мы обслуживаем. То, что делаем мы, — это другая сторона смешанного развёртывания: один ключ к более чем 200 моделям по прайсовой цене провайдера с нулевой наценкой, автоматическое переключение при сбое провайдера в середине запроса, и DSL маршрутизации для описания цепочки резервных вариантов как конфигурации, а не кода приложения. Если Bolt запускает локальную половину, именно эта половина никогда не появляется в счёте; вопрос маршрутизации — что происходит с остальным.

Что посмотреть

Три вещи решат репутацию этой модели, и ни одной из них нет в анонсе.

Первое — независимая задержка на реальном оборудовании. 83,99 токена в секунду у NVIDIA — это контролируемый бенчмарк с подключённым спекулятивным драфтером; кто-нибудь в конце концов опубликует, что оно выдаёт на ноутбуке, где одновременно работают браузер и редактор, и эта цифра будет значить больше, чем эта. Второе — вариант E4B 23 октября, который проверяет, масштабируется ли рецепт сжатия на меньшие размеры или работает только при одном размере. Третье — будет ли кто-то за пределами NVIDIA дообучать чекпойнт BF16 — потому что 24-ГБ артефакт развёртывания с открытой лицензией и 150-ГБ артефакт кастомизации рядом с ним — это намеренный двухтрековый релиз, и именно второй трек решает, станет это платформой или чекпойнтом.

Пока что этот факт говорит сам за себя. Мультимодальный агент с 74 миллиардами параметров помещается в память ноутбука, который стоит меньше рабочей станции, работает примерно на 84 токена в секунду с подключённым драфтером, набирает 21 балл в единственном независимом индексе, который его измерил, и никто не может вызвать его как API. Это конкретное и необычное сочетание, и стоит точно понимать, какая его половина нужна именно вам.

Ничего из этого не гипотетично: задокументированные сбои ИИ и инциденты с агентами, стоящие за такими релизами, как этот, собраны в OrcaRouter AI Incident Archive, где каждая запись содержит собственные источники, уровень серьёзности, класс уверенности и флаг оспаривания.