Nemotron 3.5 Bolt вышел: что на самом деле содержит 24-ГБ 2-битный чекпоинт NVIDIA

Репозиторий N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB появился на Hugging Face 7 октября 2026 года и тихо пролежал там восемь дней. 15 октября N​VIDIA объявила о нём — пост в блоге, пресс-релиз и страница исследований с этой датой, — а значит, самое интересное в этой истории не запуск. А разрыв. Восемь дней единственное, что кто-либо мог знать о N​emotron 3.5 Bolt, — это то, что говорилось в карточке модели и наборе safetensors, а всё остальное было домыслами. Теперь этот разрыв закрыт, и стоит быть точными в том, что именно его закрытие прояснило, потому что немалая часть того, что люди повторяют об этой модели, пришла из репозитория, а не из анонса, и эти две вещи — не один и тот же документ.

Что сейчас несомненно, одним абзацем, — это следующее. N​emotron 3.5 Bolt 74B-A9B 24GB — это визуально-языковая модель смеси экспертов с 74 миллиардами параметров, из которых 9 миллиардов параметров активны на каждый токен, выпущенная 15 октября 2026 года по лицензии OpenMDW-1.1 и хранящая веса экспертов по 2,0625 бита на элемент, так что вся модель помещается в 24 ГБ. Она рассчитана на выполнение локальных агентных задач — вызовов инструментов, работы с браузером, использования терминала — на оборудовании RTX и DGX Spark. Она доступна в Ollama как тег размером 25 ГБ с контекстным окном 256K. Она не доступна ни через один размещённый API и не имеет цены. Одна часть этого утверждения измерена независимо, а остальное — со слов самого вендора.

Две даты, и какую из них указывать

Между этими двумя датами существует реальная разница, и она определяет, как вам следует читать остальную часть этой статьи.

Репозиторий Hugging Face был создан 7 октября 2026 года в 17:50 UTC. В находящейся в нём карточке модели есть поле Release Date, в котором указано Hugging Face 10/15/2026. На собственной исследовательской странице NVIDIA, посвящённой этому чекпоинту, стоит отметка Опубликовано: 15 октября 2026. Пост в блоге вендора, анонсирующий уровень Bolt, датирован 15 октября 2026 года и буквально утверждает, что Super VL и Bolt 74B-A9B «доступны уже сейчас».

Итак, честная интерпретация такова: 15 октября — дата релиза, а 7 октября — день, когда появилась папка. Кто называет 7 октября датой запуска, тот цитирует временную метку файла; кто называет 15 октября, тот цитирует вендора. Восьмидневный разрыв важен, впрочем, по другой причине, не из-за дат. Он означает, что больше недели модель существовала в состоянии, когда репозиторий был единственной публичной поверхностью — ни анонса, ни страницы с ценами, ни записи в таблице лидеров, никто из NVIDIA не говорил, для чего она. Все ранние описания Bolt, написанные в этот промежуток, включая те, что сейчас распространяются, были построены на основе карточки. Карточка, как выяснилось, была точной. Об этом стоит сказать прямо, потому что обычно такие ситуации заканчиваются тем, что это не так.

Что доказывает один лишь репозиторий

Всё в этом разделе можно было узнать из карточки модели и конфигурационных файлов ещё до того, как NVIDIA сказала хоть слово, и всё это по-прежнему верно.

• Параметры — всего 74 миллиарда, 9 миллиардов активных на токен. Разреженная смесь экспертов, а не плотная модель.

• Архитектура — гибрид Mamba-2 и Transformer с магистральной сетью LatentMoE и визуальным энкодером C-RADIO v4-H. В конфигурации этот класс зарегистрирован как NemotronH_Omni_Reasoning_V3.

• Точность хранения — IQ2_XXS при 2,0625 бита на элемент на слоях FC1 и FC2 маршрутизируемых и общих экспертов, где находится основная масса весов. Линейные слои Mamba находятся на NVFP4, а эмбеддинги, выходная голова, внимание и веса LatentMoE — на Q8_0.

• Контекст — до 256K токенов, или 262 144 в рецептах развёртывания.

• Входы и выходы — на входе текст, изображения и видео; на выходе текст.

• Лицензия — OpenMDW-1.1, и карточка прямо указывает это: «готова к коммерческому или некоммерческому использованию».

• Базы и происхождение — карточка объявляет своей базовой моделью BF16-чекпойнт с тем же именем, а её отношение к нему — как квантованное, а теги набора данных указывают на коллекции предобучения и постобучения N​VIDIA N​emotron.

• Даты модели — с декабря 2025 года по май 2026 года, с отсечкой данных на этапе постобучения — май 2026 года. Внимательно вчитайтесь в это, если для вас важна свежесть: модель выпущена в 2026 году, но построена на данных, которые обрываются за четыре с половиной месяца до её выпуска.

• Среды выполнения — vLLM на NVIDIA Ampere, Hopper и Blackwell, а также llama.cpp для RTX Spark и DGX Spark. В описании Ollama ограничения указаны более прямо: развёртывание на CUDA документировано, а Apple Silicon и Metal в настоящее время не поддерживаются.

Что добавило объявление

Материал поставщика добавляет три вещи, о которых репозиторий не мог вам рассказать.

Сначала — место в семействе. Bolt позиционируется как периферийный уровень семейства Nemotron: ниже Nemotron 3.5 Super VL на 120B для постоянно работающих серверных агентов и не выше чего-либо конкретного. Собственная формулировка NVIDIA расставляет их по местам: Super VL и Bolt «охватывают весь диапазон развёртываний агентов — от крупных корпоративных серверов до периферийных устройств и локального оборудования». Nemotron 3.5 Bolt E4B 4GB — модель с 4 миллиардами параметров для диалоговых и физических агентов — выходит 23 октября.

Во-вторых, история сжатия, которая является действительно новаторским инженерным утверждением здесь. Bolt — это не модель, которую обучили маленькой, а затем квантовали. Это N​emotron 3.5 Super VL — 120B всего, 12B активных — пропущенная через Star Elastic — управляемый роутером поиск архитектуры от N​VIDIA, при жёстком ограничении: уместиться в менее чем 24 ГБ памяти при размере батча один и контексте 128K. Top-K экспертов снизился с 22 в родительской модели до 9 в Bolt, промежуточные ширины MoE подбирались для каждого слоя, а затем сжатую сеть квантовали и подвергли дистилляции с учётом квантования, чтобы вернуть точность. Заявленный вывод N​VIDIA — это интересная часть, и это реальная позиция, а не хвастовство: при фиксированном бюджете памяти сжатие большой модели превосходит обучение маленькой с нуля. Это утверждение, которое можно проверить, и никто за пределами N​VIDIA не проверял.

В-третьих, две позиции в рейтинге, заявленные вендором: №1 среди открытых моделей в своём классе на PinchBench и №2 среди открытых моделей на BrowseComp. Обе позиции — это характеристика компанией NVIDIA собственной модели в сравнении с классом, который она сама определила.

Чего объявление не добавляет, так это обслуживаемого эндпоинта. Нет хостируемого API, нет цены за токен и нет способа вызвать Nemotron 3.5 Bolt, не приобретя оборудование, на котором он работает. Artificial Analysis, которая провела оценку модели, указывает поля скорости и стоимости как недоступные именно по этой причине: нет общедоступного API для измерений.

Часть, которую не запускал никто за пределами NVIDIA

Здесь статья должна замедлиться, потому что разрыв между тем, что было измерено, и тем, что было заявлено, необычно велик для модели такого размера.

Что касается измерений, есть одна цифра, и она хороша: Artificial Analysis ставит N​emotron 3.5 Bolt 74B-A9B на 21-е место в своём Intelligence Index, что делает её четвёртой из 67 моделей в её классе сравнения. Это независимое измерение фактического 2-битного чекпойнта, а не референсной сборки BF16, и это самый полезный показатель, доступный для этой модели на сегодняшний день.

На стороне заявленного находится всё остальное. В карточке модели есть таблица из тринадцати бенчмарков с четырьмя столбцами — Qwen3.6-35B-A3B в BF16, Gemma 4 26B-A4B в BF16, N​emotron 3.5 Lightning 30B-A3B в BF16 и Bolt в IQ2 — и каждая её строка была получена N​VIDIA, включая три базовых столбца, которые N​VIDIA выбрала, потому что они помещаются в 24GB с 4-битной квантизацией. Bolt — выделенный жирным победитель в десяти строках и не победитель в трёх: точность AA-Omniscience, где Gemma 4 26B-A4B набирает 22.17 против 16.90 у Bolt; отсутствие галлюцинаций в AA-Omniscience, где N​emotron 3.5 Lightning 30B-A3B набирает 68.81 против 61.27 у Bolt; и PinchBench, где Qwen3.6-35B-A3B набирает 88.07 против 87.82 у Bolt. Публикация трёх строк, в которых вы проигрываете, — это плюс в пользу вендора и не меняет того, чем является таблица: невоспроизведённой.

Цифры скорости заслуживают отдельного абзаца, потому что они идут вразрез с маркетингом. Собственная таблица измерений NVIDIA, полученная с помощью llama.cpp в Windows 11 ARM64 на Surface Laptop Ultra с 128 ГБ, показывает, что Bolt выдаёт 83,99 токена в секунду в AIPerf SPEED-Bench-Coding — уступая Qwen3.6-35B-A3B с 96,63 и Gemma 4 26B-A4B с 100,56. На той же странице длительность сквозного воспроизведения по реалистичным траекториям работы агента составляет 600,80 секунды для Bolt против 453,97 для Qwen3.6 и 480,68 для Gemma. Посыл здесь — интеллект на гигабайт, а не скорость, и собственная таблица производителя согласуется с этим посылом, а не с утверждением о том, что он самый быстрый.

Итак, структура доказательств такова: одна независимая составная оценка, которая заслуживает уважения, одна таблица бенчмарков от производителя, которую никто не воспроизвёл, одна таблица скорости от производителя на ноутбуке, которую никто за пределами NVIDIA не запускал, и ноль независимых измерений задержки. Считайте любую статью, которая приводит показатель PinchBench для Bolt, не указывая, кто его получил, ненадёжной, включая любую статью, которая соглашается с этой.

Что прибыло вместе с ним

Релиз модели редко ограничивается одними весами, а сопутствующих компонентов у Bolt больше, чем обычно бывает у чего-то без API.

Спекулятивный драфтер LiLiCorr поставляется вместе с ним — 1,13 млрд параметров без учёта общих эмбеддингов и выходной головы, обучен совместно с целевой моделью, и NVIDIA сообщает средние длины принятия 4,68 при жадном декодировании и 4,25 при вероятностной выборке с семью черновыми токенами при параллелизме 64 в vLLM. Драфтер — это отдельный загружаемый чекпойнт, а не флаг времени выполнения, и именно он лежит в основе показателя 84 TPS, указанного для RTX Spark.

Поддержка во фреймворках появилась быстро. Ollama перечисляет nemotron-3.5-bolt в трёх тегах — дефолтном, теге 74B-A9B и теге IQ2 — каждый на 25 ГБ с контекстом 256K и вводом текста и изображений, с однострочными лаунчерами для C​laude Code, OpenCode, Hermes Agent и OpenClaw. Помимо этого, есть сборка GGUF от N​VIDIA, цепочка общественных квантований в 4-битном и 8-битном форматах и MLX-конверсии, появившиеся в течение дня после анонса. Для чекпоинта, который работает на одном устройстве с 24 ГБ, появление такой экосистемы за сорок восемь часов — это настоящий сигнал о том, что это рабочий артефакт, а не демонстратор.

Практическое предупреждение для всех, кто планирует это использовать: цифра в 24GB — это нижняя граница для весов, а не потолок для рабочей нагрузки. Изображения, видеокадры, история диалога и результаты работы инструментов совместно используют бюджет контекста, и в собственной заметке Ollama говорится, что доступный контекст зависит от доступной памяти. Загрузка на 25GB, которая без проблем помещается, — это не то же самое, что сессия на 256K токенов, которая без проблем помещается.

В каком положении это вас оставляет, а в каком — нет

Если ваша рабочая нагрузка локальна и агентна — работа в терминале, просмотр веб-страниц, вызов инструментов, отладка кода на принадлежащем вам устройстве — N​emotron 3.5 Bolt 74B-A9B 24GB теперь можно считать оправданным выбором: у него есть одна независимая оценка и набор весов, которые вы можете изучить. Аргумент о сжатии, лежащий в его основе, действительно интересен, лицензия допускает коммерческое использование, а инструментарий появился в течение дня.

Если вашу рабочую нагрузку нужно вызывать из кода, работающего где-то, чем вы не владеете, эта модель сегодня не вариант, и честный ответ на вопрос «как мне её использовать» таков: вы запускаете её сами на оборудовании N​VIDIA или ждёте. Мы проверили собственный каталог, а не исходили из предположений, и в нём нет модели N​VIDIA — значит, нам здесь нечего маршрутизировать, и утверждать обратное было бы ложью. Что OrcaRouter действительно предлагает, так это вторую половину смешанного развёртывания: модели, к которым вы обратились бы, когда запрос слишком сложен, слишком длинен или слишком незнаком для локального чекпоинта с 2 битами, за одним ключом среди более чем 200 моделей по прайс-листовой цене провайдера без добавленной наценки, с автоматическим переключением при сбое, когда провайдер барахлит. Сочетание локального Bolt с маршрутизируемым API — разумная архитектура. Делать вид, что Bolt находится на стороне маршрутизации, — нет.

Смотреть надо не на следующую таблицу бенчмарков. А на то, опубликует ли кто-нибудь за пределами N​VIDIA прогон с измерением задержки для 24-ГБ чекпойнта на оборудовании, которое действительно есть у читателя, и появится ли вообще хостинговый эндпоинт. Пока не случится ни то, ни другое, спецификация — это обещание, и единственное, что за ней стоит, — одна оценка в индексе.

Подобный результат — это также напоминание о том, что ошибки моделей уже задокументированы: инциденты ИИ и сбои агентов, связанные с моделями этого класса, собраны в архиве инцидентов ИИ OrcaRouter, где каждая запись содержит собственные источники, уровень серьёзности, степень уверенности и флаг спорности.