Nemotron 3.5 Bolt 74B против Nemotron 3.5 Lightning 30B-A3B: тот же рецепт, два потолка памяти

Это единственное сравнение в семействе N​VIDIA N​emotron 3.5, где обе стороны созданы одной и той же командой для одной и той же задачи в двух разных размерах, и производитель уже сам провёл прямое сопоставление. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB и N​VIDIA N​emotron 3.5 Lightning 30B-A3B — оба представляют собой гибридные чекпоинты mixture-of-experts на основе Mamba-2 с головами спекулятивного декодирования, оба выпущены под OpenMDW-1.1 для коммерческого использования, и оба предназначены для запуска самим читателем, а не для аренды в дата-центре. Lightning вышел 11 августа 2026 года. Веса Bolt были выложены 7 октября 2026 года, а N​VIDIA объявила об этом 15 октября.

Разница — в потолке памяти: 24 ГБ у одного, примерно 16 ГБ у другого в квантованном виде, и восемь пунктов Artificial Analysis Intelligence Index между ними — это то, что даёт этот потолок.

Один рецепт, запускаемый в двух размерах

Первой появилась Lightning, и она задала облик, которому следует всё поколение 3.5: гибридный стек, чередующий блоки пространства состояний Mamba-2 со слоями смеси экспертов и внимания, головы Multi-Token Prediction, позволяющие модели набрасывать несколько токенов сразу и проверять их параллельно, а также отдельные вспомогательные драфтеры — DSpark для развертываний в дата-центрах с низкой конкурентностью, DFlash и позже драфтер LiLiCorr, — которые делают спекулятивное декодирование поддерживаемой конфигурацией, а не исследовательским трюком. Дистилляция из учительской модели N​emotron 3 Ultra — вторая половина рецепта.

Bolt — это тот же рецепт, нацеленный на гораздо более жёсткий бюджет. Его 74 млрд параметров сжимаются до 24 ГБ с помощью Star Elastic — управляемого роутером поиска архитектуры от NVIDIA, который берёт родительский контрольный чекпоинт и ищет число экспертов на слой и промежуточную ширину MoE, удовлетворяющие жёсткому ограничению развёртывания при минимизации потерь от дистилляции знаний. В случае Bolt поиск был ограничен значением ниже 24 ГБ при размере батча 1 и контексте 128K, top-K экспертов снизился с 22 в родительской модели до 9, а веса экспертов затем были квантованы до IQ2-XXS при 2,0625 бита на элемент с дистилляцией с учётом квантования для восстановления точности. Слои Mamba используют NVFP4, эмбеддинги и выходные слои — Q8_0.

Родительская модель для Bolt — не Lightning. Это N​emotron 3.5 Super VL 120B-A12B, мультимодальная модель с 120 млрд параметров, которую N​VIDIA выпустила в тот же день, поэтому Bolt поставляется с визуальным энкодером C-RADIO v4-H, а Lightning — нет.

Сравнение характеристик, обе стороны в одной строке

• Общее и активное количество параметров — Bolt: 74 млрд всего, 9 млрд активных на токен. Lightning: 30 млрд всего, примерно 3 млрд активных на токен.

• Архитектура — Bolt: гибрид Mamba-2–Transformer LatentMoE плюс визуальный энкодер C-RADIO v4-H. Lightning: гибридный MoE на основе Mamba-2 с вниманием, без визуальной башни.

• Точность и занимаемый объём — Bolt: IQ2 с 2,0625 бита на элемент, упаковано до менее чем 24 ГБ. Lightning: сборки BF16, NVFP4 и других квантованных форматов публикуются отдельно.

• Контекст — Bolt: до 256 000 токенов, при этом отдельные рецепты развёртывания могут использовать меньше. Lightning: в принципе до 1 000 000 токенов, при этом примерно 256 000 — практический потолок на одном H100.

• Входные и выходные данные — Bolt: на входе текст, изображения и видео, на выходе текст. Lightning: на входе текст, на выходе текст.

• Лицензия — OpenMDW-1.1 для обоих, одобрена N​VIDIA для коммерческого и некоммерческого использования.

• Спекулятивное декодирование — Bolt: драфтер LiLiCorr через DFlash, семь спекулятивных токенов в эталонном рецепте. Lightning: головы MTP плюс драфтеры DFlash и DSpark.

• Индекс интеллекта — Bolt: 21.4, четвёртое место из 67 в своём размерном классе, независимо измерено Artificial Analysis. Lightning: 12.9, независимо измерено.

• Цена — Bolt: нигде нет тарификации по потреблению; Artificial Analysis не указывает цену за входные или выходные токены, и нет опубликованного хостируемого эндпоинта. Lightning: $0.06 за миллион входных токенов и $0.20 за миллион выходных по данным Artificial Analysis, при этом кэшированный ввод — около $0.006.

• Скорость вывода — Bolt: независимые измерения не публиковались. Lightning: 305 выходных токенов в секунду при 0,57 секунды до первого токена, оба показателя измерены независимо, что входит в число самых высоких результатов в таблице панели.

Собственное очное сравнение вендора — читайте внимательно.

В карточке модели N​VIDIA для Bolt опубликована таблица, в которой Lightning является одним из трёх базовых вариантов, и её стоит читать как аргумент, а не как табло результатов, поскольку компания выбрала бенчмарки, на которых побеждает её новая модель.

• Terminal-Bench 2.1 — Bolt 50,98 против 23,46 у Lightning. Оба запуска выполнены вендором, оба на сборке Lightning с BF16.

• GPQA Diamond — Bolt 86,43 против 75,57 у Lightning.

• BrowseComp — 66,75 у Bolt против 36,81 у Lightning.

• HLE без инструментов — Bolt 25,30 против 10,47 у Lightning.

• PinchBench — Bolt 87,82 против 83,43 у Lightning, что представляет собой гораздо более узкий разрыв, чем у остальных, и согласуется с утверждением NVIDIA о том, что Bolt является открытой моделью номер один в своём классе на этом бенчмарке.

• AA-Omniscience, уровень отсутствия галлюцинаций — Bolt 61,27 против 68,81 у Lightning. В этой строке побеждает Lightning, и именно её N​VIDIA всё равно решила опубликовать, что говорит в пользу таблицы.

• Точность AA-Omniscience — у Bolt 16,90 против 16,63 у Lightning. По сути, ничья, и в абсолютных значениях это самая слабая пара чисел в таблице.

Каждая цифра в этом списке заявлена производителем в карточке модели и не воспроизведена. С тех пор Artificial Analysis независимо измерила эти два показателя индекса — 21,4 и 12,9 — и направление совпадает, и это максимум, что можно сказать сегодня.

Когда меньшая модель — лучший ответ

Разрыв в индексации реален, и это не единственная ось. Lightning выигрывает в трёх строках, которые важны для конкретных развёртываний.

Это быстрее на коэффициент, который никто не измерял на стороне Bolt. 305 выходных токенов в секунду при времени до первого токена менее секунды — это иной класс отзывчивости по сравнению с тем, чего на данный момент можно ожидать от неизмеренного 2-битного 74B-чекпоинта, и это измерено. Собственная опубликованная пропускная способность Bolt — 83,99 токена в секунду на AIPerf SPEED-Bench-Coding при активном драфтере LiLiCorr — взята со страницы исследований N​VIDIA на машине класса ноутбука и несопоставима со стендом панели.

У него в четыре раза больше контекста. Миллион токенов против 256 000, и разница проявляется в независимой оценке извлечения информации на длинном контексте: Lightning набирает 49,19 балла по AA-LCR в таблице NVIDIA, Bolt — 64,06. Bolt лучше использует длинный контекст, но Lightning — единственный из двух, кто заявляет окно в миллион токенов, так что если задача — «прочитать весь репозиторий», потолок может значить больше, чем качество извлечения внутри него.

Это единственный из двух, у которого есть цена. Lightning доступен по цене $0.06 за миллион входных токенов и $0.20 за миллион выходных токенов, что делает его инфраструктурой, доступной по вызову, а не аппаратным проектом. Никто не опубликовал тариф на хостинг для Bolt, поэтому единственный способ запустить его — владеть самой машиной.

Чего Lightning не умеет — так это видеть. Он работает только с текстом, а Bolt принимает изображения и видео через энкодер C-RADIO v4-H, набирая 50,86 в WebArena vision, где Lightning вообще не представлен. Если агенту нужно читать скриншоты, открывать PDF-файлы или управлять браузером, уже одна эта строка решает выбор — и именно эта строка обусловлена происхождением Bolt от Super VL, а не количеством его параметров.

Во сколько на самом деле обходится запуск Bolt

Эталонный рецепт обслуживания от NVIDIA для контрольной точки на 24 ГБ — это не одна команда, которую можно скопировать и вставить. Он фиксирует конкретный nightly-образ vLLM, устанавливает пакет ядер b12x и скачивает ядра, отдельно получает файл плагина парсера рассуждений, а затем задаёт model runner v2, линейные и MoE-бэкенды на b12x, бэкенды attention и Mamba на FlashInfer, явные типы данных кэша Mamba, флаг chunked-prefill и конфигурацию спекулятивного декодирования, указывающую на драфтер LiLiCorr с семью драфт-токенами. Парсеры вызовов инструментов и рассуждений указаны явно, а ограничения медиа допускают не более одного изображения и одного видео на запрос при коэффициенте прунинга видео 0,5.

История развёртывания Lightning — это Docker-контейнер, эндпоинт, совместимый с OpenAI, и название модели, которое также можно получить у хостинг-провайдера за шесть центов за миллион токенов. На практике эта разница и составляет всё сравнение: Bolt — это работа за выходные и собственная машина, а Lightning — это полдня и счёт.

Как выбирать — и что могло бы решить этот вопрос

Выбирайте Lightning, если ваша нагрузка — текст, бюджет задержки ограничен, а потребности в контексте велики или вы предпочитаете платить за токен, а не покупать оборудование. Его независимый профиль — самая высокая измеренная скорость вывода в классе, первый токен быстрее чем за секунду, опубликованная цена — делает его наименее рискованным вариантом в семействе, а более низкая оценка интеллекта соответствующим образом учтена в цене. Это также правильный выбор по умолчанию, если вы планируете сочетать небольшой локальный исполнитель с более крупным хостируемым планировщиком — именно так N​VIDIA позиционирует его.

Выбирайте Bolt, если ваш агент работает с пикселями или запускается без сети. Строка vision — эксклюзивно его, рассуждения масштаба 74B на восемь индексных пунктов впереди, а объём 24GB — единственный в семействе, который позволяет уместить 74B-чекпоинт, дистиллированный от учителя, на одном потребительском ускорителе. Смиритесь с тем, что вы запускаете планировщик, размещённый на GPU, локально и платите за это задержкой, которую пока не можете предсказать.

Что касается хостинговой части любой из этих архитектур, OrcaRouter предоставляет модели, которые мы маршрутизируем, за одним ключом по прейскурантной цене провайдера с нулевой наценкой, а автоматическое переключение при сбое между провайдерами означает, что при проблеме с ёмкостью у вышестоящего провайдера выполняется повторная попытка, а не возвращается ошибка. Мы не размещаем ни одну модель N​emotron — каталог был проверен, а не принят на веру, и этого семейства в нём нет — поэтому на локальную часть этого сравнения никак не влияет то, что делаем мы. Маршрутизируемая конфигурация даёт план Б для планировщика на время оценки, и это здесь важно, поскольку ни у одного из этих двух чекпойнтов нет опубликованного независимого профиля задержек, по которому можно было бы рассчитать производственный путь.

Что решило бы выбор, — это одно число, которого пока не существует: независимый прогон на чекпоинте размером 24 ГБ при размере батча, равном единице, с измерением пропускной способности и задержки. Пока кто-нибудь его не опубликует, аргумент в пользу Bolt держится исключительно на двух вещах, которых Lightning не может повторить, — масштабе параметров и зрении, — а аргумент в пользу Lightning — на четырёх независимо измеренных числах.

Чего цифры не могут вам сказать, так это того, не пошло ли что-то не так на практике: задокументированные инциденты с ИИ и сбои агентов, связанные с моделями этого класса, собраны в архиве инцидентов ИИ OrcaRouter, где каждая запись сопровождается собственными источниками, оценкой серьёзности, уровнем достоверности и отметкой о спорности.