Nemotron 3.5 Bolt 24GB vs Nemotron 3.5 Lightning 30B-A3B: одно семейство — противоположные подходы к развёртыванию

Two models from one family, released four months apart, built to opposite ends of the same question. N​VIDIA Nemotron 3.5 Lightning 30B-A3B shipped in August 2026 as a high-throughput text model for data-centre serving. N​VIDIA Nemotron 3.5 Bolt 74B-A9B 24GB shipped on 15 October 2026 as a multimodal agent that fits on a laptop. Bolt has double the total parameters and three times the active parameters of Lightning, and it runs on hardware Lightning cannot start on. This is what actually separates them, and where the family resemblance is misleading.

Оба получаются по одному и тому же рецепту обучения.

N​VIDIA's technical report for the pair is explicit that both models begin with the same two stages: a 100-billion-token warm-up for multi-token-prediction heads, then a trillion tokens of distillation from the next-larger Nemotron 3 model. Lightning distils from Nemotron 3 Super Base; Bolt distils from the Nemotron 3.5 Super VL line, which is why Bolt can see and Lightning cannot.

После этого пути расходятся, и в этом расхождении — вся суть.

Lightning проходит фазу длинного контекста на 21 млрд токенов, которая расширяет его до миллиона токенов, затем конвейер пост-обучения SFT и RLVR, и выпускается как текстовая модель с 30B общих / 3B активных параметров с опциями спекулятивного декодирования DSpark, DFlash и MTP и целевым развёртыванием на одном GPU — одном H100 или одном DGX Spark с весами NVFP4.

Bolt сжат из родительской модели с 120 миллиардами параметров с помощью архитектурного поиска Star Elastic, заново присоединён к своей визуальной башне, переобучен на этапе обучения с учителем с упором на зрение, затем пропущен через сквозное обучение с подкреплением в агентных средах и, наконец, квантован до 2,0625 бит на вес эксперта с помощью дистилляции с учётом квантования. Поставляется с одним драфтером, LiLiCorr, и одной конфигурацией развёртывания: чем-то с 24 ГБ памяти и возможностью запускать его параллельно с другими приложениями.

Сопоставление характеристик, бок о бок

• Параметры — Bolt: 74 млрд всего, 9 млрд активных. Lightning: 30 млрд всего, 3 млрд активных.

• Точность в поставляемой конфигурации — Bolt: эксперты IQ2_XXS по 2,0625 бита на элемент, слои Mamba NVFP4, эмбеддинги и внимание Q8_0. Lightning: NVFP4 повсеместно для чекпойнта развёртывания, с эталонным релизом BF16 для кастомизации.

• Контекст — Bolt: 262 144 токена. Lightning: один миллион токенов — результат специального этапа обучения работе с длинным контекстом.

• Модальность — Bolt: на входе текст, изображения и видео. Lightning: только текст. В записи Artificial Analysis для каждой модели это указано на одной и той же панели с одинаковой формулировкой, что делает её одной из немногих строк, где эти две модели можно напрямую сравнить без оговорок.

• Аппаратное обеспечение хоста — Bolt: ноутбуки RTX Spark, ПК GeForce RTX, DGX Spark, DGX Station, рабочие станции RTX PRO. Lightning: DGX Spark или H100, либо Blackwell и Ampere через W4A16.

• Спекулятивное декодирование — Bolt: LiLiCorr, драфтер на 1,13 млрд параметров, семь черновых токенов на шаг. Lightning: DSpark для низкопараллельных задач, также опубликованы DFlash и MTP.

• Лицензия — OpenMDW-1.1 для обоих, и оба разрешены для коммерческого использования.

Единственное место, где оба измеряются кем-то другим

These two models have something most of the N​emotron family lacks: entries on the same independent panel, measured the same way. That makes the comparison unusually clean for a family-internal matchup.

Artificial Analysis присуждает Nemotron 3.5 Lightning 13баллов в своём Intelligence Index — это 28-е место из 141 модели, а Nemotron 3.5 Bolt 74B-A9B получает 21балл и занимает четвёртое место из 67 моделей в своём классе. Эти классы не идентичны — Bolt — средняя модель с открытыми весами, Lightning — малая, — поэтому эти места нельзя сравнивать напрямую, но баллы индекса получены по одной и той же методологии на одних и тех же оценках.

Speed is where the gap inverts, and this is the single most decision-relevant fact about the pair. The panel measures Lightning at 307 output tokens per second, first of 63 models on that dimension. It reports Bolt's speed as unavailable, because there is no public API serving it and the panel's speed measurement requires one. The only throughput figure that exists for Bolt is N​VIDIA's own: 83.99 tokens per second on AIPerf SPEED-Bench-Coding, on a Surface Laptop Ultra with 128GB of memory, with the drafter attached.

Сопоставьте это вместе, и история семейства становится конкретной. Судя по имеющимся у нас цифрам, Lightning примерно в три с половиной раза быстрее Bolt, причём в варианте, который можно арендовать с оплатой за токены; Bolt заметно умнее по тому же индексу и работает на машине, которую вообще нельзя арендовать.

Три способа, которыми разрешается выбор

Если нагрузка высокообъёмная и предполагает только текст, Lightning — это не компромисс, а более подходящий инструмент. Контекст в миллион токенов при 307 токенах в секунду с опубликованной ценой в шесть центов за миллион входных токенов и двадцать центов за миллион выходных — это конкретная и полезная вещь, и Bolt не может сравниться ни по скорости, ни по объёму контекста на оборудовании любого типа.

If the workload is visual, there is no decision to make. Bolt accepts images and video and Lightning does not, and no amount of context or throughput substitutes for a modality that is absent. The WebArena vision row in N​VIDIA's own table — 50.86 for Bolt, with Lightning not listed at all — is what that looks like when it moves from a spec sheet into a benchmark.

Если рабочей нагрузке приходится выполняться без сети, Bolt — единственный из этих двух, для которого выпущен готовый пакет. Целевым вариантом развёртывания для Lightning является один H100 или DGX Spark с чекпоинтом NVFP4, то есть сервер; для Bolt — файл размером 24 ГБ на ноутбуке, который вдобавок запускает браузер. Различие не в возможностях, а в том, где находится машина.

Что семья получает от отправки обоих

The interesting thing about this pair is not that one beats the other. It is that N​VIDIA built the cheap one first, then spent four months building the expensive one to fit somewhere the cheap one could not go.

Lightning — это ставка на пропускную способность: немного активных параметров, огромный контекст, рассчитана на многократное обслуживание на одном GPU. Bolt — это ставка на плотность: огромное число параметров, сжатое в фиксированный бюджет памяти, чтобы один пользователь на одной машине локально получал нечто ближе к поведению фронтирного агента. Эти две системы оптимизируют разные соотношения — токены в секунду на GPU против интеллекта на гигабайт на устройство — и то, что Bolt набирает 21 против 13 у Lightning, не является поражением Lightning, потому что Lightning не поместился бы на машине, для которой был создан Bolt, в той форме, в которой существует Bolt.

There is also a data point for the compression argument itself. Bolt's vendor table includes Lightning as one of its baselines, and Bolt beats it on nearly every agentic row: 50.98 against 23.46 on Terminal-Bench 2.1, 66.75 against 36.81 on BrowseComp, 17.01 against 9.48 on Tau3 Banking, 28.47 against 18.26 on GDPVal-AA-V2. Those are N​VIDIA's own numbers comparing two of its own models in the same table, and the honest reading is that compressing a 120B parent beats training a 30B model from scratch at the same target size. That is precisely the claim Star Elastic was invented to support.

Что это значит для всех, кто создаёт агента

The pairing suggests a shape rather than a winner. Lightning handles the high-volume, long-context, text-only middle of an agent's work where throughput and context are the binding constraints. Bolt handles the local, visual, latency-tolerant work that cannot leave the machine. Neither is a replacement for the other, and N​VIDIA's own framing of the family — Ultra for the hardest reasoning, Lightning for throughput, Bolt for the edge — is an admission that the boundary is real.

What neither model solves is the part of the stack that is not local and not N​VIDIA's. We do not host either checkpoint; the OrcaRouter catalogue has no N​emotron entry, so there is no endpoint or rate to quote for these two. What a gateway contributes to a mixed stack is the other side: one key across 200-plus hosted models, provider list price passed through with no markup added, automatic failover when a provider degrades, and a routing DSL for describing escalation across models as configuration. The choice between Bolt and Lightning is made on your hardware and in your harness. What happens when the task exceeds both, or when a request has to reach a model neither of them can be, is the part that lives behind an endpoint.

Что попробовать первым?

Если у вас есть GPU с 24 ГБ и соединение с сетью, которое то появляется, то пропадает, Bolt — более интересный вариант для загрузки: он новее, он мультимодальный и умеет то, чего не умеет ни один другой выпуск в семействе.

If you have a DGX Spark, an H100, or an application where latency is the product, Lightning has been generally available since August, has an independent speed measurement that puts it first in its class, has a published price, and has had two months for the ecosystem to find its sharp edges. Bolt has had one day, its drafter is a mandatory third download, and nobody outside N​VIDIA has measured its latency.

Оба утверждения могут быть верны одновременно. Для этого и нужна семья.

Этот разрыв между тем, что измеряет табло результатов, и тем, с чем сталкивается реальное развёртывание, — как раз поэтому этот реестр важен: задокументированные сбои ИИ и инциденты с агентами, связанные с моделями этого класса, собраны в Архиве инцидентов ИИ OrcaRouter, где каждая запись содержит собственные источники, уровень серьёзности, оценку уверенности и отметку об оспаривании.