Nemotron 3.5 Bolt vs Nemotron 3.5 Lightning: что говорит собственная таблица NVIDIA, если прочитать оба столбца

NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB и NVIDIA Nemotron 3.5 Lightning 30B-A3B — это два уровня одного семейства, выпущенные с разницей в десять недель, и производитель уже опубликовал таблицу, где они сопоставлены напрямую. Это необычно и полезно: большинство таблиц прямого сравнения, которые вам доводится читать, составлены журналистом или производителем, подбирающим выгодные для себя сравнения, а эта — результат того, как лаборатория публично тестирует свою более новую модель против своей же более старой, причём старшая названа базовой. Она всё равно основана на данных самого производителя, и никто за пределами NVIDIA не воспроизвёл ни одной её строки — но в стоящем за ней намерении сомнений нет, как и в направлении результата. Bolt выигрывает двенадцать строк из тринадцати. Стоит разобраться, какую именно строку он проигрывает и почему эта строка — самая интересная.

Структура семейства важна прежде цифр. Nemotron 3.5 Lightning вышел 11 августа 2026 года в качестве слоя исполнения агентного стека — гибрид с 30B общих и 3B активных параметров, который NVIDIA дистиллировала из гораздо более крупной Nemotron 3 Ultra специально для того, чтобы фронтирная модель могла заниматься планированием, пока Lightning перемалывает вызовы инструментов на одном GPU. Bolt — это совершенно другая линия: он был сжат из модели 120B-A12B Nemotron 3.5 Super VL, а не из Ultra, и существует как универсальная модель для зрения и языка, которая помещается в 24 ГБ. Обе модели имеют открытые веса под лицензией OpenMDW-1.1, обе являются разреженными смесями экспертов на гибридных магистралях Mamba-2, и обе поставляются со спекулятивным декодированием — Lightning с головками Multi-Token Prediction плюс драфтерами DFlash и DSpark, Bolt с драфтером LiLiCorr, управляемым через DFlash, который предлагает семь токенов вперёд.

Общая родословная перестаёт быть полезной в тот момент, когда нужно принять решение, потому что две модели отвечают на разные вопросы. Одна — дешёвый исполнитель. Другая — локальный универсал.

Чтение таблицы по роли, а не по счёту

Все приведённые ниже цифры взяты из собственной карточки модели NVIDIA для чекпойнта Bolt 24GB, в которой Lightning указан в качестве базового варианта. Столбец Bolt — это IQ2, артефакт 2-битного квантования. Столбец Lightning — BF16, неквантованный. Эта асимметрия — самое важное, что нужно знать об этой таблице, и она играет в пользу Bolt: он выигрывает эти строки, будучи сжатым примерно в восемь раз относительно своей родительской модели.

• Общие агентные рассуждения — GDPVal-AA-V2: Bolt 28,47, Lightning 18,26. Разрыв в десять пунктов, и эта строка ближе всего к ответу на вопрос «насколько хорошо это справляется с повседневной офисной работой, для которой модель и создавалась».

• Работа в терминале — Terminal-Bench 2.1: Bolt 50,98, Lightning 23,46. Это самый большой разрыв в таблице, и это неудивительно, ведь сама NVIDIA в своих рекомендациях по Lightning указывает, что он не должен быть основным агентом. Независимая оценка зафиксировала примерно 24,6 для Lightning на том же бенчмарке, что достаточно близко к показателю вендора 23,46, чтобы предположить, что эта цифра реальна.

• Научные рассуждения и рассуждения на основе знаний — GPQA Diamond: Bolt 86,43, Lightning 75,57. SciCode: Bolt 41,02, Lightning 31,38. Humanity's Last Exam без инструментов: Bolt 25,30, Lightning 10,47. Согласованность на трёх различных типах сложных вопросов.

• Рассуждения с длинным контекстом — AA-LCR: Bolt 64.06, Lightning 49.19. Пятнадцать пунктов, и здесь ограничение памяти не является лимитирующим фактором ни для одной из моделей.

• Агентность в вебе и браузинге — BrowseComp: Bolt 66,75, Lightning 36,81. Тридцать пунктов. Крупнейший единичный разрыв в таблице и тот, что самым непосредственным образом противоречит представлению о Lightning как об автономном исполнителе.

• Плотность использования инструментов — MCP-Atlas: Bolt 52.20, Lightning 46.4. PinchBench: Bolt 87.82, Lightning 83.43. В обоих случаях разница меньше, чем в разрывах, приведённых выше, что согласуется с фактическим проектным заданием Lightning: короткие, высокочастотные шаги использования инструментов.

• Зрение — WebArena vision: Bolt 50.86, у Lightning нет записи. Это не пробел в отчётности. Lightning — это текст на входе, текст на выходе; у него нет визуального энкодера, который можно было бы оценить.

Единственная строка, в которой выигрывает Lightning, и почему это не шум

AA-Omniscience, отсутствие галлюцинаций: Nemotron 3.5 Lightning — 68,81, Nemotron 3.5 Bolt — 61,27. В части точности той же оценки они различаются менее чем на треть пункта друг от друга — 16,90 у Bolt против 16,63 у Lightning, — и поэтому разрыв в части отсутствия галлюцинаций — это не артефакт округления, а главное объяснение. Меньшая, более старая, неквантованная модель измеримо сдержаннее в высказываниях о том, чего не знает.

Это реальная находка, и у неё есть правдоподобный механизм. Bolt достиг такого компактного размера за счёт агрессивной 2-битной квантизации с дистилляцией с учётом квантизации; именно та часть этого конвейера, которая вносит потери, и управляет калиброванной неопределённостью. Lightning меньше, но работает на полной точности BF16, и целью его дистилляции была рассуждающая модель, а не степень сжатия. Если режим отказа вашего агента — это уверенный неверный ответ, который переходит в действие, то именно эту строку следует взвешивать сильнее всего, — и никакая хитрость маршрутизации не исправит модель, которая больше выдумывает.

Производители редко публикуют таблицу, содержащую строку, в которой их новая модель проигрывает. То, что в этой таблице такая строка есть, — небольшое свидетельство того, что она не является чисто рекламной.

Стоимость обслуживания — это настоящая вторая ось

Приведённые выше оценки — это ещё не всё, что определяет решение, поскольку эти две модели не одинаково дороги в эксплуатации.

• Активные параметры — Bolt активирует 9B на токен; Lightning активирует примерно 3B. В три раза больше вычислений на токен для более крупной модели, на каждом токене, всегда.

• Объём памяти — Bolt — это файл размером 24 ГБ, в котором всё уже сжато; Lightning — это 30B-чекпоинт BF16, которому нужна одна GPU и который комфортно помещается на RTX 5090, DGX Spark или Jetson-устройстве.

• Контекст — для обоих заявлено 1M токенов, и оба на практике уже. Lightning обслуживает 256K на одной H100, прежде чем математика памяти становится неудобной; опубликованное окно Bolt — 262,144, и это окно делит те же 24GB с KV-кэшем, изображениями и результатами работы инструментов.

• Заявления о скорости — NVIDIA утверждает, что Lightning благодаря своим драфтерам MTP и DFlash/DSpark обеспечивает до 4-кратного увеличения скорости вывода по сравнению с моделями аналогичного размера, и что для Bolt целевой показатель — как минимум 80 токенов в секунду при декодировании, при этом 84 измерено на AIPerf SPEED-Bench на RTX Spark, а 83,99 — в запуске llama.cpp на Surface Laptop Ultra с 128 ГБ. Оба показателя — данные производителя. Ни один из них не был воспроизведён кем-либо за пределами NVIDIA.

• Учёт — ни у нас, ни у какой платформы, на которую мы можем вам указать, нет цены за хостинг. В любом случае затраты — это ваше оборудование, и именно поэтому количество активных параметров имеет большее значение, чем при сравнении с хостингом.

Что панель могла и чего не могла измерить

У Artificial Analysis есть запись для Nemotron 3.5 Bolt 74B-A9B; модель получает 21 балл в Intelligence Index — четвёртый результат из 67 в своём классе по размеру при медиане класса 8. В полях скорости и стоимости за задачу указано N/A, потому что нет размещённого эндпоинта, к которому можно обратиться. Эти два пустых поля честно отражают состояние модели: её нижняя граница интеллекта независимо подтверждена, а потолок производительности — нет.

На момент написания для Nemotron 3.5 Lightning не существует записи в Artificial Analysis, из-за чего всё сравнение опирается исключительно на официальные данные самой NVIDIA. Единственная независимая точка данных, которая всё же существует, — проверка от LLM Stats, показавшая примерно 24,6 на Terminal-Bench 2.1, что согласуется с 23,46 у производителя, — подтверждает цифры производителя, а не противоречит им. Это внушает уверенность в отношении таблицы, но не заменяет собой второй тестовый стенд.

Как на самом деле выбрать

Заложенный замысел определяет большинство случаев ещё до того, как это делают бенчмарки. Lightning по построению является исполнителем: собственные рекомендации NVIDIA заключаются в том, чтобы позволить передовой модели планировать, а Lightning — выполнять цикл, и его лучшие строки в таблице — это высокочастотные вызовы инструментов, а не автономные агенты. Bolt по построению — универсал: та же таблица показывает его значительное преимущество в агентном браузинге и работе с терминалом, которые относятся к задачам уровня планировщика, а Lightning никогда не должен был их выполнять — и только он из этих двух способен видеть.

Композиция, для которой были созданы обе модели, — это планировщик, исполнитель и локальный специалист. Поскольку ни один из чекпоинтов не имеет цены за хостинг, разделение ложится на ваше собственное оборудование и один эндпоинт перед ним выполняет полезную работу: правило маршрутизации, которое отправляет короткие циклы вызовов инструментов в развёртывание Lightning, запросы, связанные с компьютерным зрением и управлением браузером, — в Bolt, а всё, что требует настоящего фронтирного рассуждения, — во внешнюю хостируемую модель, и всё это за одним ключом, с переключением при сбое между вышестоящими провайдерами, когда хостируемое звено деградирует. Правило живёт в конфигурации, а не в каждом сервисе, — это и есть разница между слоем маршрутизации и переписыванием.

Открытый вопрос — это один независимый прогон. Если третья сторона воспроизведёт разрывы Terminal-Bench и BrowseComp на Bolt, то 24-ГБ чекпойнт действительно является более сильным универсалом, а аргумент в пользу уровня 30B сужается до чистой экономики пропускной способности. Если нет, честное прочтение таково: 2-битная квантованная 74B и BF16 30B ближе друг к другу, чем подразумевает таблица одного вендора, — и что строка негаллюцинаций, та, в которой побеждает Lightning, заслуживает большего веса, чем предполагает её положение внизу карточки.