Nemotron 3.5 Bolt против Nemotron 3 Ultra: что выживает при 7,4-кратном сжатии

Две модели от одного и того же производителя, различающиеся в 7,4 раза по числу параметров и примерно на два порядка по объёму аппаратного обеспечения, необходимого для их запуска. NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB была выпущена 15 октября 2026 года в виде файла размером 24 ГБ, который работает рядом с другими вашими приложениями на устройстве Spark или графическом процессоре Blackwell. NVIDIA Nemotron 3 Ultra 550B-A55Bдоступна на Hugging Face с 3 июня 2026 года и требует не менее шестнадцати H100 в BF16.

Интересный вопрос не в том, какая из них сильнее — ответ очевиден, и преимущество здесь подавляющее. Он в том, что именно сохраняется, когда вы сжимаете большую модель до небольшого объёма памяти, потому что это показывает, какие рабочие нагрузки маленькая модель сможет вытянуть, а на каких с треском провалится. Собственная исследовательская заметка NVIDIA напрямую отвечает на часть этого вопроса, а в тех частях, на которые она не отвечает, и кроется суть настоящего решения.

Они не родитель и ребёнок, что бы ни подсказывало название.

Очевидное предположение состоит в том, что Bolt — это уменьшенная версия Ultra. Это не так, и правильное понимание этого меняет то, чего вы ожидаете от файла. Nemotron 3.5 Lightning, модель уровня 30B-A3B от 11 августа 2026 года, была дистиллирована из Ultra. Bolt — нет. Bolt сжат из Nemotron 3.5 Super VL, визуально-языковой модели 120B-A12B, с помощью управляемого роутером поиска, который NVIDIA называет Star Elastic, а затем — дистилляции с учётом квантования до 2,0625 бита на вес эксперта в формате IQ2_XXS.

Эта линия происхождения объясняет одно различие, которое важнее любой строки бенчмарка: Bolt имеет визуальный энкодер C-RADIO v4-H и принимает изображения и видео. Ultra — это текст на входе, текст на выходе, и это не пробел в отчётности — у чекпойнта нет визуальной башни, которую можно было бы оценить. Меньшая, более новая, сильно квантованная модель видит; самая крупная reasoning-модель в семействе — нет.

Что сохранило сжатие

Bolt содержит 74 миллиарда параметров, из которых 9 миллиардов активны на каждый токен, на гибридной основе Mamba-2 и Transformer. Ultra содержит 550 миллиардов, из которых 55 миллиардов активны. Соотношение активных параметров составляет 6,1 к 1, а соотношение общих параметров — 7,4 к 1, что означает, что сжатие убрало пропорционально больше общей ёмкости, чем вычислений на токен, — модель сужалась быстрее, чем становилась менее глубокой.

Что это даёт, судя по имеющимся данным:

• Независимая оценка интеллекта — Artificial Analysis присваивает Nemotron 3.5 Bolt 21 балл в своем Intelligence Index: четвертое место из 67 в классе, отфильтрованном по footprint, при медиане по классу 8. Ultra не относится к тому же классу и набирает намного больше баллов в той же версии индекса. Это измеримая цена сжатия.

• Независимая скорость — Artificial Analysis измеряет Ultra на уровне 156,1 выходных токенов в секунду, десятое место среди 74 моделей на той странице и в его верхней скоростной категории. Для Bolt те же поля показывают N/A, потому что нет хостируемого эндпоинта, к которому можно обратиться. Собственные цифры NVIDIA — 84 токена в секунду в AIPerf SPEED-Bench на RTX Spark, 83,99 в llama.cpp на Surface Laptop Ultra — сообщены производителем и не воспроизведены.

• Следование инструкциям — Ultra набирает 82.9 на IFBench. Это та строка, за которой стоит следить в агенте, который должен соблюдать длинную политику работы с инструментами, и это тот тип способности, который дистилляция с учётом квантования сохраняет неравномерно.

• Рассуждение на длинном контексте — Ultra показывает 75.2 на AA-LCR при спецификации в 1M токенов. Опубликованное окно Bolt составляет 262 144 токена, разделяя 24 ГБ с KV-кэшем, изображениями и диалогом. Широкое заявленное окно и способность его использовать — это разные свойства; здесь у более крупной модели больше и того, и другого.

• Фактологическая сдержанность — Ultra показывает 22,1 по галлюцинациям в AA-Omniscience при 77,91 по отсутствию галлюцинаций. В собственной карточке Bolt указано 61,27 по отсутствию галлюцинаций — единственная строка, где он уступает гораздо меньшей Nemotron 3.5 Lightning. Два независимых признака указывают в одну сторону: именно здесь агрессивное 2-битное сжатие обходится дороже всего, и никакой трюк маршрутизации не исправит модель, которая больше выдумывает.

Конверт развёртывания — именно там, где эти двое фактически разделяются

Это та часть сравнения, которая не сводится к оценке.

• Память — Bolt — это единый 24-ГБ артефакт, уже квантованный, рассчитанный на сосуществование с браузером и IDE на одной машине. Ultra в BF16 требует шестнадцати H100, восьми H200 или восьми узлов класса GB200 согласно его собственной карточке модели; сборка NVFP4 сужает это до восьми H100 в минимальной конфигурации. Разница между этими двумя предложениями — это разница между заказом на покупку и программой закупок.

• Конфигурация контекста — Bolt напрямую обслуживает 262 144 токена в своём опубликованном рецепте vLLM. Рецепты Ultra по умолчанию рассчитаны на 256K, и для достижения полного объёма в 1 048 576 требуется флаг окружения; именно поэтому панель фиксирует 262K для Ultra, несмотря на спецификацию в 1M. Сначала прочитайте спецификацию, затем — рецепт.

• Стек обслуживания — Bolt работает под управлением vLLM на Ampere, Hopper и Blackwell или под llama.cpp на оборудовании RTX Spark и DGX Spark, по лицензии OpenMDW-1.1, разрешающей коммерческое использование. Ultra работает по той же лицензии на параллелизме уровня дата-центра. Обе имеют открытые веса; только одна из них переносима.

• Стоимость промпта — Ultra тарифицируется по $0,60 за миллион входных токенов и $2,50 за миллион выходных токенов с 73-процентной скидкой на кэш, что составляет около $0,60 за выполнение одной задачи Intelligence Index — действительно дёшево для модели такого размера, и доступно благодаря тому, что кластером управляет кто-то другой. У Bolt цены вообще нет: ни хостингового эндпоинта, ни API от вендора, ни тарифной сетки, а в единственной независимой панели, где он указан, в обоих полях — скорости и стоимости — стоит N/A.

Читая объявление на предмет того, что в нём сказано и чего не сказано.

Чекпойнт Bolt находился на Hugging Face с 7 октября 2026 года, и к нему прилагалась только карточка модели. Анонс вендора, в котором он назван — вместе с 4-ГБ собратом Nemotron 3.5 Bolt E4B, нацеленным на игровых персонажей и датированным 23 октября, — появился 15 октября. Выкладывание весов за восемь дней до текста — не редкость, но это означает, что неделя публичной хроники вообще не содержит объяснений модели и что любой материал, написанный в этот промежуток, опирался только на карточку.

Анонс — это ещё и место, где стоит искать то, чего нет. Нет хостируемого эндпоинта, нет API, нет тарифной сетки, нет сторонней платформы, которая бы вела учёт использования Bolt, — и никто не проводил независимого бенчмарка на 24-ГБ весах. Цифры вендора реальны и конкретны, получены с помощью llama.cpp на Surface Laptop Ultra с 128 ГБ; их просто не воспроизвели за пределами NVIDIA.

Где место каждой модели и где место роутеру

Ни одна из этих моделей не входит в каталог OrcaRouter. Мы не размещаем ни один чекпойнт NVIDIA, эндпоинта Bolt не существует, как и эндпоинта Ultra, и ничто здесь не является предложением обслуживать ни один из них. Что единый эндпоинт действительно даёт, если вы запускаете одну или обе модели самостоятельно, — это способ держать локальную и хостинговую половины рабочего процесса под одним ключом — более 200 моделей в нашем каталоге стоят за одним ключом API и одним счётом, по прайсовой цене каждого провайдера, пропущенной через нас с наценкой 0%, так что изменение цены поставщиком вступает в силу на нашей стороне в тот же день, а не при следующем продлении. Запрос, которому нужно полное окно на миллион токенов или ризонер фронтенд-масштаба, уходит в хостинговую модель; локальный файл оставляет за собой высоконагруженную, чувствительную к приватности работу, которая никогда не должна была покидать здание. Автоматическое переключение при сбое означает, что деградировавший апстрим перемещает запрос, а не отклоняет его.

Размещение следует из математики развёртывания, а не из оценок. Bolt подходит для рабочей станции, когда данные не могут передаваться, когда рабочая нагрузка связана с видео или когда из-за объёма оплата за токен становится доминирующей статьёй расходов — и когда окно в 262K и уже заметный разрыв в фактической сдержанности приемлемы. Ultra подходит для конечной точки с оплатой по факту использования, когда работе нужен охват в миллион токенов, самое сильное в семействе следование инструкциям и самый низкий уровень галлюцинаций, который NVIDIA публикует в настоящее время.

Кто должен действовать, а кто должен ждать

Действуйте сейчас, если нагрузка локальная и предполагает видео: Bolt — единственная модель в этом семействе, которая одновременно умещается в 24 ГБ и способна видеть, а никакой другой открытый чекпойнт с таким объёмом не набирает 21 балл в независимом индексе. Действуйте сейчас, если нагрузка — это большой объём текстовых рассуждений с длинным контекстом: Ultra тарифицируется по потреблению, измеряется и обходится дешевле за задачу Intelligence Index, чем модель такого размера, казалось бы, имеет право стоить.

Погодите, если ваше решение зависит от пропускной способности. Скорость Bolt — это единственное измерение, по которому нигде нет независимых замеров, а для локально развёрнутой модели скорость — это то, что вы ощущаете каждую секунду каждого дня. Один сторонний прогон теста задержки на 24-гигабайтных весах дал бы больше определённости, чем следующие десять строк вендорских бенчмарков, — и пока его не существует, планирование мощностей для Bolt — это планирование вокруг утверждения.