Сгенерированная титульная карточка с надписью NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB vs GPT-5.6 Sol, с панелями, на которых указано: Artificial Analysis Intelligence Index — 21 против примерно 59, контекстное окно — 262 144 токена против 1 050 000 токенов, тарифицируемая цена — отсутствует против 4 долларов за миллион входных и 20 долларов за миллион выходных токенов, а измеренная скорость — Н/Д против 1,63 секунды p50 до первого токена. В футере отмечено, что показатели индекса, контекста и задержки измерены независимо, тогда как заявленная NVIDIA пропускная способность для Bolt основана на данных производителя и не воспроизведена. Логотип OrcaRouter расположен в правом нижнем углу.
Guides & Insights

Nemotron 3.5 Bolt против GPT-5.6 Sol: у одной из этих двух моделей есть цена

Автор

Rowan Sterling

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

Эти две модели нельзя сравнивать по стоимости — и это самое полезное в таком сравнении. NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB — это файл размером 24 ГБ: скачайте его, и предельная цена миллионного токена — это электроэнергия. GPT-5.6 Sol — это флагманская хостинговая модель с тарификацией $4.00 за миллион входных токенов и $20.00 за миллион выходных токенов, с опубликованным p50 времени до первого токена 1,63 секунды и 535,5 миллиона токенов трафика за последние семь дней. У одной из этих двух есть тарифная сетка. У другой — требование к аппаратному обеспечению, а это счёт иного рода, который приходит один раз.

Обе модели реальны, и обе уже выпущены. Чекпойнт NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB лежал на Hugging Face с 7 октября 2026 года, и к нему не прилагалось ничего, кроме карточки модели, а собственное объявление вендора о линейке Bolt последовало 15 октября — восемь дней спустя, в посте, где названы и эта модель, и её 4-ГБ собрат. GPT-5.6 Sol присутствует в прайс-листе OpenAI с 9 июля 2026 года. Если на этой неделе вы выбираете между ними, решение не в том, какая из них умнее. А в том, может ли рабочая нагрузка покинуть вашу машину.

A screenshot of the OrcaRouter model page for GPT-5.6 Sol, showing the identifier openai/gpt-5.6-sol, a release date of 2026-07-09, capability chips for Vision, Tools, JSON and Reasoning, a 1M-token context window with a 128K maximum output and text, image and file input, published rates of $4.00 per million input tokens and $20.00 per million output tokens, a p50 time to first token of 1.63 seconds and a p95 of 6.03 seconds, and the OpenAI-compatible base URL api.orcarouter.ai/v1.

Что означает разрыв двадцать один против пятидесяти девяти

Artificial Analysis присваивает Nemotron 3.5 Bolt 74B-A9B оценку 21 по своему Intelligence Index, ставя его на четвёртое место из 67 моделей в той категории сравнения, в которую он помещён. GPT-5.6 Sol находится в верхней части диапазона пятидесятых по той же версии индекса. Разрыв где-то около сорока пунктов огромен, и, если сформулировать это так, он завершает спор, не успев его начать.

Разрыв — это также два разных измерения, скрытых за одним числом. 21 — это лучший результат, который какая-либо модель с открытыми весами показала при таком размере, — Artificial Analysis фиксирует медиану для сопоставимых моделей с открытыми весами на уровне 8 и отмечает, что Bolt оказывается «среди ведущих моделей по интеллекту при сравнении с другими моделями с открытыми весами аналогичного размера». Примерно 59 — это то, что выдаёт передовая лаборатория, когда память не является ограничением. Ни одно из чисел не является неверным. Они отвечают на разные вопросы: сколько интеллекта помещается в 24 ГБ и сколько интеллекта можно купить за деньги.

То, что панель не смогла измерить, интереснее того, что смогла. На странице Artificial Analysis для Bolt скорость указана как N/A, а стоимость за задачу Intelligence Index — как N/A, по простой причине: нет хостируемого эндпоинта, к которому можно обратиться. Все цифры скорости, которые существуют для этой модели, взяты из собственного бенчмарка NVIDIA: в исследовательской заметке указана проектная цель не менее 80 токенов в секунду при декодировании и сообщается о 84 токенах в секунду в AIPerf SPEED-Bench на RTX Spark, а также о 83,99 токена в секунду при запуске llama.cpp на Surface Laptop Ultra с 128 ГБ. Возможно, они вполне точны. Никто за пределами NVIDIA их не воспроизвёл, и вам следует относиться к ним как к заявлению производителя, пока кто-нибудь не сделает этого.

A screenshot of the Artificial Analysis model page for Nemotron 3.5 Bolt 74B-A9B, showing an Intelligence Index of 21 with a rank of fourth of 67, speed marked N/A for output tokens per second, cost marked N/A for cost per Intelligence Index task, a verbosity rank of eleventh of 13 at 230 million output tokens, and technical specifications listing reasoning enabled, text and image input, text output, a 262K context window, 74B total parameters and 9B active parameters.

Где хостируемая модель структурно впереди

Три различия вовсе не связаны с интеллектом, и каждое из них делает локальный файл непригодным для определённого класса задач.

• Контекст — GPT-5.6 Sol предоставляет окно в 1 050 000 токенов с максимальным выводом в 128 000 токенов; Nemotron 3.5 Bolt поддерживает до 262 144 токенов. Вчетверо более широкое окно — не роскошная функция, когда задача — репозиторий или архив контрактов в одном запросе. Окну Bolt также приходится делить 24 ГБ с KV-кэшем, изображениями, видеокадрами и историей диалога, а значит, практический потолок наступает раньше, чем предполагает спецификация.

• Типы входных данных — GPT-5.6 Sol принимает текст, изображения и файлы; Nemotron 3.5 Bolt принимает текст, изображения и видео, а возвращает текст. Это настоящее преимущество Bolt в работе с видео и реальный пробел в работе с документами, поскольку PDF, переданный как файл, не нужно растрировать, разбивать на страницы или анализировать покадрово.

• Доступность — GPT-5.6 Sol — это URL. Nemotron 3.5 Bolt — это развёртывание vLLM, требующее чипов Ampere, Hopper или Blackwell, либо запуск llama.cpp на устройстве RTX Spark или DGX Spark. Одним из них вы сможете пользоваться уже через четыре минуты.

Есть четвёртое различие, которое связано не столько с возможностями, сколько с учётом потребления: каждый вызов облачной модели создаёт отдельную позицию в счёте, а каждый вызов локальной — нет. Для цикла классификации или извлечения с большим объёмом эта инверсия значит больше, чем сорок индексных пунктов.

Что на самом деле даёт владение файлом

Nemotron 3.5 Bolt 74B-A9B — это разреженная модель смеси экспертов с 74 миллиардами параметров и 9 миллиардами активных на токен, построенная на гибридной основе Mamba-2 и Transformer, которую NVIDIA называет LatentMoE, с прикреплённым визуальным энкодером C-RADIO v4-H для мультимодальной работы. Это артефакт сжатия в самом буквальном смысле: NVIDIA взяла модель 120B-A12B Nemotron 3.5 Super VL, применила управляемый роутером поиск, который называет Star Elastic, чтобы уменьшить её до 74B-A9B, затем провела дистилляцию с учётом квантизации до 2,0625 бита на вес эксперта — формат IQ2_XXS — чтобы уместиться в 24 ГБ без переобучения с нуля. Лицензия — OpenMDW-1.1, которая разрешает коммерческое и некоммерческое использование.

Отсюда следуют два следствия. Первое: модель работает на рабочей станции бок о бок с другими приложениями, а не вместо них, — именно это и делает локального агента жизнеспособным в принципе. Второе: она поставляется со встроенным спекулятивным декодированием: драфтер LiLiCorr, работающий через DFlash, предлагает на семь токенов вперёд, и именно оттуда берётся значительная часть этих 84 токенов в секунду.

Собственная таблица бенчмарков вендора, которую никто за пределами NVIDIA не воспроизвёл, ставит 24-ГБ чекпойнт выше всех бейзлайнов в той же таблице — Qwen3.6 35B, Gemma 4 26B и собственного Nemotron 3.5 Lightning 30B-A3B от NVIDIA — по GDPVal-AA-V2 (28.47), Terminal-Bench 2.1 (50.98), GPQA Diamond (86.43), SciCode (41.02) и BrowseComp (66.75). Воспринимайте эти данные как утверждения о том, как сжатая 74B-модель соотносится с несжатыми моделями, которые в три раза меньше её, — именно это они и призваны показать, — а не как сравнение с флагманской моделью, доступной через хостинг.

A generated two-column scoreboard titled NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB vs GPT-5.6 Sol, owning against renting. The left column, tagged OWN IT, lists a 24GB vLLM or llama.cpp deployment, no price per million tokens because nothing is metered, hardware and power and amortisation as the cost of a 20K-in and 3K-out call, a 262,144-token widest window, text images and video input, and no independently published speed. The right column, tagged RENT IT, lists a hosted endpoint, $4.00 in and $20.00 out per million tokens, about $0.68 per call, a 1,050,000-token window, text images and files input, and a 1.63 second p50 time to first token. The OrcaRouter logo sits bottom-right.

Честно оценивая две половины

У размещённой половины цена однозначна. GPT-5.6 Sol представлен в каталоге OrcaRouter как openai/gpt-5.6-sol по прейскурантной цене провайдера OpenAI и передаётся с добавленной наценкой 0% — $4.00 за миллион входных токенов и $20.00 за миллион выходных токенов, те же цифры на нашей странице, что и у вендора, а это значит, что изменение на стороне вендора отражается у нас в тот же день, а не при следующем продлении контракта. Ввод на 20 000 токенов с выводом на 3 000 токенов стоит $0.08 за вход и $0.60 за выход, то есть около $0.68 за вызов.

У локального варианта нет цены, которую мы готовы выдумать. Для Nemotron 3.5 Bolt нет ни размещённого эндпоинта, ни тарифной сетки, ни сторонней платформы, которая бы измеряла его использование и на которую мы могли бы вам указать. Назначить ему цену — значит оценить GPU, энергопотребление и период амортизации — арифметика, которая должна быть в вашей таблице, а не в нашей, потому что ответ полностью зависит от того, сколько вы его запускаете.

Эта асимметрия — как раз то место, где слой маршрутизации делает что-то конкретное, а не декоративное. Nemotron 3.5 Bolt отсутствует в нашем каталоге, и мы его не обслуживаем; ничто здесь не является предложением разместить у себя чекпойнт NVIDIA. Что действительно даёт единая конечная точка — это возможность держать локальную и размещённую половины рабочего процесса под одним ключом, так что запрос можно отправить в GPT-5.6 Sol, когда ему нужен контекст на миллион токенов или файловый ввод, и в ваше собственное развёртывание Bolt, когда это не требуется, — причём правило, определяющее, что к чему, написано один раз, а не жёстко зашито в каждом сервисе. Если у провайдера хостинга возникают сбои, автоматическое переключение при отказе переносит запрос, а не приводит к его сбою.

Какой выбрать?

• Выбирайте Nemotron 3.5 Bolt 74B-A9B 24GB, когда данные не могут покидать пределы организации, когда нагрузка связана с видео, когда объём достаточно велик, что оплата за токены становится основной статьёй расходов, или когда вы хотите запустить агента на оборудовании, которым уже владеете. Смиритесь с окном в 262K и показателем индекса, который примерно втрое меньше, чем у размещённой модели. Проверьте заявления о пропускной способности на собственном устройстве, прежде чем планировать под них ресурсы.

• Выбирайте GPT-5.6 Sol, когда задаче нужен самый широкий контекст, ввод файлов, самое мощное доступное рассуждение и контракт поддержки за этим. Платите $4 и $20 за миллион токенов за такую привилегию и учтите, что максимальный вывод в 128K — это более длинный одиночный ответ, чем сможет комфортно вместить 24GB-объём памяти.

• Запускайте оба, когда рабочий процесс чётко разделяется, что для большинства агентных систем и происходит. Локальный файл обрабатывает высокочастотную, малозначимую, чувствительную к приватности половину; хостируемая модель обрабатывает запросы, которым нужен охват.

Открытый вопрос — тот же самый, который поднял последний сжатый Nemotron и на который никто не ответил: первые независимые измерения пропускной способности и задержки для 24 ГБ весов, проведённые кем-то, кто не работает в NVIDIA. Пока этого не существует, нижний порог интеллекта этой модели подтверждён извне, а её потолок скорости — нет, — и при локальном развёртывании скорость — это та половина, которую вы ощущаете.