Nemotron 3.5 Bolt 74B против Kimi K3: файл на 24 ГБ против флагмана с 2,8 триллиона параметров

Две модели в этом сравнении не конкурируют за одну и ту же нишу, и цифры делают это очевидным ещё до того, как кто-либо из поставщиков произнесёт слово. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB — это визуально-языковая модель с 74 миллиардами параметров, которую N​VIDIA сжала до 2-битного чекпоинта, достаточно малого, чтобы уместиться в 24 гигабайтах памяти вместе с операционной системой. Kimi K3 — это флагманская модель M​oonshot AI с 2,8 триллиона параметров, модель с открытыми весами, для минимально жизнеспособного развёртывания которой нужна серверная стойка. Первая — это файл, который можно скопировать на ноутбук; N​VIDIA начала поставлять его 15 октября 2026 года. Вторая — это рабочая нагрузка, которую вы арендуете по токенам. Сравнивать их результаты бок о бок полезно именно потому, что разрыв настолько велик, что никто не может делать вид, будто меньшая модель — замена.

Что действительно стоит сделать на этой странице — так это разобраться, куда уходят 22 балла Intelligence Index и приходятся ли какие-либо из них на задачи, которые фактически выполняет локальный агент.

Что и когда вышло

Репозиторий Bolt появился на Hugging Face 7 октября 2026 года; собственный пост NVIDIA о запуске, в котором он получает название, «От центра обработки данных до настольного компьютера: NVIDIA расширяет семейство Nemotron самыми эффективными моделями Super VL и Bolt», датирован 15 октября. Сама карточка модели содержит дату выпуска 15.10.2026. Этот порядок (сначала веса, а через восемь дней — анонс) важен для всех, кто читает публикации об этой модели, потому что публичная информация за эту неделю состоит из доступного для скачивания чекпойнта и карточки модели, к которой не прилагается пресс-релиз.

В остальном эти две модели разделяет всё. Kimi K3 был представлен 16 июля 2026 года, а веса вышли 27 июля, что делает его примерно на три месяца старше и значительно лучше задокументированным третьими сторонами.

• Архитектура — N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB — это гибридная модель Mamba-2–Transformer LatentMoE с визуальным энкодером C-RADIO v4-H. Kimi K3 — это разреженная смесь экспертов с 2,8 триллиона параметров, активирующая 104 млрд параметров на токен в 16 из 896 экспертов, построенная на M​oonshot K​imi Delta Attention.

• Параметры — 74B всего, 9B активных для модели N​VIDIA; 2,8T всего, 104B активных для Kimi K3. Меньшая модель активирует менее одной десятой объёма вычислений на токен большей модели.

• Объём занимаемой памяти — 24 ГБ при 2-битной квантизации (IQ2-XXS при 2,0625 бита на элемент для весов экспертов, NVFP4 для слоёв Mamba, Q8_0 для эмбеддингов и вывода) против того, во что обходится развёртывание 2,8T-параметрической модели, а это число данная страница не может выразить в гигабайтах.

• Контекст — 262 144 токена для модели NVIDIA; 1 048 576 для Kimi K3, с единой ценой независимо от длины.

• Входные данные — текст, изображения и видео на входе, текст на выходе в обоих случаях.

• Лицензия — OpenMDW-1.1 для чекпоинта NVIDIA; лицензия Kimi K3 для весов Moonshot — разрешительная для большинства видов использования, при этом отдельное соглашение требуется при годовом доходе свыше 20 миллионов долларов.

Независимые числа и то, которого не существует

Artificial Analysis прогнала обе модели — именно это и делает данное сравнение вообще возможным. Не всё в таблице было измерено для обеих, и пробелы здесь не менее информативны, чем баллы.

• Индекс интеллекта — N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB набирает 21,4 балла и занимает четвёртое место среди 67 моделей своего размерного класса на собственном сравнительном наборе панели. Kimi K3 набирает 43,6 балла в максимальном режиме рассуждений и 30,1 — в низком режиме. Оба показателя измерены независимо, а не заявлены производителем.

• Стоимость одной задачи Intelligence Index — у модели NVIDIA этот показатель отсутствует, поскольку у неё нет тарифицируемой цены: Artificial Analysis вообще не указывает для неё ни ставки за ввод, ни ставки за вывод. Kimi K3 обходится в $2.00 API-расходов на задачу индекса при $3.00 за миллион входных токенов и $15.00 за миллион выходных, а за кэшированный ввод — $0.30.

• Скорость вывода — Kimi K3 генерирует 43,8 токенов в секунду при 3,6 секунды до первого токена на стенде панели. Для модели NVIDIA не существует независимого показателя пропускной способности; собственная исследовательская страница NVIDIA публикует 83,99 токенов в секунду на AIPerf SPEED-Bench-Coding с включённым драфтером LiLiCorr, что является измерением производителя на другом бенчмарке и другой машине.

• Terminal-Bench 2.1 — 85.0 у Kimi K3 при независимом прогоне, против собственного заявления M​oonshot о 88.3. N​VIDIA указывает 50.98 для модели Bolt в своей карточке модели, так что эти два показателя находятся не в равных условиях: одно число было воспроизведено вне лаборатории, а другое — нет.

• GPQA Diamond — 93,5 у Kimi K3 независимо; 86,43 у модели NVIDIA, как опубликовано NVIDIA, при этом на панели нет независимой цифры.

• Извлечение из длинного контекста (AA-LCR) — 88,7 у Kimi K3 против 69,7 у модели NVIDIA, оба результата измерены.

• Научное программирование (SciCode) — 59,5 у Kimi K3 против 39,7 у модели N​VIDIA, оба показателя измерены.

• Точность знаний и галлюцинации — в AA-Omniscience Kimi K3 достигает 47,6 процента точности при 46,8 процента отсутствия галлюцинаций; модель NVIDIA достигает 17,1 процента точности при 56,3 процента отсутствия галлюцинаций. Эта пара — самая интересная строка в таблице и наименее лестная для простого прочтения индекса: сжатая модель знает меньше и чаще это признаёт.

Отсутствующее измерение — именно то, которое покупатель хотел бы увидеть больше всего. Никто за пределами N​VIDIA не публиковал результатов теста пропускной способности или задержки на 24-ГБ чекпоинте, а ведь в этом и заключается весь смысл выпуска 24-ГБ чекпоинта.

Куда на самом деле идут 22 очка

Разрыв в 22 пункта в индексе звучит как разница между категориями, и на некоторых задачах это действительно так. Kimi K3 лучше в научном программировании на двадцать пунктов, лучше в извлечении информации из длинного контекста на девятнадцать и лучше в научных вопросах уровня выпускника более чем на семь. Это не ошибки округления, и это не артефакты набора для сравнения.

Но история сжатия, стоящая за моделью N​VIDIA, достаточно конкретна, чтобы объяснить форму дефицита. Контрольная точка была получена с помощью Star Elastic — управляемого роутером поиска архитектуры N​VIDIA, — который взял родительскую модель 120B-A12B Super VL и искал такое число экспертов и ширину MoE для каждого слоя, чтобы уложиться в 24 ГБ при размере батча, равном одному, и контексте 128K, снизив top-K экспертов с 22 до 9, а затем квантуя экспертов до 2,0625 бита на элемент с дистилляцией с учётом квантования для восстановления точности. Это намеренный обмен сохранённых знаний на занимаемый объём. Модель, которую сжали до 2 бит на вес эксперта, сохраняет свою процедуру и теряет свои факты — вот почему строка галлюцинаций улучшается, а строка точности обрушивается.

Собственная таблица бенчмарков NVIDIA приводит тот же аргумент, но в обратном направлении. Компания публикует модель Bolt, которая обходит Qwen3.6-35B-A3B, Gemma4 26B-A4B и собственную Nemotron 3.5 Lightning 30B-A3B на Terminal-Bench 2.1, GPQA Diamond, BrowseComp и WebArena vision — то есть в агентных задачах и задачах использования инструментов — но уступает Gemma4 по точности AA-Omniscience и Qwen3.6 на PinchBench. Именно агентное исполнение и сохранила компрессия.

Оба имеют открытые веса, так что выбор сводится к электроэнергии.

Именно это отличает данное противостояние от сравнения с закрытым API. Веса Kimi K3 доступны для скачивания. Если у вас есть подходящее оборудование, вы можете сами запустить модель на 2,8 трлн параметров и не платить ничего за токен — то же предложение, что и с файлом на 24 ГБ, но в совершенно ином масштабе. Ни одна из представленных здесь моделей не заперта за вендором, который может передумать насчёт доступа.

Практическое разделение — это география развёртывания. 24-ГБ чекпоинт IQ2 работает под управлением vLLM на одном ускорителе A100, H100 или Blackwell, а собственный эталонный рецепт NVIDIA также упоминает llama.cpp и преобразование в GGUF — именно так он оказывается внутри локальных агентных обвязок на машинах RTX и DGX Spark. Рекомендуемая команда сервинга — это не однострочный переключатель: она фиксирует ночную сборку vLLM, требует загруженного плагина reasoning-parser, нуждается в ядрах b12x для линейного и MoE-бэкендов, задаёт явные бэкенды Mamba и attention и включает спекулятивное декодирование с семью черновыми токенами LiLiCorr. Это рецепт для того, кто намерен владеть машиной, а не для того, кто хочет просто транскрипт.

Kimi K3 идёт другим путём. Вся его конструкция предполагает, что вы арендуете инференс, и цена установлена соответственно — $3.00 за вход и $15.00 за выход за миллион токенов — это намеренная позиция на вершине рынка открытых весов.

Запуск сравнения вместо его чтения

Если вы хотите понять, имеет ли разрыв в 22 пункта по индексу значение для вашей рабочей нагрузки, дешёвый эксперимент — обратиться к дорогой половине. Kimi K3 присутствует в каталоге OrcaRouter как kimi/kimi-k3, на том же ключе, что и остальные более чем 200 моделей, которые мы маршрутизируем, с оплатой по прейскурантной цене провайдера M​oonshot без наценки — так что изменение цены M​oonshot вступает в силу у нас в тот же день, а не в следующем расчётном периоде. Направьте на него набор промптов, похожий на ваш реальный трафик, и измерьте разницу по сравнению с тем, что вы запускаете локально. OrcaRouter не размещает ни одной модели N​VIDIA и не может предложить эндпоинт Bolt; семейства N​emotron нет в нашем каталоге, и локальная половина этого сравнения в любом случае остаётся вопросом аппаратного обеспечения.

А вот где маршрутизация действительно оправдывает себя — так это в резервном пути. Kimi K3 — это ставка на одну модель по высокой цене, и режим отказа продакшн-агента, подключённого к одной высокопроизводительной модели, таков: проблема с мощностями на стороне провайдера превращается в инцидент. Автоматическое переключение при сбое между провайдерами за одним эндпоинтом превращает это в повторную попытку.

Как решить

Правило короче, чем предполагает разрыв.

Если в ваших требованиях фигурируют слова «офлайн», «приватный», «на устройстве» или «без оплаты за токен», Kimi K3 не является кандидатом, и сравнение окончено — модель с 2,8 трлн параметров не запустится на машине, на которой вы это читаете, а чекпойнт на 24 ГБ — запустится. Купите ноутбук, примите 21,4 в индексе и нацельте его на использование инструментов, а не на вопросы о биохимии.

Если вам нужна корректность в сложных рассуждениях, работа с длинным контекстом в сотни тысяч токенов или программирование в масштабе репозитория, модель на 24 ГБ — неподходящий инструмент, и разрыв в индексе говорит вам правду. Заплатите за Kimi K3.

Что ни один из вендоров не решил, так это промежуточный случай, потому что он зависит от цифры, которую никто не публиковал: насколько быстро 2-битный чекпоинт на самом деле работает на оборудовании, которое можно купить. Пока не появится независимый замер пропускной способности, честный ответ на вопрос «может ли файл размером 24 ГБ заменить флагман на 2,8T для моего агентного цикла» таков: разрыв в интеллекте измерим, а по задержке — пока нет.

Для модели, чьи режимы отказов всё ещё не документированы, полезным аналогом служит сводка о том, что уже пошло не так в других местах: документированные инциденты с ИИ и сбои агентов, связанные с моделями этого класса, собраны в OrcaRouter AI Incident Archive, где каждая запись содержит собственные источники, степень серьёзности, уровень уверенности и флаг оспаривания.