Nemotron 3.5 Bolt E4B 4GB: что на самом деле вышло и почему название вводит в заблуждение

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB стала доступна на Hugging Face 23 октября 2026 года, и первое, что стоит о ней сказать, — это арифметика: файл весит 6,18 ГБ. В названии указано 4 ГБ. Оба числа реальны, они измеряют разные вещи, и разрыв между ними — самый полезный факт в этом релизе.

Технический блог NVIDIA называет 4GB предполагаемым объёмом памяти для целевых рабочих нагрузок модели — бюджетом того, что модель должна занимать, пока рядом работает приложение. Это не количество параметров и не размер загрузки. Сам чекпойнт содержит всего 8B параметров при 4B эффективных, дообучен на основе Gemma-4-E4B-it и опубликован ровно в двух точностях: сборка BF16 объёмом 15.88GB и Q4_K_M GGUF объёмом 6.18GB. Если вы пришли в поисках четырёхгигабайтного файла, чтобы загрузить его на устройство, в репозитории такого нет.

Это стоит сказать прямо, потому что остальная часть релиза на удивление понятна. Карточка модели подробна, технический отчёт опубликован, а таблица измеренной задержки охватывает четыре устройства. Не хватает независимой проверки, и карточка сама об этом говорит.

Релиз, реконструированный по публичным данным

Этот так и не был запущен. Ему достались сноска, а затем пост в блоге.

• 5 октября 2026 г. — созданы репозитории Hugging Face для сборок Q4_K_M и BF16. Ни один из них не заполнен весами.

• 15 октября 2026 г. — NVIDIA анонсирует семейство Nemotron 3.5: Super VL 120B-A12B и Bolt 74B-A9B 24GB, оба доступны в этот же день. E4B удостаивается двух предложений и даты: выход 23 октября.

• 23 октября 2026 г. — публикуются веса Q4_K_M и BF16, появляется карточка модели, а исследовательская лаборатория NVIDIA публикует технический блог и технический отчёт. Корпоративного пресс-релиза нет, и освещение запуска, последовавшее за анонсом 15 октября, на этот раз не повторяется.

То, что модель «выпустили тихо», — точная формулировка, а вот «секретной» её называть было бы неверно. NVIDIA дала модели имя, указала дату и в тот же день должным образом задокументировала её. Чего она не сделала — так это не представила E4B тем же журналистам, которые освещали её «собратьев». Практическое следствие для всех, кто читает это в первые недели, таково: почти каждое утверждение ниже восходит к одному источнику — NVIDIA.

Четыре гигабайта — это бюджет, а не загрузка

Опубликованные размеры файлов однозначны, если смотреть на репозиторий, а не на название.

• Q4_K_M GGUF — 6 180 446 208 байт, или 6,18 ГБ в десятичном выражении, в одном файле с именем Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf.

• BF16 safetensors — 15 882 494 698 байт, или 15,88 ГБ, в одном шарде, плюс 110-МБ файл замороженного общего KV.

• Нет артефакта 4 ГБ — в репозитории нет меньшей квантизации, и карточка не публикует файл, соответствующий числу в названии.

Что NVIDIA действительно публикует, так это измерение llama.cpp с размером батча 1 на четырёх устройствах, и именно в этой таблице утверждение о 4 ГБ обретает конкретику:

• RTX 5070 12GB — от 3,5 до 4,3 ГБ видеопамяти, от 548 до 1238 мс времени до первого токена, от 106,2 до 133,4 токенов в секунду.

• RTX Spark 32GB — от 3,1 до 4,2 ГБ видеопамяти, от 930 до 1 988 мс до первого токена, от 52,0 до 67,0 токенов в секунду.

• Jetson Orin Nano 8GB — от 4,2 до 4,9 ГБ видеопамяти, от 5 785 до 6 259 мс до первого токена, от 13,0 до 15,5 токена в секунду.

• Jetson AGX Orin 32GB — 4,2–5,0 ГБ видеопамяти, 3 687–4 091 мс до первого токена, 20,3–24,0 токена в секунду.

Показатели VRAM ниже размера файла 6,18 ГБ, а значит, в этих запусках среда выполнения не держит весь файл резидентно в памяти GPU. В карточке механизм не объясняется, и это хороший повод не изобретать его: веса, отображённые в память, частичная выгрузка и размер KV-кэша взаимодействуют друг с другом, а NVIDIA не публиковала распределение. Можно сказать лишь то, что объём в 4 ГБ — это измеренный результат на конкретном оборудовании при конкретной среде выполнения, а не свойство загружаемого файла.

Строку Orin Nano стоит перечитать дважды, если речь идёт о голосовом помощнике. Тринадцать–пятнадцать токенов в секунду при почти шести секундах до первого токена — это рабочий встраиваемый агент и плохой партнёр для разговора в реальном времени. Строка RTX 5070 — противоположность: достаточно быстра для интерактивного использования, на настольном GPU.

Что NVIDIA на самом деле изменила в Gemma 4 E4B

Архитектура унаследована целиком. Это Gemma-4-E4B — смесь с общим числом параметров 8B и 4B эффективных параметров, а вклад NVIDIA заключается в посттренировке, а не в создании новой базовой архитектуры. В карточке работа описана как обучение с подкреплением на основе проверяемых вознаграждений и человеческой обратной связи с помощью NeMo-RL и NeMo-Gym — в таких областях, как вызов инструментов и схемы, следование инструкциям и иерархия, структурированные выходы, свободное форматирование и генеративное моделирование вознаграждений. Обучающие батчи имели соотношение 2:1 между образцами без рассуждений и образцами с рассуждениями, а NVIDIA увеличила штрафы за длину, чтобы контролировать многословность — деталь, которая позже появится в таблице бенчмарков.

Сборка Q4_K_M была создана с помощью llama.cpp с калибровкой imatrix примерно на одном миллионе токенов RL-роллаутов. Также существует драфтер DFlash для спекулятивного декодирования, который, по словам NVIDIA, обеспечил до 21% более высокую пропускную способность, чем исходный драфтер Gemma-4-E4B с предсказанием нескольких токенов. Драфтер находится в отдельном репозитории, и на момент проверки он возвращал HTTP 401 на анонимные запросы, поэтому считайте его дополнительным шагом доступа, а не загрузкой в тот же день.

Большую часть поведения определяют два переключателя шаблона чата. enable_thinking включает или выключает рассуждения и принимает бюджет рассуждений на время выполнения; conversational_mode добавляет системную инструкцию для разговорной речи, рассчитанную на короткие ответы с минимумом форматирования. Именно второй переключатель всё и выдаёт. Эта модель создана для разговора, а не для того, чтобы заполнять контекстное окно анализом.

Контекст — 64K на входе и 64K на выходе. Языковой охват составляет 34 в метаданных Hugging Face и 35 в техническом блоге — небольшое несоответствие, не имеющее существенного значения; при этом в карточке постобучения в качестве основных указаны английский, французский, немецкий, итальянский, японский, испанский и китайский.

Лицензия представляет собой стек, а не единый документ: OpenMDW-1.1 — для вклада NVIDIA, Apache 2.0 — для компонента Gemma 4. В карточке указано, что модель готова к коммерческому или некоммерческому использованию. OpenMDW является пермиссивной, но не одобрена OSI, что важнее для юридических команд, чем для разработчиков.

Таблица бенчмарков в сопоставлении с моделями, которые в ней указаны

NVIDIA оценила модель в сравнении с Gemma4 E4B-it, Qwen3.5 4B и собственной Nemotron 3 Nano-4B в единой среде NeMo-Gym. Все приведённые ниже цифры заявлены вендорами и не были воспроизведены. В карточке сказано, что цифры «могут отличаться от самостоятельно заявленных вендорами чисел»; это честная оговорка и одновременно напоминание о том, что набор для сравнения выбрала NVIDIA.

Победы сосредоточены в общении и контроле:

• RoleBench Custom — 67,05 у Bolt E4B против 53,66 у Qwen3.5 4B, 49,95 у Gemma4 E4B-it и 12,02 у Nano-4B. Это бенчмарк персон, и отрыв здесь самый большой в таблице.

• IHEval, иерархия инструкций — 84,79 против 60,57, 67,04 и 51,31. Преимущество в 17 пунктов над ближайшим конкурентом необычно при таком размере.

• When2Call Multi-Turn — 63,36 против 37,85 у Qwen3.5 4B, 62,90 у Gemma4 и 27,70 у Nano-4B. Понимание, когда не нужно вызывать инструмент, — это навык ведения диалога в такой же мере, как и агентный навык.

• RelyToolBench — 63.16 против 43.35, 61.60 и 41.20. Опора на результаты работы инструментов — снова навык, сопряжённый с ведением диалога.

MultiChallenge — 53,10 против 51,76, 42,08 и 35,30. Небольшое преимущество в обработке многоходовых испытаний.

Потери столь же очевидны, и именно они имеют значение, если вам нужен агент, а не персонаж:

• Tau2-Bench — 55,10 против 75,06 у Qwen3.5 4B. Это отставание в 20 пунктов при выполнении многоходовых агентных задач, и никакое качество персоны этот разрыв не закрывает.

• RULER на 64K — 86,99 против 95,15 у Qwen3.5 4B и 91,51 у Nano-4B. Модель принимает 64K контекста; она не извлекает информацию по всему контексту так же надёжно, как её аналоги.

• LongBench v2 при 48K — 50,50 против 59,93 у Qwen3.5 4B. Та же картина с рассуждениями по длинным документам.

• BFCL-v3 — 68,51 против 70,95 у Qwen3.5 4B. Небольшое отставание в вызове функций и победа над результатом Gemma4 — 66,39.

• EQ-Bench v3 — 39,40 против 41,17 у Gemma4 E4B-it. Единственный показатель эмоционального интеллекта, где родительская модель обходит дочернюю.

Колонка Q4_K_M интереснее, чем обычно бывает таблица квантования. Сжатие не привело к единообразной потере точности: MultiChallenge растёт с 53,10 до 55,60, RoleBench — с 67,05 до 71,21, ToolSandbox — с 68,77 до 74,13, а RelyToolBench — с 63,16 до 69,29. При этом на Tau2 показатель падает с 55,10 до 52,32, на LongMemEval — с 72,10 до 69,92, а на RULER — с 86,99 до 85,76. Четырёхбитная сборка, улучшающая несколько оценок в диалоговых задачах, выглядит правдоподобно, когда калибровочные данные берутся из собственных RL-роллаутов модели, но это всё равно измерение вендора, а шум на уровне бенчмарка у модели на 4B достаточно велик, чтобы эти отклонения не стоило воспринимать как лестницу точности.

Две строки заслуживают отдельной отметки. Brevity Bench и When2Call Multi-Turn — это оценки, которые NVIDIA описывает как закрывающие пробелы в существующих бенчмарках, и в блоге говорится, что они будут выпущены позднее. Сегодня их нельзя независимо воспроизвести — и это особенно важно для Brevity, поскольку именно эта строка несёт историю о меньшем числе выходных токенов.

Главное заявление NVIDIA состоит в том, что модель в среднем примерно на 40% лучше Nemotron 3 Nano-4B и примерно на 10% лучше аналогичных моделей, а в сравнениях с включённым режимом рассуждений выдаёт до 80% меньше выходных токенов. Показатель 80% — это утверждение о многословности, а не о точности, и он согласуется с оценкой Brevity Benchmark 82,52 — которую NVIDIA включила в собственный набор тестов. К направлению относитесь серьёзно, а к точному проценту — с осторожностью.

Что репозиторий вам не расскажет

Карточка честно рассказывает о собственных пробелах, и их стоит перечислить, поскольку они определяют, какую степень уверенности может обеспечить этот выпуск.

• Независимой оценки нет. На момент написания у Artificial Analysis нет страницы модели для E4B, и ни одна третья сторона не опубликовала воспроизведение таблицы бенчмарков из 21 строки.

• Нет цены за хостинг. В карточке указано, что листинг на Build.NVIDIA.com датирован 23 октября, но ни там, ни в карточке не опубликована цена за токен. Если вам нужен API, вы либо ведёте переговоры, либо пользуетесь бесплатным тарифом, а не читаете прайс-лист.

• Развёртывание помечено как «llama.cpp (рецепт в ожидании)», хотя быстрый старт содержит рабочие команды llama.cpp. Это противоречие в документации, а не техническое, но именно такие вещи сбивают с толку автоматизированный конвейер развёртывания.

• Цель в 4 ГБ не подтверждается файлом. Доказательством служит измеренный объём VRAM; размер загрузки — 6,18 ГБ.

• Субкарточки по безопасности, предвзятости, объяснимости и конфиденциальности существуют в виде отдельных файлов. В этой статье их аудит не проводится, и ни один независимый орган пока этого не делает.

Ничто из этого не делает выпуск ненадёжным. Это делает его преждевременным. Карточка модели, написанная командой, которая обучала модель, — лучшее из доступных описаний того, для чего предназначена модель; это не доказательство того, что модель это делает.

Где заканчиваются возможности локальной модели 4B и что поставить за ней

Честная архитектура для этого класса моделей — разделённая. Разговорный чекпоинт на 4B на Jetson или карте RTX отлично справляется с рефлекторным слоем: реакциями на wake-word, диалогом в рамках персоны, короткими вызовами инструментов, привязкой к входным данным — теми частями интерфейса, которые не могут позволить себе сетевой round trip. Это не то, что вы хотите использовать для ответа на вопрос, требующий 200K контекста или агентного плана из десяти шагов, и его собственная таблица бенчмарков это подтверждает.

Так перед каждым развёртыванием встаёт второй вопрос: что обрабатывает запросы, которые не должна обрабатывать локальная модель. Размещение хостинговой модели за тем же приложением через OrcaRouter означает единый API для 200+ моделей, 0% наценки сверх прайс-листа провайдера, и автоматическое переключение при сбоях, когда провайдер деградирует — поэтому путь эскалации — это решение о маршрутизации, а не второй SDK, второй ключ и вторая схема выставления счетов. Локальная модель остаётся быстрым путём; хостинговая модель — запасной вариант для случаев, для которых E4B никогда не обучалась.

Что изменило бы эту картину?

Три вещи, в порядке полезности. Независимый запуск бенчмарка на том же стенде решил бы, сохраняется ли профиль с высокой долей диалогов за пределами оценки NVIDIA. Опубликованный артефакт размером 4 ГБ или меньше сделал бы название буквальным. А цена на эндпоинте Build превратила бы модель из загрузки в сервис, который можно сравнивать.

До тех пор правильная трактовка остаётся узкой и полезной: NVIDIA дообучила Gemma 4 E4B, превратив её в доказуемо лучшую разговорную малую модель, опубликовала доказательства и пробелы в одном и том же документе и выпустила её через неделю после запуска семейства почти без шума. «4GB» в названии — это целевой ориентир, которому соответствует измеренный объём памяти при работе, но не соответствует размер загрузки. Планируйте хранилище исходя из 6,18 ГБ, а ожидания — исходя из 13–133 токенов в секунду, в зависимости от устройства, которое у вас на самом деле есть.