Сгенерированная титульная карточка с надписью «Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma», подзаголовком «одна линия происхождения, два контракта декодирования» и четырьмя плитками статистики: базовая модель — 8,49 млрд параметров с настраиваемым числом шагов DDIM, дистиллированная — 9,03 млрд с фиксированными 4 оценками денойзинга на блок, у базовой — 106 загрузок против 5 у дистиллированной, а в нижнем колонтитуле указано, что все цифры взяты из карточек моделей NVIDIA и что независимого бенчмарка не существует ни для одной из них.
Guides & Insights

Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma: одна и та же линия весов, два контракта декодирования

Автор

jinhao.song

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

В Nemotron-Labs-Sigma-distill-8B-nfe4 сбивает с толку то, что это не улучшенная версия Nemotron-Labs-Sigma-8B. Это другой файл с другим контрактом, созданный на основе учителя из той же линии, и разница между ними не в точности — а в том, сколько раз сеть запускается, чтобы выдать слово. Базовая 8B была опубликована 5 октября 2026 года как предобученная исследовательская модель: 8,49 млрд параметров, настраиваемое число шагов шумоподавления, guidance без классификатора, который приходится подбирать вручную, и карточка, где вообще не публикуются оценки, а вместо них даётся ссылка на arXiv:2610.02665. Дистиллированная nfe4 появилась 12 ноября 2026 года с 9,03 млрд параметров, числом шагов, зашитым в контрольную точку, и единственной таблицей по отдельным бенчмаркам, которую NVIDIA разместила на карточке Sigma. Обе поддерживают только английский, обе ограничены 4 096 токенами, обе под одной и той же лицензией. Выбор между ними — это выбор того, как вы хотите, чтобы модель расходовала свои вычисления.

Что на самом деле различается, файл за файлом

Оба репозитория содержат одинаковый model_type — nemotron_labs_sigma — и оба загружаются одинаково: с trust_remote_code и файлом моделирования размером 40 КБ из репозитория. Конфигурации различаются в деталях, важных при инференсе, и почти совсем не различаются в backbone:

• Основа — идентичная структура у обоих: 34 слоя, размер скрытого слоя 4 096, FFN 14 336, 32 головы запросов и 8 голов ключей-значений, SwiGLU, RoPE, словарь на 131 072 токена.

• Параметры — 8,49B (8,489,947,136 BF16 плюс 2,097,186 F32) для базовой модели, 9,03B (9,026,818,048 BF16 плюс то же количество F32) для дистиллированной. Дополнительные 537M — это вспомогательная авторегрессионная головка считывания, которую дистиллированная модель сохраняет наряду с диффузионной головкой.

• Веса на диске — 16,99 ГБ против 18,06 ГБ, по четыре шарда в каждом.

• Контекст — 4 096 токенов для обеих версий — base и distill. Вариант instruct из той же коллекции повышает это значение до 8 192 и добавляет шаблон чата; ни у одной из представленных здесь моделей его нет.

• Шаги — базовая модель предоставляет steps и block_length во время вызова, а её карточка публикует таблицу для каждого бюджета; дистиллированная модель вообще не принимает переопределений.

• Guidance — базовой модели требуется classifier-free guidance (3.0 при 32 и 16 шагах, 2.0 при 4) и настроенная score temperature; дистиллированная модель работает при CFG 1 и score temperature 1, то есть без guidance и без настройки.

• Сэмплер — для базовой модели документация описывает DDIM на сетке log_snr с блоками по 64 токена по умолчанию; в дистилляте используется fresh_x0 с self-conditioning, переносимым между шагами, и блоки по 32 токена.

Количество шагов не является настройкой дистиллированной модели.

Это предложение в карточке модели, которое переосмысливает всё сравнение: «Количество шагов удаления шума задаётся обучением: этот вариант обучен только для NFE=4, а поставляемый в комплекте код инференса намеренно не предоставляет возможности произвольно переопределить число шагов (при других числах шагов оценка проводилась бы на необученных конечных точках фаз)».

Phased DMD дистиллирует траекторию, а у дистиллированной траектории есть фазовые конечные точки на определённых уровнях шума. Попросите четырёхшагового студента сделать восемь шагов — и вы не запускаете его медленнее ради лучшего качества, а просите его вычислять на уровнях шума, на которых он никогда не обучался. В карточке сказано, что выход деградирует. Регулятора нет.

С базовым всё наоборот. В его карточке приведена таблица — DDIM-32 с CFG 3 и temperature скоринга 0.3, DDIM-16 с CFG 3 и 0.4, DDIM-8 с CFG 3 и 0.6, DDIM-4 с CFG 2 и 0.8 — а затем добавлено предупреждение, что ниже примерно 16 шагов предобученные модели заметно теряют качество и что для генерации с малым числом шагов следует использовать дистиллированные варианты.

Если читать их вместе, эти два заявления одной и той же организации представляют собой разделение труда: база — это то, что вы настраиваете, а дистиллят — то, что вы не настраиваете. Нужна ручка настройки — берите базу. Нужна константа — берите дистиллят.

A generated diagram comparing the decoding contracts of the two models: the base Nemotron-Labs-Sigma-8B shown as a configurable path of 32, 16, 8 or 4 denoising steps per 64-token block with classifier-free guidance of 3, 3, 3 or 2 and score temperatures of 0.3, 0.4, 0.6 and 0.8, against the distilled nfe4 shown as a single fixed path of 4 denoising evaluations plus one readout per 32-token block at guidance 1 and temperature 1.

Арифметика, которая их разделяет

Приведите оба контракта к одним и тем же единицам — и причина существования дистиллированного файла станет очевидной.

• Base при рекомендуемой настройке — 33 вызова денойзера на блок из 64 токенов (32 шага плюс считывание), что составляет 1,9 токена за прямой проход.

• Базовый режим на 4 шагах — 5 вызовов на блок из 64 токенов, 12,8 токена за проход, но в карточке предупреждают, что качество заметно снижается ниже 16 шагов.

• Дистиллируйте nfe4 — 5 вызовов на блок из 32 токенов, 6,4 токена за проход, с качеством, которое публикует карточка.

• Дистилляция nfe8 — 9 вызовов на блок из 32 токенов, 3,6 токена за проход и на 4 пункта лучше по среднему значению на шести задачах.

Итак, distilled nfe4 находится между безопасной рабочей точкой base и её небезопасной: в три раза меньше прямых проходов на токен, чем в рекомендованной конфигурации base, при количестве шагов, на которое модель фактически обучалась. В этом вся предпосылка релиза, и это предпосылка о вычислениях, а не об интеллекте.

Но это не измеренная пропускная способность. В карточке базовой модели указано примерно 120–140 токенов в секунду для 256 сгенерированных токенов на одном H100 с DDPM при 32 шагах на блок из 64 токенов. В карточке дистиллированной модели показатель токенов в секунду не публикуется. Приведённые выше соотношения количества вызовов получены простой арифметикой из опубликованных чисел шагов; именно так к ним и следует относиться.

У какого из них есть числа и какова их ценность?

Здесь две карты резко расходятся — и в направлении, неудобном для базы.

Nemotron-Labs-Sigma-8B не публикует таблицу бенчмарков. Её раздел оценки состоит из двух предложений, в которых говорится, что результаты «приводятся в техническом отчёте». Всё, что можно узнать о её точности, приходится брать из arXiv:2610.02665 — статьи, которая охватывает семейство 3B и 8B, как базовые, так и дистиллированные модели, и в аннотации которой утверждается, что модели превосходят маскированные диффузионные языковые модели и авторегрессионные базовые модели, причём наибольшие стабильные улучшения достигаются в программировании.

В карточке дистиллированной nfe4 действительно публикуются числа: на десяти seed-значениях с двумя стандартными ошибками — GSM8K 86.86 ± 0.28, MATH 61.52 ± 0.20, HumanEval 60.61 ± 1.43, HumanEval+ 57.99 ± 1.20, MBPP 57.50 ± 0.61, MBPP+ 73.70 ± 1.07, среднее по шести задачам 66.36 ± 0.46. Девять из десяти значений seed находятся в диапазоне от 42 до 51, поэтому протокол описан достаточно точно для воспроизведения.

Поэтому две карточки вместе не позволяют узнать, во сколько обошлась дистилляция. Это самое полезное число в данном сравнении, и его нет, потому что в карточке учителя нет таблицы, из которой можно было бы вычесть. Утверждение существует только в статье, и его формулировка носит ориентировочный характер: примерно 8-кратное ускорение на математике и 4-кратное на кодинге благодаря дистилляции с сопоставлением распределений «с незначительной потерей точности». Эти множители указаны в статье, а не в карточках, и относятся к собственным экспериментам семейства, а не к контролируемому сравнению именно этих двух чекпойнтов, доступных сегодня в хабе.

В самой линейке distill есть ещё одна загвоздка: соседняя модель nfe16 помечена как pending_ten_seed_six_task_validation. Её среднее по трём задачам, 74.50, получено по единственному запуску с seed-42, и в карточке сказано не сравнивать его со средними по десяти seed других вариантов. Так что «самый большой — значит лучший» — это трактовка, которую карточка явно отказывается поддерживать.

Третий вариант, который никто не называет

В коллекции есть вариант, который не относится ни к одной из двух моделей этого сравнения и, пожалуй, является самым интересным файлом в ней: Nemotron-Labs-Sigma-distill-spec-8B. Это тот же учитель MS-SUSReg-8B, дистиллированный с дополнительной целью по принятию, и вместо работы в качестве чистого малошагового сэмплера он формирует черновик блока из 32 токенов своей диффузионной головой и проверяет его собственной авторегрессионной головой. Каждый раунд стоит одного вызова диффузии, а принятые токены выдаются без дополнительного прямого прохода. В карточке указано, что возвращаемый текст — это в точности жадный авторегрессионный вывод: принятие влияет на пропускную способность, но никогда на содержание.

Опубликованные показатели принятия, единичный срез: средняя принятая длина 7,91 на HumanEval, 11,86 на GSM8K, 13,37 на MBPP, с учётом бонусного токена, без учёта bootstrap-раунда. Это показатели пропускной способности, а не точности, и они несопоставимы с таблицей точности nfe4 — на это различие карточка указывает жирным шрифтом.

Практически это тот вариант, за которым стоит следить, если вопрос ставится так: «может ли диффузионная голова ускорить модель, не меняя того, что она говорит». Это не замена «из коробки» ни для одной из моделей в этом сравнении: ему требуются generate_speculative, обе головы и отключённый self-conditioning.

Screenshot of the Hugging Face model card for nvidia/Nemotron-Labs-Sigma-8B, showing the description of an 8-billion-parameter continuous diffusion language model that denoises in a 16-dimensional continuous token-embedding space and decodes in parallel blocks using DDPM or DDIM samplers, the note that this is the base pretrained model rather than an instruction follower, and the NVIDIA Nemotron Open Model License.

Как выбрать на практике

Решение сводится к четырём проверкам, и первая из них полностью исключает одну сторону для большинства читателей:

• Вы исследуете сам процесс сэмплирования — расписания guidance, количество шагов, управление траекторией, поведение classifier-free guidance? База — это модель, потому что именно у неё есть регуляторы и таблица для каждого бюджета.

• Вы создаёте что-то, что генерирует текст с фиксированной стоимостью за токен, и не хотите иметь поверхность для настройки? Моделью является nfe4 distill, потому что CFG 1 и температура оценки 1 — это полная конфигурация.

• Вам нужен ассистент? Ни в одном из них. Ни в одном из репозиториев нет шаблона чата, системного промпта, вызова инструментов, а в карточке базовой модели прямо сказано, что она не следует инструкциям. Именно для этого предназначены instruct-варианты с контекстом 8 192 токена.

• Нужен ли вам бенчмарк, на который можно сослаться? Только у distill он есть, и это собственный бенчмарк NVIDIA.

Ни один из четырёх не спрашивает о количестве параметров, и это признак того, что речь не о сравнении размеров. Разница в 537M параметров — это плата за сохранение авторегрессионной головы в файле, и для чистого диффузионного пути nfe4 она ничего не даёт — она присутствует потому, что та же архитектура лежит в основе варианта spec.

Смысл пары

NVIDIA создала одну базовую архитектуру и выпустила её дважды: один раз — как нечто для изучения, другой — как нечто для запуска. Это целостная стратегия, и именно поэтому две карты воспринимаются так по-разному: базовая карта написана для исследователя, который будет менять сэмплер, а distill-карта — для разработчика, который не будет.

Паре всё ещё не хватает того, что позволило бы честно оценить этот компромисс: оценки учителя. Пока карточка базовой модели 8B не содержит ту же таблицу по шести задачам, что и карточка дистиллята, любое утверждение о том, что дала дистилляция, относится к экспериментам статьи на уровне семейства, а не к этим двум файлам. Если NVIDIA добавит эту таблицу — а последнее редактирование карточки базовой модели 16 ноября говорит о том, что репозитории всё ещё поддерживаются, — это сравнение превратится в вычитание, а не в реконструкцию.

Пока что практический вывод узок и полезен: выбирайте base, если хотите изучить, как непрерывная диффузионная LM ведёт себя при разных бюджетах шагов; выбирайте nfe4, если вам нужны фиксированные 6,4 токена за прямой проход при опубликованной точности; и пропустите обе, если вам нужна чат-модель или контекстное окно длиннее длинного меморандума. Ни одной из них сегодня нет в каталоге OrcaRouter, и не будет, пока не появится путь обслуживания для архитектуры блочной диффузии, — а OrcaRouter действительно предлагает свыше 200 авторегрессионных моделей, с которыми можно сравнить любую из них, — всё по одному ключу, по прейскурантной цене провайдера без наценки и с автоматическим переключением при сбое, если вы хотите изолировать эксперимент от производственного пути.

A generated two-column scoreboard titled Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma, contrasting the distill at 9.03B parameters and 18.06 gigabytes, a fixed 4 denoising evaluations per 32-token block, guidance 1 and no tuning, a published six-task mean of 66.36, five downloads and a 12 November 2026 release, against the base at 8.49B and 16.99 gigabytes, configurable steps from 4 to 32, guidance 3 and tuned score temperature, no published benchmark table, 106 downloads and a 5 October 2026 release, with a footer noting all figures are NVIDIA-reported.