
Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma: одна и та же линия весов, два контракта декодирования
- GoogleНОВИНКАGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 за 1 млн токенов · 90 tok/s
- AnthropicНОВИНКАAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 за 1 млн токенов · 97 tok/s
- orcaНОВИНКАOrca: OrcaC2 1.02026-11-0717 tok/s
- OrcaНОВИНКАOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 за 1 млн токенов · 88 tok/s
- OrcaНОВИНКАOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 за 1 млн токенов · 133 tok/s
- OrcaНОВИНКАOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 за 1 млн токенов · 72 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 за 1 млн токенов · 127 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 за 1 млн токенов · 65 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 за 1 млн токенов · 92 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 за 1 млн токенов · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Интеллект
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 за 1 млн токенов · 193 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Интеллект
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 за 1 млн токенов · 146 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Интеллект
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Интеллект
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 за 1 млн токенов · 124 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955Интеллект
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855Интеллект
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 за 1 млн токенов · 218 tok/s
В Nemotron-Labs-Sigma-distill-8B-nfe4 сбивает с толку то, что это не улучшенная версия Nemotron-Labs-Sigma-8B. Это другой файл с другим контрактом, созданный на основе учителя из той же линии, и разница между ними не в точности — а в том, сколько раз сеть запускается, чтобы выдать слово. Базовая 8B была опубликована 5 октября 2026 года как предобученная исследовательская модель: 8,49 млрд параметров, настраиваемое число шагов шумоподавления, guidance без классификатора, который приходится подбирать вручную, и карточка, где вообще не публикуются оценки, а вместо них даётся ссылка на arXiv:2610.02665. Дистиллированная nfe4 появилась 12 ноября 2026 года с 9,03 млрд параметров, числом шагов, зашитым в контрольную точку, и единственной таблицей по отдельным бенчмаркам, которую NVIDIA разместила на карточке Sigma. Обе поддерживают только английский, обе ограничены 4 096 токенами, обе под одной и той же лицензией. Выбор между ними — это выбор того, как вы хотите, чтобы модель расходовала свои вычисления.
Что на самом деле различается, файл за файлом
Оба репозитория содержат одинаковый model_type — nemotron_labs_sigma — и оба загружаются одинаково: с trust_remote_code и файлом моделирования размером 40 КБ из репозитория. Конфигурации различаются в деталях, важных при инференсе, и почти совсем не различаются в backbone:
• Основа — идентичная структура у обоих: 34 слоя, размер скрытого слоя 4 096, FFN 14 336, 32 головы запросов и 8 голов ключей-значений, SwiGLU, RoPE, словарь на 131 072 токена.
• Параметры — 8,49B (8,489,947,136 BF16 плюс 2,097,186 F32) для базовой модели, 9,03B (9,026,818,048 BF16 плюс то же количество F32) для дистиллированной. Дополнительные 537M — это вспомогательная авторегрессионная головка считывания, которую дистиллированная модель сохраняет наряду с диффузионной головкой.
• Веса на диске — 16,99 ГБ против 18,06 ГБ, по четыре шарда в каждом.
• Контекст — 4 096 токенов для обеих версий — base и distill. Вариант instruct из той же коллекции повышает это значение до 8 192 и добавляет шаблон чата; ни у одной из представленных здесь моделей его нет.
• Шаги — базовая модель предоставляет steps и block_length во время вызова, а её карточка публикует таблицу для каждого бюджета; дистиллированная модель вообще не принимает переопределений.
• Guidance — базовой модели требуется classifier-free guidance (3.0 при 32 и 16 шагах, 2.0 при 4) и настроенная score temperature; дистиллированная модель работает при CFG 1 и score temperature 1, то есть без guidance и без настройки.
• Сэмплер — для базовой модели документация описывает DDIM на сетке log_snr с блоками по 64 токена по умолчанию; в дистилляте используется fresh_x0 с self-conditioning, переносимым между шагами, и блоки по 32 токена.
Количество шагов не является настройкой дистиллированной модели.
Это предложение в карточке модели, которое переосмысливает всё сравнение: «Количество шагов удаления шума задаётся обучением: этот вариант обучен только для NFE=4, а поставляемый в комплекте код инференса намеренно не предоставляет возможности произвольно переопределить число шагов (при других числах шагов оценка проводилась бы на необученных конечных точках фаз)».
Phased DMD дистиллирует траекторию, а у дистиллированной траектории есть фазовые конечные точки на определённых уровнях шума. Попросите четырёхшагового студента сделать восемь шагов — и вы не запускаете его медленнее ради лучшего качества, а просите его вычислять на уровнях шума, на которых он никогда не обучался. В карточке сказано, что выход деградирует. Регулятора нет.
С базовым всё наоборот. В его карточке приведена таблица — DDIM-32 с CFG 3 и temperature скоринга 0.3, DDIM-16 с CFG 3 и 0.4, DDIM-8 с CFG 3 и 0.6, DDIM-4 с CFG 2 и 0.8 — а затем добавлено предупреждение, что ниже примерно 16 шагов предобученные модели заметно теряют качество и что для генерации с малым числом шагов следует использовать дистиллированные варианты.
Если читать их вместе, эти два заявления одной и той же организации представляют собой разделение труда: база — это то, что вы настраиваете, а дистиллят — то, что вы не настраиваете. Нужна ручка настройки — берите базу. Нужна константа — берите дистиллят.

Арифметика, которая их разделяет
Приведите оба контракта к одним и тем же единицам — и причина существования дистиллированного файла станет очевидной.
• Base при рекомендуемой настройке — 33 вызова денойзера на блок из 64 токенов (32 шага плюс считывание), что составляет 1,9 токена за прямой проход.
• Базовый режим на 4 шагах — 5 вызовов на блок из 64 токенов, 12,8 токена за проход, но в карточке предупреждают, что качество заметно снижается ниже 16 шагов.
• Дистиллируйте nfe4 — 5 вызовов на блок из 32 токенов, 6,4 токена за проход, с качеством, которое публикует карточка.
• Дистилляция nfe8 — 9 вызовов на блок из 32 токенов, 3,6 токена за проход и на 4 пункта лучше по среднему значению на шести задачах.
Итак, distilled nfe4 находится между безопасной рабочей точкой base и её небезопасной: в три раза меньше прямых проходов на токен, чем в рекомендованной конфигурации base, при количестве шагов, на которое модель фактически обучалась. В этом вся предпосылка релиза, и это предпосылка о вычислениях, а не об интеллекте.
Но это не измеренная пропускная способность. В карточке базовой модели указано примерно 120–140 токенов в секунду для 256 сгенерированных токенов на одном H100 с DDPM при 32 шагах на блок из 64 токенов. В карточке дистиллированной модели показатель токенов в секунду не публикуется. Приведённые выше соотношения количества вызовов получены простой арифметикой из опубликованных чисел шагов; именно так к ним и следует относиться.
У какого из них есть числа и какова их ценность?
Здесь две карты резко расходятся — и в направлении, неудобном для базы.
Nemotron-Labs-Sigma-8B не публикует таблицу бенчмарков. Её раздел оценки состоит из двух предложений, в которых говорится, что результаты «приводятся в техническом отчёте». Всё, что можно узнать о её точности, приходится брать из arXiv:2610.02665 — статьи, которая охватывает семейство 3B и 8B, как базовые, так и дистиллированные модели, и в аннотации которой утверждается, что модели превосходят маскированные диффузионные языковые модели и авторегрессионные базовые модели, причём наибольшие стабильные улучшения достигаются в программировании.
В карточке дистиллированной nfe4 действительно публикуются числа: на десяти seed-значениях с двумя стандартными ошибками — GSM8K 86.86 ± 0.28, MATH 61.52 ± 0.20, HumanEval 60.61 ± 1.43, HumanEval+ 57.99 ± 1.20, MBPP 57.50 ± 0.61, MBPP+ 73.70 ± 1.07, среднее по шести задачам 66.36 ± 0.46. Девять из десяти значений seed находятся в диапазоне от 42 до 51, поэтому протокол описан достаточно точно для воспроизведения.
Поэтому две карточки вместе не позволяют узнать, во сколько обошлась дистилляция. Это самое полезное число в данном сравнении, и его нет, потому что в карточке учителя нет таблицы, из которой можно было бы вычесть. Утверждение существует только в статье, и его формулировка носит ориентировочный характер: примерно 8-кратное ускорение на математике и 4-кратное на кодинге благодаря дистилляции с сопоставлением распределений «с незначительной потерей точности». Эти множители указаны в статье, а не в карточках, и относятся к собственным экспериментам семейства, а не к контролируемому сравнению именно этих двух чекпойнтов, доступных сегодня в хабе.
В самой линейке distill есть ещё одна загвоздка: соседняя модель nfe16 помечена как pending_ten_seed_six_task_validation. Её среднее по трём задачам, 74.50, получено по единственному запуску с seed-42, и в карточке сказано не сравнивать его со средними по десяти seed других вариантов. Так что «самый большой — значит лучший» — это трактовка, которую карточка явно отказывается поддерживать.
Третий вариант, который никто не называет
В коллекции есть вариант, который не относится ни к одной из двух моделей этого сравнения и, пожалуй, является самым интересным файлом в ней: Nemotron-Labs-Sigma-distill-spec-8B. Это тот же учитель MS-SUSReg-8B, дистиллированный с дополнительной целью по принятию, и вместо работы в качестве чистого малошагового сэмплера он формирует черновик блока из 32 токенов своей диффузионной головой и проверяет его собственной авторегрессионной головой. Каждый раунд стоит одного вызова диффузии, а принятые токены выдаются без дополнительного прямого прохода. В карточке указано, что возвращаемый текст — это в точности жадный авторегрессионный вывод: принятие влияет на пропускную способность, но никогда на содержание.
Опубликованные показатели принятия, единичный срез: средняя принятая длина 7,91 на HumanEval, 11,86 на GSM8K, 13,37 на MBPP, с учётом бонусного токена, без учёта bootstrap-раунда. Это показатели пропускной способности, а не точности, и они несопоставимы с таблицей точности nfe4 — на это различие карточка указывает жирным шрифтом.
Практически это тот вариант, за которым стоит следить, если вопрос ставится так: «может ли диффузионная голова ускорить модель, не меняя того, что она говорит». Это не замена «из коробки» ни для одной из моделей в этом сравнении: ему требуются generate_speculative, обе головы и отключённый self-conditioning.

Как выбрать на практике
Решение сводится к четырём проверкам, и первая из них полностью исключает одну сторону для большинства читателей:
• Вы исследуете сам процесс сэмплирования — расписания guidance, количество шагов, управление траекторией, поведение classifier-free guidance? База — это модель, потому что именно у неё есть регуляторы и таблица для каждого бюджета.
• Вы создаёте что-то, что генерирует текст с фиксированной стоимостью за токен, и не хотите иметь поверхность для настройки? Моделью является nfe4 distill, потому что CFG 1 и температура оценки 1 — это полная конфигурация.
• Вам нужен ассистент? Ни в одном из них. Ни в одном из репозиториев нет шаблона чата, системного промпта, вызова инструментов, а в карточке базовой модели прямо сказано, что она не следует инструкциям. Именно для этого предназначены instruct-варианты с контекстом 8 192 токена.
• Нужен ли вам бенчмарк, на который можно сослаться? Только у distill он есть, и это собственный бенчмарк NVIDIA.
Ни один из четырёх не спрашивает о количестве параметров, и это признак того, что речь не о сравнении размеров. Разница в 537M параметров — это плата за сохранение авторегрессионной головы в файле, и для чистого диффузионного пути nfe4 она ничего не даёт — она присутствует потому, что та же архитектура лежит в основе варианта spec.
Смысл пары
NVIDIA создала одну базовую архитектуру и выпустила её дважды: один раз — как нечто для изучения, другой — как нечто для запуска. Это целостная стратегия, и именно поэтому две карты воспринимаются так по-разному: базовая карта написана для исследователя, который будет менять сэмплер, а distill-карта — для разработчика, который не будет.
Паре всё ещё не хватает того, что позволило бы честно оценить этот компромисс: оценки учителя. Пока карточка базовой модели 8B не содержит ту же таблицу по шести задачам, что и карточка дистиллята, любое утверждение о том, что дала дистилляция, относится к экспериментам статьи на уровне семейства, а не к этим двум файлам. Если NVIDIA добавит эту таблицу — а последнее редактирование карточки базовой модели 16 ноября говорит о том, что репозитории всё ещё поддерживаются, — это сравнение превратится в вычитание, а не в реконструкцию.
Пока что практический вывод узок и полезен: выбирайте base, если хотите изучить, как непрерывная диффузионная LM ведёт себя при разных бюджетах шагов; выбирайте nfe4, если вам нужны фиксированные 6,4 токена за прямой проход при опубликованной точности; и пропустите обе, если вам нужна чат-модель или контекстное окно длиннее длинного меморандума. Ни одной из них сегодня нет в каталоге OrcaRouter, и не будет, пока не появится путь обслуживания для архитектуры блочной диффузии, — а OrcaRouter действительно предлагает свыше 200 авторегрессионных моделей, с которыми можно сравнить любую из них, — всё по одному ключу, по прейскурантной цене провайдера без наценки и с автоматическим переключением при сбое, если вы хотите изолировать эксперимент от производственного пути.

