Сгенерированная титульная карточка для Nemotron-Labs-Sigma-distill-8B-nfe4 с указанием выпуска 12 ноября 2026 года, 8 миллиардов параметров, фиксированные 4 оценки шумоподавления на блок из 32 токенов, пять скачиваний и ноль лайков за последний месяц, а также нижний колонтитул, в котором указано, что все показатели взяты из карточки модели NVIDIA и не были независимо проверены.
Engineering & Research

Nemotron-Labs-Sigma-distill-8B-nfe4 появился без анонса, набрав всего пять скачиваний

Автор

jinhao.song

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

На момент написания этого материала 17 ноября 2026 года Hugging Face насчитал {{1}}пять скачиваний{{/1}} у {{2}}nvidia/Nemotron-Labs-Sigma-distill-8B-nfe4{{/2}} за последние тридцать дней и {{3}}ноль лайков{{/3}}. Вот и вся реакция, которую к настоящему моменту получила {{4}}языковая модель с 8 миллиардами параметров{{/4}}, опубликованная NVIDIA шестью днями ранее. Не было {{5}}ни поста в блоге{{/5}}, {{6}}ни страницы на build.nvidia.com{{/6}}, {{7}}ни треда о запуске{{/7}}, {{8}}ни таблицы бенчмарков в пресс-релизе{{/8}}. В карточке самого чекпоинта дата выпуска указана как {{9}}11/12/2026{{/9}}; первый коммит в репозитории — {{10}}9 ноября в 05:47 UTC{{/10}}, а последняя правка была {{11}}16 ноября{{/11}} и переписала конвертацию, чтобы сохранить {{12}}fp32-тензоры геометрии{{/12}}. Всё нижеследующее взято из этого репозитория, его конфигурационных файлов и технического отчёта, на который он ссылается; неподтверждённые части помечены как таковые, а не заполнены домыслами.

Репозиторий — единственный первоисточник, и он на удивление однозначен.

Большинство тихих релизов оставляют карточку-заглушку. Этот — нет. Он включает файл происхождения, манифест целостности контрольной точки с SHA-256, хеш целостности токенизатора, четыре подкарточки Model Card++, а также конфигурацию генерации, которая фиксирует сэмплер. Такой уровень учёта получаешь, когда модель прошла внутренний процесс релиза, а затем её просто не объявили: все артефакты, которые обобщил бы пост о запуске, на месте — не хватает только самого поста.

Статья, стоящая за этим, реальна и датирована: arXiv:2610.02665, Large Language Continuous Diffusion Models, статья NVIDIA с семнадцатью авторами, чья v2 вышла 12 ноября — в тот же день, когда, согласно карточке, появились веса. В статье Nemotron-Labs-Sigma описывается как первое семейство крупномасштабных непрерывных диффузионных языковых моделей с 3B и 8B. В разделе оценки карточки её цифры приписываются «проверенной статистике по десяти сидам и шести задачам из переданного 10 ноября пакета ограниченного релиза» — фразе, которая говорит о том, что файл распространялся приватно как минимум два дня до того, как были включены публичные репозитории.

Screenshot of the Hugging Face model card for nvidia/Nemotron-Labs-Sigma-distill-8B-nfe4, showing the model overview describing an 8-billion-parameter continuous diffusion language model distilled with Phased Distribution Matching Distillation, the native 4-NFE 32-token block generation contract, the NVIDIA Nemotron Open Model License, and the release date line reading Hugging Face 11/12/2026.

Что на самом деле находится в чекпоинте

Отбросьте словесные описания, и спецификация окажется короткой. Каждая строка ниже взята из config.json, generation_config.json или карточки:

• Backbone — декодерный трансформер в стиле Ministral: 34 слоя, размер скрытого слоя 4 096, FFN 14 336, 32 головы запросов и 8 голов ключей-значений при размерности головы 128, SwiGLU, RoPE с блоком масштабирования YaRN в конфигурации.

• Головка генерации — 16-мерная диффузионная головка непрерывных токеновых эмбеддингов, при этом вспомогательная головка авторегрессионного считывания сохраняется в контрольной точке, а не отсекается.

• Число параметров — 8,0 млрд по названию в карточке, 9,03 млрд по подсчёту safetensors (9 026 818 048 тензоров BF16 плюс 2 097 186 F32), 18,06 ГБ в четырёх шардах. Разница между этими двумя числами — вспомогательная голова.

• Контракт декодирования — блоки по 32 токена, ровно 4 вычисления функции денойзинга плюс одно считывание, то есть 5 вызовов денойзера на блок, что составляет 6,4 сгенерированных токена на прямой проход.

• Сэмплер — нативный путь fresh_x0 с переносом самокондиционирования между шагами, guidance без классификатора, зафиксированный на 1, температура скора, зафиксированная на 1.

• Контекст — 4,096 токенов для промпта плюс генерация. Только на английском. Остановка не по EOS-токену; вы останавливаетесь на строках или при достижении лимита токенов.

• Среда выполнения — PyTorch 2.4 или новее, Transformers 4.55 или новее, trust_remote_code, GPU CUDA с bfloat16. CPU явно не поддерживается, и карточка объясняет причину: на CPU сэмплер численно деградирует и выдаёт непригодный результат.

• Лицензия — NVIDIA Nemotron Open Model License, которая, как указано в карточке, разрешает коммерческое и некоммерческое использование. В карточке также указано в разделе вариантов использования, что модель работает офлайн на вашем оборудовании и что NVIDIA не предоставляет никакого сервиса.

Эта последняя строка важна для всех, кто предполагал, что где-то существует эндпоинт Sigma. Это не так. На build.nvidia.com нет записи Nemotron-Labs-Sigma, и модель отсутствует в каталоге OrcaRouter вместе с остальной линейкой Nemotron — так что сегодня вызывать нечего, можно только скачать.

Четыре чекпоинта, четыре разные модели

Такое именование создаёт впечатление, будто варианты — это одна модель с четырьмя настройками. Это не так: каждое значение NFE — отдельно дистиллированный студент, и в карточке прямо сказано, что число шагов встроено в модель. «Этот вариант обучен только для NFE=4, и прилагаемый код инференса намеренно не предоставляет произвольное переопределение числа шагов» — потому что при других числах шагов оценка происходила бы на границах фаз, на которых студент никогда не обучался. Поэтому вы не настраиваете nfe4 на два шага при инференсе; вы скачиваете nfe2.

Опубликованные средние значения по шести задачам — все по десяти сидам, с двумя стандартными ошибками — впервые в этом семействе делают этот компромисс наглядным:

• NFE 2 — GSM8K 80.17, MATH 55.72, HumanEval 48.17, MBPP 37.52; среднее по шести задачам 53.02. 3 вызова денойзера на блок, 10.7 токена на вызов.

• NFE 4 — GSM8K 86.86, MATH 61.52, HumanEval 60.61, MBPP 57.50; среднее по шести задачам 66.36. 5 вызовов на блок, 6.4 токена на вызов.

• NFE 8 — GSM8K 88.44, MATH 64.40, HumanEval 65.18, MBPP 62.60; среднее по шести задачам 70.34. 9 вызовов на блок, 3.6 токена на вызов.

• NFE 16 — GSM8K 89.61, HumanEval 67.68, MBPP 66.20, среднее по трём задачам 74.50. 17 вызовов на блок, 1.9 токена на вызов. И оговорка, которой нет у остальных трёх: этот чекпойнт помечен как pending_ten_seed_six_task_validation, его показатели — это один запуск с seed 42 на трёх задачах, и в карточке сказано, что их следует считать предварительными и не сравнивать напрямую.

Форма этой лестницы — самое интересное. Удвоение шагов с 2 до 4 даёт 13,3 балла среднего по шести задачам. Повторное удвоение до 8 даёт 4,0. Переход к 16 даёт ещё ~4 на трёх запускавшихся задачах — по другой, более слабой оценке. Иными словами, кривая дистилляции резко выполаживается именно там, где модель становится конкурентоспособной, а чекпойнт nfe4 находится чуть дальше точки перегиба.

A generated bar chart of the Nemotron-Labs-Sigma-distill-8B checkpoints, plotting six-task mean accuracy against denoising evaluations per 32-token block: NFE 2 at 53.02, NFE 4 at 66.36 and NFE 8 at 70.34 as ten-seed figures, with NFE 16 shown separately at a three-task mean of 74.50 and marked as a single seed-42 run pending validation.

Откуда берутся числа и где они заканчиваются

Каждая цифра выше принадлежит NVIDIA, получена NVIDIA на собственном оценочном стенде NVIDIA и представлена с таким числом сидов, что выглядит независимее, чем есть на самом деле. Десять сидов с двумя стандартными ошибками — серьёзный протокол: он говорит, что оценка nfe4 HumanEval 60.61 имеет интервал ±1.43, достаточно широкий, чтобы не считать реальным разрыв в два пункта с чем бы то ни было. Но десять сидов одного и того же стенда — это не десять лабораторий.

Что не существует по состоянию на 17 ноября: страница Artificial Analysis для любой модели Sigma, любая запись в публичном каталоге цен на модели, любая поддержка в vLLM или SGLang и любое стороннее воспроизведение. Проверка быстрая, и результат пустой. В реестре моделей vLLM в ветке main нет архитектуры nemotron_labs_sigma; pull-запросы SGLang, в которых упоминается Nemotron diffusion, относятся к более старой линейке Nemotron-Labs-Diffusion-8B и всё ещё открыты. В Transformers нет встроенного модуля nemotron_labs_sigma, поэтому в карточке указано загружать с trust_remote_code и включать в комплект 40-КБ файл моделирования из репозитория вместе с весами.

Итак, честный статус таков: выпущенный чекпоинт с опубликованным протоколом оценки и нулевой внешней верификацией. Это обычное состояние для диффузионной языковой модели в ноябре 2026 года, и это не критика модели — это описание того, в какой мере на карточку можно опираться при планировании.

Это запускается Python-скриптом, а не серверным стеком.

Быстрый старт карточки — это одиннадцать строк: загрузить токенизатор и модель с помощью remote code, привести к bfloat16, вызвать generate с максимальным числом токенов и необязательными стоп-строками и прочитать обратно число NFE, которое сообщает модель. В этом репозитории нет шаблона чата, нет системного промпта, нет вызова инструментов и нет режима JSON — в карточке прямо сказано, что это промптинг в стиле бенчмарка, а модель представляет собой дистиллированного студента базового чекпоинта, а не ассистента. Если вам нужен диалог, в коллекции есть instruct-вариант родительской модели с контекстом в 8 192 токена.

{{1}}Две операционные детали заденут любого, кто читает по диагонали.{{/1}} Во-первых, остановка: здесь нет остановки по token-ID EOS, поэтому запрос, который так и не выдаст вашу стоп-строку, будет работать до исчерпания бюджета токенов, а этот бюджет делится с промптом в окне на 4 096 токенов. Во-вторых, память: 18 ГБ весов bfloat16 ещё до любого KV-кеша, на модели, единственный поддерживаемый путь для которой — код PyTorch eager из самого репозитория; в коллекции нет ни paged attention, ни continuous batching, ни квантованной сборки. {{2}}Единственный запрос на одном GPU — это поддерживаемая конфигурация на сегодня.{{/2}}

Пропускная способность — это тот показатель, который люди захотят узнать, но карточка не приводит его для этого чекпойнта. Карточка родительской модели сообщает примерно 120–140 токенов в секунду для 256 сгенерированных токенов на одном H100 при использовании сэмплера DDPM с 32 шагами на блок из 64 токенов. Дистиллированный nfe4 выполняет 5 вызовов на 32 токена вместо 33 вызовов на 64, что по количеству вызовов означает чуть более чем в четыре раза меньше прямых проходов на токен, — но это арифметика по числам шагов, а не измерение этого чекпойнта, и карточка не публикует для него показатель токенов в секунду.

Что не подтверждено

Три вещи, которые прояснил бы пост о запуске, а этот релиз — нет:

• Намерена ли NVIDIA выпустить это как продукт или как исследовательский артефакт. Лицензия разрешает коммерческое использование, и карточка написана в продуктовом ключе, но нет ни хостингового эндпоинта, ни заявления о поддержке, ни упоминания в каком-либо сообщении блога NVIDIA вплоть до 16 ноября включительно.

• Чем ценен учитель. В карточке сказано, что ученик был дистиллирован от учителя «MS-SUSReg-8B» из того же семейства архитектур, а в файле происхождения указан запуск 8b_ms_susreg_n4_20261109 на шаге ученика 1200. Выпущенная базовая модель Nemotron-Labs-Sigma-8B описывается как относящаяся к той же линии, — но в карточке базовой модели совсем не публикуются числа, только ссылка на статью, поэтому потери дистилляции нельзя прочитать, сопоставив две карточки.

Screenshot of the nvidia/nemotron-labs-sigma collection page on Hugging Face, listing fourteen repositories: the 3B and 8B base and instruct models, distill variants at NFE 2, 4, 8 and 16 for both sizes, and self-speculative distill checkpoints for 3B and 8B, with the collection description reading continuous diffusion language models, base, instruct, few-step distilled and self-speculative variants.

• Является ли чекпоинт nfe16 лучшим представителем семейства или артефактом незавершённой оценки. Его показатели — самые высокие в карточке и наименее заслуживающие доверия, и карточка сама это признаёт, а это большая откровенность, чем удаётся большинству примечаний к выпуску.

Почему тихий релиз — это и есть главная новость

Этой осенью NVIDIA выпустила много всего — Bolt, Super VL, Transcribe, линейку Dory, и всё это сопровождалось блог-постами и страницами на build.nvidia.com. Sigma появляется без всего этого, от той же организации, со статьёй, лицензией, четырьмя подкарточками Model Card++ и счётчиком, показывающим пять скачиваний. Наиболее вероятное прочтение: это исследовательский релиз, намеренно выведенный за пределы продуктовой поверхности: заявленное назначение карточки — «исследования генерации с учётом задержки, исследования спекулятивного и параллельного декодирования», а это язык лабораторного артефакта.

Для читателя, который решает, стоит ли это его внимания, практический вопрос не в том, хороша ли модель в отвлечённом смысле, — а в том, превосходит ли непрерывная диффузионная LM с 4-NFE, контекстом 4K и без сервинг-стека авторегрессионную модель, уже стоящую в вашем пайплайне. Чтобы ответить на это, её нужно запустить, а арифметика, которая оправдывает час GPU, проста: 6,4 токена за прямой проход против одного у стандартного декодера. Выдержит ли это проверку вашей рабочей нагрузкой — именно это показал бы отсутствующий независимый бенчмарк.

OrcaRouter не обслуживает этот чекпойнт, и он не появится с ценой за токен, пока кто-нибудь не построит путь инференса для блочно-диффузионной архитектуры с фиксированным числом шагов — модель затрат не соотносится с входными и выходными токенами так, как это делает авторегрессионный API. Что доступно в OrcaRouter — это набор для сравнения: более 200 авторегрессионных моделей за одним ключом по цене из прайс-листа провайдера без наценки, так что на вопрос Sigma можно ответить, опираясь на реальную базовую линию, а не на карточку. Маршрутизация обоих через одну конечную точку — также самый дешёвый способ держать эксперимент вне вашего производственного пути, пока вы принимаете решение.