Сгенерированная титульная карточка с текстом «Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron 3.5 Lightning 30B A3B», подзаголовком о том, что один — это исследовательский чекпойнт диффузионной модели с пятью скачиваниями, а другой — production MoE с 962 098 скачиваниями, и футером, где указано, что оба набора цифр приведены по данным производителя и между ними нет общих бенчмарков.
Guides & Insights

Nemotron-Labs-Sigma-distill-8B-nfe4 против Nemotron 3.5 Lightning 30B A3B: два релиза NVIDIA, которые никогда не конкурируют

Автор

Gideon Frost

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

Если поставить Nemotron-Labs-Sigma-distill-8B-nfe4 и Nemotron 3.5 Lightning 30B A3B в одно предложение, так и хочется спросить, какая из них умнее. У этого вопроса нет ответа, и не потому, что данных мало, — а потому, что у двух моделей нет ни общего бенчмарка, ни длины контекста, ни стека обслуживания, ни процесса релиза. Nemotron-Labs-Sigma-distill-8B-nfe4 — это 8B-модель непрерывной диффузии, которую NVIDIA опубликовала 12 ноября 2026 года без анонса и которую скачали пять раз. Nemotron 3.5 Lightning 30B A3B — это гибридная смесь экспертов Mamba-2 и attention на 30B всего и 3B активных параметров, которая вышла в августе с карточкой модели, эндпоинтом build.nvidia.com и 962 098 загрузками в прошлом месяце. Полезное сравнение — не в цифрах рейтинга. Оно в том, какую из них вы действительно можете показать пользователю и для чего.

Эти две карточки описывают разные продукты, а не разные уровни.

Сравните разделы со сценариями использования — и разница перестанет сводиться к возможностям. В карточке Sigma-distill сказано, что она предназначена для «исследований генерации с учётом задержки, исследований спекулятивного и параллельного декодирования и экспериментов с ориентацией на развёртывание», а также указано, что модель «работает офлайн на собственном оборудовании пользователя; NVIDIA не предоставляет никакого сервиса». Карточка Lightning указывает на OpenAI-совместимую конечную точку по адресу integrate.api.nvidia.com, тег контейнера vLLM, рекомендуемую пару параметров сэмплирования — temperature 1.0 и top_p 0.95, переключатель режима рассуждений в шаблоне чата и три отдельных черновых чекпоинта для спекулятивного декодирования.

Один — это файл. Другой — это сервис, за которым стоит файл. Это различие определяет почти всё остальное в этом материале:

• Параметры — 8B dense (9.03B в переписи safetensors, если учитывать вспомогательную головку считывания) против 30B всего при 3B активных на токен.

• Архитектура — декодер в стиле Ministral с 16-мерной головой непрерывной диффузии против чередующихся слоёв Mamba-2, MoE и селективного внимания с головами многотокенного предсказания.

• Контекст — 4,096 токенов для промпта и вывода вместе против до 1,000,000, с той оговоркой, что один H100 достигает лишь около 256,000, а для полного миллиона нужны восемь H100, GB200 или B200.

• Языки — только английский или английский плюс языки программирования, испанский, французский, немецкий, итальянский и японский, причём китайский — на этапе посттренировки.

• Форма релиза — только карточка и веса, без вендорского эндпоинта, без анонса относительно хостингового эндпоинта, эталонная сборка BF16, сборка NVFP4 и три черновые модели для спекулятивного декодирования.

• Загрузки за последние тридцать дней — пять против 962 098 только в репозитории BF16, не считая 901 381 в сборке NVFP4.

• Лицензия — NVIDIA Nemotron Open Model License для обоих, хотя в карточке Lightning она указана как OpenMDW-1.1.

Единого эталона нет, поэтому нет и счёта.

Вот та часть, которую большинство страниц сравнения обошли бы молчанием. Карточка Sigma-distill сообщает результаты по GSM8K, MATH (Minerva), HumanEval, HumanEval+, MBPP и MBPP+ на десяти сидах с двумя стандартными ошибками, а также среднее по шести задачам — 66,36. Карточка Lightning сообщает результаты по MMLU Pro, GPQA Diamond, HLE, SciCode, SWE-bench Verified, SWE-bench Multilingual, Terminal-Bench 2.1, PinchBench, BrowseComp, τ³-bench Banking, GDPval-AA-V2, IFBench, AA-LCR и AA-Omniscience. Пересечение — пустое множество. Ни один бенчмарк не фигурирует на обеих карточках.

Это не случайность отчётности. Две оценки намеренно проверяют разные вещи. Шесть задач Sigma — это рассуждения с короткими ответами и дополнение кода объёмом в несколько сотен токенов; задачи Lightning — это агентная программная инженерия, извлечение информации из длинного контекста и профессиональные знания. Модель с окном в 4 096 токенов и без шаблона чата не может пройти испытательный стенд SWE-bench, а модели, обученной дописывать тело функции, не задают вопросы GPQA.

Так что единственное честное разграничение здесь такое: на своих собственных шести задачах Sigma-distill nfe4 даёт в среднем 66.36 при десяти сидах — это реальное число по реальному протоколу, и оно ничего не говорит о том, как он поведёт себя на чём-либо, на чём измеряли Lightning. Любой, кто говорит вам, что один лучше другого, сравнивает пустоту.

A generated chart showing that the two model cards share no benchmark: on the left, the six Nemotron-Labs-Sigma-distill-8B-nfe4 tasks with ten-seed accuracies of GSM8K 86.86, MATH 61.52, HumanEval 60.61, HumanEval+ 57.99, MBPP 57.50 and MBPP+ 73.70, mean 66.36; on the right, the Nemotron 3.5 Lightning 30B A3B evaluations including MMLU Pro 81.94, GPQA Diamond 75.44, SWE-bench Verified 51.56 and Terminal-Bench 2.1 24.58, with a divider marking that no task appears on both sides.

Скорость — вот где сравнение становится интересным — и где оно остаётся нерешённым.

Обе модели быстры по-своему, и это трудно свести к одной оси, и это единственное место, где в этом сравнении есть реальное содержание.

Sigma-distill генерирует 32 токена на блок ровно за 4 оценки шумоподавления плюс одно считывание. Пять прямых проходов, 32 токена: 6,4 токена за прямой проход. Поскольку число шагов фиксировано обучением, это соотношение не меняется от длины промпта или длины вывода — оно постоянно, и код инференса в карточке не позволяет его переопределить. В карточке родительской модели указано 120–140 токенов в секунду на одном H100 при 32 шагах на блок из 64 токенов; дистиллированный вариант вообще не публикует показатель токенов в секунду, поэтому арифметика «в 6,4 раза меньше проходов» не является измеренной пропускной способностью.

Lightning идёт другим путём. Это MoE с 3B активных параметров, поэтому каждый прямой проход дешёв, и NVIDIA поставляет DSpark как рекомендуемый по умолчанию вариант спекулятивного декодирования, а DFlash и собственные головы многотокенного предсказания — как альтернативы. Его показатели пропускной способности также не указаны на карточке в токенах в секунду — но его загрузки и рецепт обслуживания говорят о том, что он использовался в продакшене, чего нельзя сказать о Sigma.

Важное различие: ускорение Sigma является структурным и постоянным на токен, тогда как ускорение Lightning — спекулятивным и зависящим от рабочей нагрузки. Фиксированный контракт «5 вызовов на 32 токена» предсказуем в том смысле, в каком коэффициенты принятия черновика не бывают предсказуемыми никогда. Кроме того, сегодня его невозможно измерить, поскольку никто не опубликовал ни одного показателя пропускной способности для контрольной точки nfe4.

Сколько вам стоит запуск каждого из них

Sigma-distill — это 18,06 ГБ весов bfloat16, распределённых по четырём шардам, загружаемых через eager-код PyTorch из самого репозитория с trust_remote_code, на GPU CUDA, без paged attention, без continuous batching и без квантованной сборки в коллекции. Цены за токен нет, потому что нет эндпоинта: карточка NVIDIA указывает, что модель работает на вашем оборудовании и что NVIDIA не предоставляет никакого сервиса.

Lightning имеет противоположную форму. Веса BF16 — 31,6 млрд параметров; собственная производственная рекомендация NVIDIA — вместо этого использовать сборку NVFP4, и для её карты поставляется рецепт vLLM (тег контейнера vllm/vllm-openai:v0.27.1) с бэкендом FlashInfer Mamba, кэшем SSM FP16 и префиксным кэшированием, а также образ SGLang для Hopper и Blackwell. Ни на карточке товара, ни на build.nvidia.com нет каталожной цены — эндпоинт подпадает под условия пробного использования API NVIDIA, — но сторонние платформы указывают для модели цену примерно $0,05 за миллион входных токенов и $0,20 за миллион выходных токенов. Эта цифра — наблюдение на торговой площадке, а не цена производителя.

Ни одна из этих моделей не входит в каталог OrcaRouter, и было бы нечестно подразумевать обратное. Что доступно в OrcaRouter — это окружающий набор для сравнения: более 200 моделей за одним ключом, цена провайдера по прайс-листу передаётся без наценки, поэтому снижение цены у поставщика отражается в тот же день, а не при кварциальном пересмотре тарифной сетки. Если вы читаете это потому, что вам нужно выбрать базовый вариант для сравнения с Sigma, именно оттуда и берётся этот базовый вариант.

Выбирайте по конверту, а не по баллам

Четыре вопроса позволяют разобраться в этом менее чем за минуту, и ни один из них не касается точности бенчмарков:

• Помещается ли задача в 4,096 токенов? Если нет, Sigma-distill отпадает, и вопрос закрыт. Окно Lightning на миллион токенов — 256K на одном H100 — на три порядка больше.

• Требует ли задача диалога, инструментов или структурированного вывода? У Sigma-distill ничего этого нет: ни шаблона чата, ни системного промпта, ни JSON-режима; стоп-строки и бюджет токенов — единственные механизмы остановки. Lightning поставляется с шаблоном чата и переключателем режима размышления.

• Нужно ли вам обслуживать более одного запроса одновременно? У Sigma нет стека обслуживания — поддерживаемый путь — это Python-скрипт на одном GPU. У Lightning есть две интеграции с движками и опубликованный рецепт параллелизма.

• Вас интересует сам механизм декодирования — блочная диффузия, дистилляция с малым числом шагов, самоспекуляция? Тогда Sigma-distill — единственный из двух, который представляет интерес, а Lightning — совершенно неподходящее сравнение.

Всё остальное следует из этих четырёх. Команда, оценивающая Sigma для продукта, на самом деле спрашивает, можно ли превратить исследовательский чекпоинт в сервис; команда, оценивающая Lightning, спрашивает, вписывается ли гибридный MoE с 3B активных параметров в бюджет. Это разные разговоры.

Где противостояние станет реальным

Две вещи превратили бы эту страницу в настоящее прямое сравнение, и ни одной из них пока не существует.

Первое — это общий бенчмарк. Если у Sigma когда-нибудь появится результат по MMLU Pro или GPQA, или у Lightning когда-нибудь появится результат по GSM8K или HumanEval при сопоставимом формате промпта, будет что сравнивать. До тех пор честная позиция — та, что выше: два непересекающихся набора оценок, о которых сообщает один и тот же вендор, на моделях, которые не могут пройти тесты друг друга.

Второй — путь обслуживания. Sigma-distill сейчас представляет собой репозиторий, который вы клонируете, и скрипт, который вы запускаете; пул-реквесты в SGLang, упоминающие диффузию Nemotron, нацелены на более старое семейство Nemotron-Labs-Diffusion-8B и по состоянию на 17 ноября всё ещё открыты, а в реестре vLLM архитектуры nemotron_labs_sigma нет вообще. Как только блочно-диффузионная модель с фиксированным числом шагов получит paged attention и батчинг, её преимущество в 6,4 токена за проход станет числом, которое можно поставить рядом с долей принятия при спекулятивном декодировании — и это сравнение стоило бы опубликовать.

Screenshot of the Hugging Face model card for NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, showing the model description as a hybrid Mamba-2, mixture-of-experts and attention model with 30B total and 3B active parameters, the release date of 08/11/2026, the OpenMDW-1.1 licence, and the evaluation table beginning with MMLU Pro at 81.94 and GPQA Diamond at 75.44.

До тех пор практический вывод таков: NVIDIA выпустила две модели для двух аудиторий в одну и ту же осень, и только одна из них была продуктом. Lightning — это та, к которой можно обратиться уже сегодня, с поведением кэша, контекстным окном и поддержкой движка, которые подразумевает сервис. Sigma-distill — это та, которую вы скачиваете, если вам важно, сможет ли непрерывная диффузия при 8B удержать 66.36 на шести задачах при пяти прямых проходах на каждые 32 токена — вопрос о декодировании, а не о возможностях, и на него не ответит никакое сравнение с 30B MoE, сколько бы их ни проводили.

A generated two-column scoreboard titled Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron 3.5 Lightning 30B A3B, contrasting context of 4,096 tokens against up to 1,000,000, English only against seven languages, five downloads against 962,098, no vendor endpoint against a hosted OpenAI-compatible endpoint, no engine support against vLLM and SGLang recipes, and a fixed 6.4 tokens per forward pass against speculative decoding, with a footer noting that no benchmark is shared between the two cards.