NVIDIA тихо выпустила драфтер для флагманской модели Meta на 816 млрд параметров

NVIDIA published nvidia/Muse-Spark-Open-816B-A42B-DFlash2 to Hugging Face on October 16, 2026, and told nobody. The repository is a draft checkpoint — a 4.38-billion-parameter speculative-decoding model whose entire job is to guess the next several tokens of Muse-Spark-Open-816B-A42B, Meta's 816-billion-parameter open-weight flagship, so the large model can verify a whole block of guesses in one forward pass instead of emitting one token at a time. There is no NVIDIA blog post, no announcement thread, no press release, and as of writing the repository shows zero downloads and zero likes. What it does have is a model card with acceptance-length tables, a working vLLM invocation, and a short list of things it conspicuously declines to claim. This is what the artifact says and what it does not. What the numbers cannot tell you is whether any of it has gone wrong in the field: the documented AI incidents and agent failures around models in this class are collected in the OrcaRouter AI Incident Archive where each entry carries its own sources, severity, confidence grade and disputed flag.

Что вышло — в порядке, в котором это можно проверить

Всё нижеследующее взято из репозитория или из собственного API Hugging Face для него. Ничто из этого не требует доверия к вендорскому бенчмарку.

• Хронология — репозиторий был создан в 04:40 UTC 16 октября 2026 года, а его веса были закоммичены примерно через сорок минут; в строке о релизе в самой карточке указано «Huggingface: 10/16/2026». На блоге разработчиков NVIDIA нет сопроводительной публикации, а карточка модели ссылается только на статью DFlash и проект Model Optimizer.

• Артефакт — один файл safetensors в BF16, 4 384 162 432 параметра, около 8,8 ГБ на диске. Класс архитектуры — DFlash2DraftModel, с пятью плотными слоями декодера, некаузальным вниманием со скользящим окном размером 2 048, скрытым размером 8 192, 128 головами запросов против 16 голов ключ-значение по 64 измерения каждая и словарём из 202 048. Размер блока — 8; драфт использует пять слоёв целевой модели — 3, 19, 31, 47 и 59 — из 62.

• Доступ к нему не ограничен — Hugging Face сообщает, что репозиторий публичный и неограниченный. Вы можете скачать драфтер прямо сейчас, в то время как целевой репозиторий Meta всё ещё находится за страницей входа с принятием условий.

• Стек лицензий — черновой чекпоинт регулируется NVIDIA Open Model Agreement, а карточка добавляет поверх Meta's Muse Model License, при этом для всего, что создано на его основе, требуется атрибуционная строка "Built with Muse Spark Open".

• Происхождение, указанное NVIDIA — в собственном уведомлении карточки о сторонних компонентах прямо говорится, что Muse-Spark-Open-816B-A42B «не принадлежит NVIDIA и не разработана ею», а также что этот драфтер «был обучен NVIDIA для использования с этой целевой моделью». Обучающие промпты взяты из NVIDIA Nemotron-Post-Training-Dataset-v2 — примерно 3,48 млн многоязычных образцов, охватывающих математику, программирование и STEM, а ответы синтезированы целевой моделью на пяти уровнях усилий при рассуждении.

• Инструментарий — в карточке сказано, что модель обучалась на «предрелизной сборке NVIDIA Model Optimizer 0.47». Model Optimizer 0.47.0 стал публично доступен 23 сентября 2026 года, а 0.48.0rc0 последовала 8 октября, так что рецепт, из которого вышел этот драфтер, теперь может воспроизвести и третья сторона.

Это не первый драфтер для этой модели и не первый драфтер NVIDIA.

Оба этих факта важны для оценки того, что здесь действительно ново, потому что любой из них по отдельности заставил бы дроп казаться чем-то, чем он не является.

NVIDIA с лета тихо публикует драфтеры семейства DFlash для открытых весов сторонних разработчиков: MiniMax-M2.7-DFlash в середине июня, Kimi-K2.6-DFlash, а затем Kimi-K2.7-Code-DFlash на протяжении июня и июля, и драфтер Nemotron 3.5 Lightning 30B в начале августа. Драфтер Muse Spark Open от NVIDIA — это следующий пункт серии, а не дебют.

Muse Spark Open также уже имел драфтеры до этого. Чекпоинт DFlash2 от сторонней организации был опубликован на Hugging Face 13 октября, а чекпоинт DSpark для той же цели был последний раз обновлён 15 октября — оба примерно через месяц после того, как собственный day-zero стек Meta назвал DFlash V2 для одного рантайма и DSpark для другого. Так что «драфтер существует для Muse Spark Open» — это не главное.

История более узкая и более полезная: собственный чекпоинт NVIDIA, обученный с помощью Model Optimizer, BF16 DFlash2 теперь существует для модели, опубликован для оборудования Blackwell с vLLM в качестве протестированного движка. Если вы выбираете, какой драфтер запускать, выбор на самом деле — это выбор стека обслуживания, и именно здесь два пути расходятся.

Числа и точные условия, связанные с ними

NVIDIA сообщает одну величину по трём тестовым наборам: длину принятия — среднее число токенов, выдаваемых за один шаг генерации, — измеренную при длине черновика 7.

• MT-Bench, 80 вопросов из двух ходов — 3,73 токена на принятый шаг при жадном декодировании и 3,01 при сэмплировании. Математика — самая сильная категория с 4,47; гуманитарные науки — самая слабая с 2,92.

• SPEED-Bench, качественная оценка, 880 запросов в 11 категориях — 3,72 при жадном декодировании и 3,01 при сэмплировании. Многоязычность достигает 4,27, программирование — 4,15, тогда как письмо отстаёт с показателем 3,05.

• Пропускная способность SPEED-Bench при входных данных на 32 000 токенов — 3,30 при жадной стратегии и 2,78 при сэмплировании, и вот здесь картина портится: корзина с высокой энтропией падает до 2,51 при жадной стратегии и 2,16 при сэмплировании против 3,71 для текста с низкой энтропией.

• Условия — reasoning effort xhigh, 4 096 выходных токенов, параллелизм 32, на одном узле GB300 при TP4 и EP4, обслуживаемом через vLLM с целевой моделью в NVFP4. Показатели жадной генерации соответствуют temperature 0; показатели сэмплирования — temperature 1.0 без усечения top-p или top-k, с использованием вероятностного метода сэмплирования драфтов.

Три оговорки следует поместить рядом с этими числами, а не под ними. Во-первых, они сообщены производителем, и мы не воспроизвели ни одну из них, и никто другой не опубликовал независимых измерений этого чекпойнта. Во-вторых, длина принятия — это не ускорение, а потолок, от которого вычисляется ускорение. Каждый принятый токен всё ещё должен быть проверен моделью с 816 миллиардами параметров, а собственный прямой проход драфтера тоже чего-то стоит; NVIDIA не опубликовала ни отношения токенов в секунду, ни сравнения задержек, а именно эти числа хотел бы видеть читатель, решающий, развёртывать ли это. В-третьих, всё это измерялось при параллелизме 32, а это не тот режим, где спекулятивное декодирование обычно даёт наибольший выигрыш: выигрыш сосредоточен в ограниченных по задержке, низкобатчевых одиночных потоках, а нагруженный сервер получает меньше.

Эти таблицы вообще не измеряют качество выходных данных. Верификация при жадном декодировании предназначена для возврата собственных токенов целевой модели, поэтому столбец с жадным декодированием близок к чистому утверждению о скорости. Столбец с семплированием — это то, что стоит проверять на собственном трафике, потому что вероятностный драфтер меняет способ обхода распределения, а не только скорость.

Как бы вы на самом деле его включили

Карточка приводит один поддерживаемый вариант вызова, и это единственный флаг на сервере vLLM. Вы обслуживаете целевую модель и передаёте драфтер через аргумент speculative-config: метод — «dflash», модель — контрольная точка NVIDIA, количество спекулятивных токенов — 7, метод сэмплирования драфта — вероятностный, а команде требуется доверие к удалённому коду. TensorRT-LLM — второй движок, указанный в карточке; vLLM — тот, который назван движком ускорения и который тестировался на Blackwell.

Есть два пробела, которые стоит обозначить. В строке поддерживаемого оборудования карты указано NVIDIA Blackwell с Linux, так что это путь для датацентровых GPU, а не что-то, что вписывается в конфигурацию на Apple silicon или потребительскую сборку. А SGLang — среда выполнения, через которую собственные материалы Meta по запуску направляют DFlash V2, — нигде не фигурирует в списке движков NVIDIA для этого чекпоинта. Эти два драфтера не взаимозаменяемы; если ваш стек обслуживания — SGLang, этот репозиторий не написан для вас.

Что составитель документа меняет для читателя, а что — нет

Спекулятивное декодирование — это та часть вывода больших моделей, которая доходит до людей, никогда не скачающих ни одного веса, потому что именно оно является главным рычагом, определяющим, насколько дёшево можно обслуживать очень большие открытые модели. Более хороший драфтер означает больше принятых токенов на шаг, а значит, выше пропускная способность на каждый GPU, и именно это в конечном итоге проявляется как более низкая цена и более быстрый первый токен в API. Вот почему модель на 4,38 млрд параметров — это новость, хотя почти никто из тех, кто о ней прочитает, не станет её запускать.

Тем не менее, эта штука не кладёт 816B-модель на ваш рабочий стол. Это дополнение объёмом 8,8 ГБ к целевой модели, самый маленький практический чекпойнт которой измеряется сотнями гигабайт, на кремнии Blackwell, под двумя лицензиями, наложенными одна на другую. Это не модель, с которой вы общаетесь, она не производит собственного текста и вообще не может работать без целевой модели, для которой была обучена составлять черновики.

Если вам нужна функциональность Muse Spark без всего этого, то обслуживаемая линейка — вот где она находится: Muse Spark 1.2 и Muse Spark 1.1 — это две контрольные точки, которые маршрутизирует OrcaRouter, обе по прейскурантной цене Meta с 0% наценки, передаваемой напрямую, поскольку цена провайдера передаётся без наценки. Muse Spark Open и эта драфтовая контрольная точка DFlash2 не в нашем каталоге, и мы не собираемся намекать на обратное — драфтер для самостоятельно размещаемых весов — это инфраструктура для самостоятельного размещения. Там, где мы всё ещё полезны в связи с этим, — это скучная часть: один API для более чем 200 моделей, автоматическое переключение при сбое, когда провайдер деградирует, и DSL маршрутизации, который переключает трафик между моделями с помощью конфигурации, а не изменения кода, что является дешёвым способом узнать, что недоказанная контрольная точка делает на реальном трафике, не ставя на неё производственный путь.

Что могло бы разрешить открытые вопросы

Четыре вещи изменили бы этот материал, и ни одна из них не является загадкой о намерениях NVIDIA.

• Число сквозного ускорения — токены в секунду или задержка в сравнении с сопоставимой базовой конфигурацией без спекулятивного декодирования на том же оборудовании, измеренные кем угодно, кроме NVIDIA. Длина принятия говорит о том, что драфт часто попадает в цель; она не говорит о том, что сервер стал быстрее.

• Сравнение целевых конфигураций BF16 и NVFP4 — каждая опубликованная таблица измерялась относительно целевой конфигурации NVFP4, которую большинство людей фактически будет обслуживать, но в карточке не указано ни одного случая, когда целевая конфигурация запускалась бы с более высокой точностью.

• Поддержка за пределами vLLM и TensorRT-LLM — если чекпоинт появится в SGLang, два драфтера DFlash2 для Muse Spark Open становятся взаимозаменяемыми, а не привязанными к конкретному стеку, и тогда выбор между ними становится простым.

• Переобучение на релизном инструментарии — этот драфтер был получен из предрелизной сборки Model Optimizer 0.47. Поскольку 0.47.0 доступна публично с 23 сентября, а 0.48.0rc0 вышла 8 октября, рецепт можно изучить, и чекпоинт, обученный на нём, вероятно, показал бы немного лучший результат.

Пока не появится хотя бы первый из них, честная сводка такова: NVIDIA выпустила хорошо задокументированный, не требующий разрешения на доступ, аппаратно-специфичный драфтер для чужого флагмана, опубликовала длины принятия и обошлась без анонса — и причина обратить на это внимание не в том, что Muse Spark Open стал быстрее, а в том, что инфраструктура, делающая открытые веса с 816 млрд параметров экономически доступными в масштабе, продолжает появляться так же тихо, как и в этот раз.