Разбор показателя Muse Spark Open в 150 млн токенов на МВт: большая часть этого числа — кэшированный ввод

Meta выпустила Muse Spark Open 15 октября 2026 года, и в первые восемь дней публичной жизни модели отсутствовало число, которое хотела видеть каждая публикация. Artificial Analysis указывал цену, приводил Intelligence Index, равный 39, и вообще не указывал пропускную способность обслуживания. 23 октября это изменилось: модель появилась в AA-AgentPerf с показателем до примерно 150 миллионов токенов в секунду на каждый мегаватт мощности ускорителей при работе на четырёх GPU NVIDIA GB300 или B300 и около 70 миллионов на MI355X от AMD. Это не история о запуске — весам уже девять дней. Это история о том, что именно измеряет это число, потому что метрика учитывает как входные, так и выходные токены, а на конце кривой, соответствующем высокой параллельности, почти всё, что она учитывает, приходится на чтение из кэша.

Что на самом деле подсчитывает AA-AgentPerf

AA-AgentPerf — это не чат-бенчмарк с секундомером. Artificial Analysis создала его для агентских нагрузок, и сама нагрузка здесь главное: он воспроизводит реальные траектории кодирующих агентов на публичных репозиториях, сессии длятся примерно до 200 ходов, а входные данные на запрос варьируются примерно от 5 000 до 131 000 токенов при среднем около 27 000. Выходные данные короткие и неравномерные — медиана около 150 токенов с вкраплениями более длинных всплесков рассуждений. Задача сервера при такой нагрузке в основном сводится к тому, чтобы держать в кэше очень большой, преимущественно неизменный префикс и быстро выдавать небольшие ответы.

Основная единица измерения определяется на странице дата-центров Artificial Analysis как совокупная пропускная способность сервера — входные плюс выходные токены в секунду — на мегаватт мощности ускорителей. Мощность измеряется на уровне GPU, кристалла и HBM, а не на вводе и не по номинальному TDP, поэтому «мегаватт» здесь — это не счет объекта за электроэнергию. Параллелизм тоже не фиксирован: тестовый стенд наращивает нагрузку, а затем двоичным поиском находит максимальное число одновременно работающих агентов, которое система поддерживает без нарушения целевого показателя интерактивности; оценка ведется по p25 скорости вывода и p95 времени до первого токена на окне установившегося режима, где каждый агент активен не менее 30 секунд.

Это означает, что 150M — это потолок, а не крейсерская скорость. Это пропускная способность, доступная при такой конкурентности, когда скорость на одного агента находится на минимальном значении, которое допускает целевой показатель. Та же аппаратная конфигурация, настроенная на более отзывчивого агента, даёт гораздо меньшее число, и ни один слайд запуска его не приводит.

Цифры в опубликованном виде

• Потолок пропускной способности — до ~150 млн токенов/с на МВт на четырёх GPU GB300 или B300, по данным Artificial Analysis от 23 октября.

• AMD — ~70M токенов/с на МВт на MI355X, примерно половина результата NVIDIA на той же нагрузке.

• Внутри NVIDIA — GB300 продемонстрировал преимущество над B300, как только выросла скорость вывода, согласно тому же отчёту.

• Скорость хостинга — 142,9 выходных токенов/с и 0,76 с до первого токена в карточке модели, против медианы 75,4 токена/с у сопоставимых моделей с открытыми весами.

• Интеллект — AA Intelligence Index 39 по сравнению с медианой 19 для моделей с открытыми весами аналогичного размера.

• Цена — $1.25 за миллион входных токенов и $4.25 за миллион выходных, со скидкой 88% при кэшировании, смешанной ставкой $0.78 и расходом $0.84 на задачу Index.

Только первые три появились на этой неделе. Остальные находятся на странице с момента запуска и тянут в иную сторону, чем показатель пропускной способности: дёшево в расчёте на кэшированный токен, дорого — на сгенерированный. Полезный смысл как раз в том, чтобы сопоставить эти два факта.

Перекрёстная проверка: 43 рабочих точки на одной и той же рабочей нагрузке

Пул-реквест SGLang cookbook, слитый 22 октября, опубликовал пять развёртываний GB300, измеренных на том же сценарии coding-agent AA AgentPerf, за день до обновления таблицы лидеров. Пять точек были выбраны из 43 измеренных конфигураций: они охватывают оба конца фронтира задержки—пропускной способности и покрывают 81% его площади. Это самая ясная публичная картина того, как выглядит кривая обслуживания Muse Spark Open, — и поскольку PR представляет собой проект фреймворка, демонстрирующий собственный стек, воспринимайте его как настроенный лучший случай, а не нейтральный.

• Параллелизм 1, два узла, TP8·EP8 — 485,8 выходных токенов/с для одного пользователя, 2 514 суммарных токенов/с на GPU, p95 времени до первого токена — 0,10 с.

• Одновременных запросов: 16, четыре GPU, TP4·EP4 — 208,7 токенов/с на пользователя, 49 646 суммарных токенов/с на GPU.

• Параллельных запросов: 64 — 97,1 токенов/с на пользователя, 114 342 токенов/с суммарно на GPU.

• Параллелизм 160 с HiCache — 40,9 токенов/с на пользователя, 185 382 токенов/с всего на GPU, из которых 1 237 — сгенерированный вывод.

• Кэш — доля попаданий в префиксный кэш составила от 96,8% до 97,6% по пяти прогонам, и именно поэтому итоговые показатели общего числа токенов настолько велики.

Последний пункт — это весь аргумент в одной строке. На вершине кривой сгенерированный вывод составляет около 0,7% токенов, которые учитывает метрика. Остальные 99,3% — это вход, и примерно 97% этого входа было обслужено из кэша. Заголовочный показатель 150 млн на МВт и цифра 40,9 токена/с на пользователя — это один и тот же прогон, прочитанный с противоположных концов. Ни один из них не ошибочен, но они отвечают на разные вопросы, и второй — это тот вопрос, который действительно стоит перед агентным продуктом.

Арифметика по крайней мере сходится, а это говорит в пользу этой цифры. Четыре GB300 потребляют порядка пяти–шести киловатт мощности ускорителей; показатель 150M токенов/с на МВт подразумевает примерно 750 000–900 000 токенов в секунду для узла, или 190 000–225 000 на GPU. Максимальный показатель SGLang — 185 382 суммарных токена/с на GPU. Тот же порядок, та же картина. Это наша арифметика против их измерения, но именно такое совпадение говорит о том, что заявленная цифра не была собрана из другого запуска.

Число AMD — это тот показатель, который меняет решение.

Вдвое меньшая пропускная способность на мегаватт — это не погрешность округления между поставщиками. Это разница между двумя планами развертывания, и она согласуется с кривой затрат, которую SemiAnalysis публикует на InferenceX для той же модели в FP4. При 128 токенах в секунду на пользователя B300 дает $0.019 за миллион токенов против $0.024 у MI355X. При 191 токене в секунду на пользователя — $0.027 против $0.044. При 254 — $0.046 против $0.076. Это интерполированные точки на графике по результатам измеренных прогонов, с ценой $2.26 за чип-час B300 и $1.50 за чип-час MI355X.

Чип AMD дешевле в пересчёте на час и дороже в пересчёте на токен в каждой точке этой кривой, и разрыв растёт по мере повышения требований к интерактивности. Именно такую картину ожидаешь, когда энергоэффективность одной платформы вдвое ниже, чем у другой, и поэтому разделению 70M против 150M следует уделять больше внимания, чем 150M самому по себе.

Две оговорки, и обе — от оценщиков, а не от нас. Когда в июне запустили AA-AgentPerf, Artificial Analysis отметила, что конфигурация MI355X была собрана собственными силами, а не предоставлена AMD, и что запас производительности может быть больше на системах, которые она настраивала сама, — так что показатель AMD в каком-то смысле является нижней границей, а показатели NVIDIA — нет. И число пропускной способности — это не результат по точности. Проверка точности MI35x для пути ROCm этой модели всё ещё не проводилась на оборудовании, а один из двух её порогов прохождения/непрохождения был записан как заглушка, за которым не стоит никакого измерения AMD. По состоянию на эту неделю вопрос эффективности получил ответ. Вопрос корректности — нет.

Как это влияет на итоговую сумму при выборе между самостоятельным хостингом и арендой

Muse Spark Open указан по цене $1.25 за миллион входных токенов и $4.25 за миллион выходных, со скидкой на кэш 88%, благодаря которой смешанная нагрузка 7:2:1 обходится в $0.78 за миллион. Это те цифры, которые должно превзойти развёртывание на собственных серверах, и именно в этом сравнении большая часть интернета ошибётся на этой неделе.

Поставьте показатель InferenceX — $0.019 за миллион токенов на B300 при 128 токенах/с на пользователя — рядом со смешанной ценой $0.78, и самостоятельный хостинг выглядит в сорок раз дешевле. Это не так. Цена $0.019 рассчитана по всем токенам, а в трассировке агента почти все они представляют собой кэшированный вход. $0.78 смешивает вход и выход в пропорции, которая придаёт выходу гораздо больший вес, чем в трассировке AgentPerf. Прежде чем верить любому кратному преимуществу, посчитайте вход и выход для своей собственной нагрузки отдельно — и учтите, что публикуемая стоимость оборудования в расчёте на токен обычно не включает часы простоя, операционный персонал и мощность, которую вы держите для пиковых нагрузок.

Честная версия: самостоятельный хостинг Muse Spark Open может выиграть, и рабочая нагрузка, в которой он выигрывает, по форме почти точно совпадает с той, которую тестирует AgentPerf — длинные, стабильные, кэшируемые префиксы, короткие сгенерированные ответы, высокая конкурентность, узел, который остаётся занятым. Чат-продукт с короткими запросами и длинными ответами близок к противоположному, и при $4.25 за миллион выходных токенов цена аренды — не та часть счёта, которая будет болеть.

• Веса — чекпоинт BF16 составляет около 1,65 ТБ; сборка NVFP4 — примерно 537 ГБ.

• Минимальный разумный узел — четыре GPU Blackwell Ultra, конфигурация, на которой получены новые показатели пропускной способности. Meta также продемонстрировала работу модели локально на двух M5 Ultra Mac Studios, но это другое предложение: демонстрация на рабочей станции, а не план для сервирования.

• Лицензия — Muse Model License. Бесплатно для большинства случаев использования, но компаниям с годовым валовым доходом выше $20 млн требуется соглашение с Meta, чтобы предлагать её как услугу, а продукты, созданные на её основе, должны содержать уведомление «Built with Muse Spark Open».

Где его запускать и что меняет маршрутизатор

OrcaRouter маршрутизирует Muse Spark 1.1 и Muse Spark 1.2 и не обслуживает открытый чекпоинт, поэтому ничто здесь не является утверждением о его хостинге. Что стоит знать: размещённые чекпоинты указаны по той же цене $1.25 и $4.25, что и собственная цена API открытой модели. Таким образом, открытые веса — не более дешёвый способ вызывать эту модель; это способ владеть путём обслуживания. Если вы не собираетесь владеть им, выбор — между размещёнными чекпоинтами, и этот выбор представляет собой изменение конфигурации, а не миграцию.

Если вы собираетесь внедрять это, разумный способ выяснить, ведёт ли себя ваша нагрузка как трасса AgentPerf, — запускать параллельно, а не переключаться. Держите hosted checkpoint как резерв в собственном стеке, направьте долю трафика на новое развёртывание и верните обратно, когда цифры разочаруют. На облачном плече этого сравнения OrcaRouter передаёт прайс-лист провайдера без наценки, поэтому сравнение с вашим железом не имеет наценки с нашей стороны; автоматическое переключение при сбое и DSL маршрутизации — это то, что делает перенос трафика изменением конфигурации, а не изменением кода; а объединение моделей доступно, если вы предпочитаете сравнивать ответы по панели моделей, а не сравнивать инфраструктуру.

Что посмотреть

• Агентов на мегаватт — результаты июньского запуска AA-AgentPerf были опубликованы в этих единицах: около 91 500 агентов на МВт для GB300 NVL72 на DeepSeek V4 Pro на уровне 20 токенов/с. Именно сопоставимое количество агентов для Muse Spark Open позволило бы ранжировать её среди других моделей, а не просто описывать.

• Глубокий разбор Meta по сервингу от 26 октября — по данным вендора, поэтому, когда он выйдет, так его и помечайте, но полезная деталь, на которую стоит обратить внимание, — при какой конкурентности предполагается показатель эффективности.

• Конфигурация MI355X, предоставленная AMD — результат с половинной пропускной способностью измеряется относительно конфигурации, которую Artificial Analysis создала сама, и AA заявила, что запас там может быть больше.

• Порог точности MI35x внедряется с реальными цифрами — эффективность без проверки корректности — это лишь половина решения о развёртывании, а половина этого порога, обозначенная заглушкой, по-прежнему остаётся заглушкой.

Полезное чтение этой недели — узкое и конкретное. Muse Spark Open, судя по уже опубликованным данным, представляет собой необычайно эффективную для обслуживания модель на Blackwell при высокой параллельности с кэшируемым контекстом — примерно вдвое эффективнее там, чем на MI355X при той же задаче, — и оценивается как премиальная модель, если арендовать её по токенам. За каждым из этих утверждений стоит число. Ни одно из них не говорит, что модель быстра так, как быстроту ощущает пользователь: это число — 40,9 токена в секунду при той параллельности, где живёт заглавный показатель.