Step 5 Preview поддерживает самостоятельный хостинг с первого дня: vLLM и SGLang получили пути обслуживания для 600B MoE от StepFun

Утром 15 октября 2026 года Step 5 Preview не был новинкой. Флагманская модель StepFun с 600 млрд параметров была доступна через собственный API вендора с 20 сентября 2026 года, а независимый оценщик Artificial Analysis оценивает её с 18 сентября. Новым в то утро было нечто более узкое и значительно более полезное: два популярных стека инференса опубликовали собственные способы запуска этой модели на оборудовании, которым вы владеете или которое арендуете. vLLM открыл черновой pull request, добавляющий Step 5 Preview — 129 файлов, +16 996 строк — вместе с сопутствующим рецептом и отдельным образом vllm/vllm-openai:step-5-preview, который появился на Docker Hub в 00:51 UTC. SGLang влил страницу cookbook с рецептами развёртывания для Blackwell и Hopper, а pull request с поддержкой модели, лежащий в основе, был открыт в тот же час. До того утра единственным способом заполучить Step 5 Preview на собственные GPU была повторная загрузка контрольной точки сообществом, которую никто не лицензировал вам для распространения.

Итак, честный заголовок — не «StepFun выпустила модель». Она выпустила именно эту в сентябре, и собственная дата модели должна стоять в первом предложении любого материала о ней. Заголовок в том, что по состоянию на 15 октября 2026 года в ответе на вопрос о сервинге есть команды.

Что на самом деле изменилось 15 октября?

Четыре артефакта, все датированные одним и тем же днём, и их стоит разделять, потому что за ними стоят разные уровни обязательств.

• Поддержка моделей в vLLM — пул-реквест #61727 под названием «Add Step-5 Preview support», открытый jeejeelee в 01:18 UTC и несущий флаг черновика. Это один squash-коммит, затрагивающий 129 файлов, и он не объединён. Черновой PR — это просьба автора о ревью, а не обещание мейнтейнера.

• Рецепт vLLM — pull request #1122 в vllm-project/recipes, открытый двумя минутами ранее в 01:16 UTC и также открытый, — добавляет models/stepfun-ai/Step-5-Preview.yaml с вариантом FP8 по умолчанию и вариантом NVFP4. Это документ с цифрами, и именно на него опирается большая часть этой статьи.

• Образ контейнера — vllm/vllm-openai:step-5-preview, отправлен 15 октября 2026 года в 00:51 UTC в виде манифеста с двумя архитектурами: linux/amd64 размером 8,56 ГБ в сжатом виде и linux/arm64 размером 9,58 ГБ, наряду с ними step-5-preview-x86_64-cu130 и step-5-preview-arm64-cu130. Опубликованный образ — более сильный сигнал, чем открытый PR: это означает, что кто-то собрал и отправил его, независимо от того, когда завершится ревью.

• Пул-реквест #44357 «Добавить кукбук Step 5 Preview» для кукбука SGLang был влит в main в 01:21 UTC после ревью, добавив страницу развёртывания, которую документация SGLang теперь отдаёт по адресу docs.sglang.ai/cookbook/autoregressive/StepFun/Step-5-Preview и помечает как NEW. Его сопутствующий PR поддержки, #44356, всё ещё открыт. На странице кукбука прямо сказано, что «поддержка Step 5 Preview ещё не вошла в релиз SGLang, поэтому стандартная установка pip install sglang не может обслуживать Step 5 Preview» — и это самое важное предложение на ней.

Прочтите эти четыре вместе — и получится целостная картина: StepFun разворачивает открытый сервис для модели, чей API работает уже почти месяц. Здесь нет ни анонса запуска, ни бенчмарка. Это инфраструктурная начинка, которая определяет, можно ли эту модель вообще запустить.

Что такое Step 5 Preview, в терминах, о которых в первую очередь спрашивает сервисный инженер

Собственная английская документация StepFun скудна в отношении архитектуры — в ней публикуются идентификатор модели, контекстное окно на 1M токенов, ввод текста/изображений/видео, вывод только текста, максимальный вывод в 64k токенов, поддержка JSON Schema, кэширование промптов и управление reasoning_effort с настройками low, medium и high. Количество параметров не публикуется. Приведённые ниже архитектурные показатели взяты из двух опубликованных сегодня служебных документов самой StepFun, авторам которых пришлось прочитать чекпойнт, чтобы написать загрузчик; они согласуются друг с другом.

• Размер — 600B общих параметров при 27B активных на токен, разреженная архитектура смеси экспертов. Рецепт vLLM независимо указывает 604B, «подсчитано по формам тензоров чекпоинта», и эти два числа — одно и то же число, округлённое по-разному.

• Глубина и маршрутизация — 92 слоя. Каждый слой MoE маршрутизирует токен к 8 из 352 экспертов плюс один общий эксперт. Именно из-за такого числа экспертов PR для vLLM содержит изменение ядра router-GEMM: в него добавляется пара (4096, 352) как поддерживаемая пара (hidden_dim, num_experts) наряду с существующими (3072, 256) и (6144, 128).

• Внимание — повторяющийся шаблон из четырёх слоёв: три слоя со скользящим окном, уделяющих внимание последним 512 токенам, затем один слой разреженного внимания. Разреженные слои разбивают историю KV на регионы по 8 токенов, оценивают сводку каждого региона с помощью лёгкого индексатора и выбирают до 512 исторических регионов для внимания на уровне токенов. SGLang называет это регионально-разреженным вниманием; практическое следствие — контекст на 1 млн токенов остаётся приемлемым по объёму памяти.

• Спекулятивное декодирование — три слоя MTP. «Трёхслойный MTP» в SGLang и --spec-method mtp --spec-tokens 3 из рецепта vLLM — это одно и то же утверждение, поданное с двух сторон.

• Точность — веса маршрутизируемых экспертов хранятся в FP8 (E4M3, блочные масштабы 128×128), кроме последних трёх слоёв MoE, которые остаются в BF16. Отдельный чекпойнт NVFP4, stepfun-ai/Step-5-Preview-NVFP4, упоминается в рецепте vLLM как вариант. Оба стека сохраняют разбиение слоёв со смешанной точностью как есть, а не выполняют upcast.

• Поведение при рассуждении — модель всегда думает перед ответом. reasoning_effort задаёт глубину, и по умолчанию имеет значение high, если не задан; именно эта настройка с наибольшей вероятностью удивит вас при ограниченном бюджете задержки. Рекомендуемые StepFun параметры сэмплирования: temperature=1.0, top_p=0.95, top_k=0, а в cookbook SGLang они помечены как информационные, а не как то, что следует жёстко прописывать.

Аппаратный минимум — это то, что определяет, важно ли это для вас.

Вот где рецепт vLLM оправдывает себя, потому что больше никто не публиковал жёстких минимальных требований.

• Минимум для FP8 — 773 ГБ VRAM, при этом требуется не менее 4 GPU, а целевая аппаратная платформа по умолчанию — B300. Проверенные конфигурации перечислены для H200, B300 и GB300. На четырёх B300 рецепт предлагает компоновки TP4, TEP4 или DEP4; веса FP8 не помещаются на четыре H200, поэтому путь Hopper — восемь GPU.

• Нижний порог NVFP4 — 473 ГБ видеопамяти для квантованного чекпоинта, на 300 ГБ меньше, чем у FP8. Плата за это — контекст: вариант NVFP4 работает с --max-model-len 320000, поэтому вам приходится пожертвовать примерно 724 000 токенов из заявленных 1 048 576, чтобы уложиться в меньший объём.

• Экспертный параллелизм — на Blackwell схемы TEP и DEP маршрутизируются через MegaMoE с `--moe-backend deep_gemm_mega_moe`; чисто тензорно-параллельная схема намеренно этого не делает, поскольку MegaMoE требует экспертного параллелизма, чтобы было что разделять. На H200 рецепт переключается на Triton MoE для каждого экспертного слоя, включая три слоя BF16, потому что ядра MoE из TRT-LLM поддерживаются только на Blackwell.

• Стоимость запуска — в руководстве SGLang первый запуск оценивается примерно в 15 минут компиляции FlashInfer на B300, сокращаясь примерно до 6 минут при последующих запусках, и рекомендуется сохранять FLASHINFER_WORKSPACE_BASE и ~/.cache/sglang между перезапусками. Если вы выполняете автомасштабирование с нуля, это нижняя граница времени холодного старта, а не погрешность округления.

• Что пока не поддерживается — рецепт vLLM помечает как неподдерживаемые и Simple, и LMCache KV offload для этой модели. Путь HiCache в SGLang задокументирован как доступный в cookbook, а это реальное различие в возможностях между двумя стеками в их нынешнем виде.

Практическая интерпретация: Step 5 Preview — это развёртывание с четырьмя–восемью ускорителями, а не любительский проект на одном узле. Если на этом предложении ваш интерес заканчивается, раздел API ниже — это остальная часть статьи.

Вызов этого и стоимость каждого токена

Собственная страница цен StepFun указывает step-5-preview по цене $1,00 за миллион входных токенов при промахе кэша, $0,10 при попадании в кэш и $2,70 за миллион выходных токенов — это цифры от поставщика, а не от перепродавца. Две детали меняют расчёт. Во-первых, цена входных токенов при промахе кэша включает запись нового содержимого в кэш, поэтому первый проход по длинному документу оплачивается один раз, а второй проход обходится дёшево. Во-вторых, выходные токены включают рассуждения модели, а также её ответ, что здесь важнее, чем для модели, которая отвечает напрямую.

Artificial Analysis, единственный нейтральный оценщик с опубликованным прогоном, ставит Step 5 Preview оценку 43,7 по Intelligence Index — отображается как 44 — при медианной скорости вывода 88,5 токена в секунду и времени до первого ответного токена в 24,7 секунды, на фоне примерно 2 000 токенов рассуждений на ответ. Показатель скорости приличный, а задержка ответного токена — нет: модель, которая всегда сначала думает, плохо подходит для интерактивного автозаполнения и хорошо — для пакетной и агентной работы, и именно так её позиционирует StepFun. Это независимые показатели, полученные на стороннем тестовом стенде, и это единственные доступные данные — StepFun вообще не публикует таблицу бенчмарков для этой модели.

Там, где история ещё мягка, и не всё мягко одинаково.

Три вещи стоит обозначить, а не сгладить, потому что у каждой из них разный срок годности.

Первое — действительно ли checkpoint вендора можно скачать. Оба документа по первичному обслуживанию ссылаются на stepfun-ai/Step-5-Preview и stepfun-ai/Step-5-Preview-NVFP4 как на канонические checkpoints, а кулинарная книга SGLang ссылается на LICENSE.txt в рамках StepFun Model License 1.0. Чего эта страница сделать не может — так это подтвердить через Hugging Face, что эти репозитории сегодня доступны для публичного чтения: Hugging Face API возвращает одинаковую ошибку 401 Invalid username or password и для stepfun-ai/Step-5-Preview, и для идентификатора репозитория, который никогда не существовал, поэтому по ответу невозможно отличить модель с ограниченным доступом от отсутствующей. Единственное утверждение о доступе — это указание из самого рецепта: «используйте hf auth login, если checkpoint требует аутентификации», и оно условное. Считайте, что на скачивание ссылаются те, кто писал загрузчики, а перед тем как планировать запуск с расчётом на него, подтвердите доступ самостоятельно.

Второе — это дата выпуска, которую три источника указывают по-разному: в анонсных материалах StepFun запуск указан на 20 сентября 2026 г.; Artificial Analysis в собственных метаданных датирует модель 18 сентября 2026 г. и отображает «Выпущено в сентябре 2026 г.»; а агрегаторы метаданных моделей, которые читает большинство инструментов, содержат 16 сентября 2026 г. Ни один из трёх не объясняет расхождение. В этой статье используется дата производителя — 20 сентября — там, где требуется указать дату, и стоит знать, какое число получил инструмент, который вы читаете.

Третье — зрелость, и здесь два стека не эквивалентны. Сборник рецептов SGLang объединён и влит в main, но собственный текст SGLang говорит, что поддержка ещё не вошла в релиз, поэтому путь через Python — это только preview-образ Docker и ничего больше. Рецепт vLLM открыт, его PR для модели — не влитый в основную ветку черновик, о котором GitHub сейчас сообщает, что в нём есть конфликты слияния и требуется ребейз, а его собственные рецензенты уже подняли три открытых замечания к рецепту: аппаратную проверку FP8, профиль B300 по умолчанию, который выдаёт команды для восьми GPU в руководстве, рассчитанном на четыре GPU, и ограничение контекста NVFP4, не закодированное в аргументах варианта. Ничто из этого не является дисквалифицирующим. Всё это говорит за то, чтобы рассматривать первое развёртывание на собственном хостинге на этой неделе как оценку, а не как миграцию.

Что с этим делать на этой неделе?

Если у вас уже есть четыре B300 или восемь H200 и рабочая нагрузка, похожая на анализ длинных документов, многоходовый вызов инструментов или ночные запуски агентов, то рецепт vLLM близок к пошаговому руководству: загрузите vllm/vllm-openai:step-5-preview, скопируйте команду TP4 или TEP4 и проверьте, выдерживает ли --max-model-len 1048576 контакт с вашим фактическим бюджетом KV, прежде чем обещать кому-либо миллион токенов. Если у вас Hopper, а не Blackwell, начните с чекпоинта NVFP4 и примите контекст 320k или запланируйте восемь H200. В любом случае устанавливайте reasoning_effort явно для каждого запроса, а не наследуйте высокое значение по умолчанию, и измерьте 24,7-секундное время до токена ответа на собственном трафике, прежде чем делать выводы из показателя 88,5 токенов в секунду.

Если у вас нет этого оборудования, API — не утешительный приз: это те же самые веса, тарифицируемые за токен, по $1.00 за вход и $2.70 за выход со скидкой 90% на кэш для повторяющегося контекста. И вот та часть этой страницы, где уместен честный ответ о нас: Step 5 Preview по состоянию на сегодня отсутствует в списке активных моделей OrcaRouter. Наш каталог — 207 моделей от 13 провайдеров, и сейчас в нём вообще нет ни одной модели StepFun, поэтому для этой конкретной модели собственный API поставщика — единственный доступный для вызова путь, и ничто на этой странице не следует воспринимать как утверждение, что мы её обслуживаем. Что мы действительно маршрутизируем, так это окружающее решение: когда вы выбираете, какая передовая модель будет нести продакшн-нагрузку, аргумент в пользу доступа к ней через одну конечную точку состоит в том, что списочная цена провайдера передаётся с наценкой 0%, поэтому изменение цены поставщиком — это ваша цена в тот же день, и что автоматическое аварийное переключение между провайдерами означает, что неудачный день одной модели — не ваш простой. Это утверждение о моделях, которые мы действительно предоставляем, и оно намеренно не является утверждением об этой.

Что стоит отслеживать дальше — узко и проверяемо. Превратится ли stepfun-ai/Step-5-Preview в доступный для чтения репозиторий с файлом лицензии, который можно показать юридической команде; перестанет ли #61727 в vLLM быть черновиком и разрешится ли его конфликт слияния; попадёт ли PR поддержки SGLang #44356 в релиз с тегом — а это тот момент, когда рецепт перестаёт быть preview-образом и становится чем-то, что ваш CI может закрепить. Любое из этих трёх превращает то, что на этой неделе означает «вы, вероятно, можете это запустить», в простое «да», и до тех пор единственное утверждение, которое стоит делать, — то, которое подтверждается доказательствами: 15 октября 2026 года два стека обслуживания опубликовали свои собственные пути к модели, которая была доступна для вызова с 20 сентября 2026 года.

Решение запустить модель с 600 миллиардами параметров на собственном оборудовании — это также решение, в котором важна история: документированные инциденты с ИИ и сбои агентов, связанные с моделями этого класса, собраны в OrcaRouter AI Incident Archive, где каждая запись содержит собственные источники, уровень серьёзности, оценку уверенности и флаг спорности.