Step 5 Preview 首日即可自托管：vLLM 和 SGLang 双双落地 StepFun 的 600B MoE 服务路径

2026 年 10 月 15 日早晨，Step 5 Preview 并非什么新鲜事。StepFun 这款 6000 亿参数的旗舰模型自 2026 年 9 月 20 日起就可以通过厂商自家的 API 调用，独立评测机构 Artificial Analysis 更是从 9 月 18 日起就在给它打分。那天早上真正新鲜的东西范围更窄，也实用得多：两个主流推理栈各自公布了在你自己拥有或租用的硬件上运行它的方案。vLLM 开了一个草稿拉取请求，加入对 Step 5 Preview 的支持——129 个文件、+16,996 行——同时附上一份配套配置指南，以及一个专用的 vllm/vllm-openai:step-5-preview 镜像，该镜像于 00:51 UTC 上线 Docker Hub。SGLang 合并了一个 cookbook 页面，内含 Blackwell 和 Hopper 的部署配方，其背后的模型支持拉取请求也在同一小时开启。在那天早上之前，想把 Step 5 Preview 跑在自己的 GPU 上，唯一的途径就是靠社区重新上传的一份检查点，而根本没人授权你转发它。

所以，诚实的标题并不是“StepFun 发布了一个模型”。它在九月发布了这一个，而模型自身的日期应当出现在任何关于它的文章的第一句话里。真正的标题是：截至 2026 年 10 月 15 日，serving 这个问题已经在答案中有了命令。

10月15日到底发生了什么变化？

四件文物，日期都在同一天，值得把它们分开来看，因为它们承载着不同程度的承诺。

• vLLM 模型支持 —— 拉取请求 #61727，标题为“Add Step-5 Preview support”，由 jeejeelee 于 UTC 01:18 提交，并带有草稿标记。它是一个压缩后的单个提交，涉及 129 个文件，且尚未合并。草稿状态的 PR 是作者在请求审查，而非维护者的承诺。

• vLLM recipe —— vllm-project/recipes 中的拉取请求 #1122，于 UTC 01:16 提前两分钟开启，同样处于打开状态，它新增了 models/stepfun-ai/Step-5-Preview.yaml，其中包含一个 FP8 默认变体和一个 NVFP4 变体。这就是那份带有数字的文档，也是本文大部分内容所依据的文档。

• 容器镜像——vllm/vllm-openai:step-5-preview，于 2026-10-15 00:51 UTC 推送，作为一个双架构清单：linux/amd64 压缩后为 8.56 GB，linux/arm64 为 9.58 GB，旁边还有 step-5-preview-x86_64-cu130 和 step-5-preview-arm64-cu130。已发布的镜像比开放的 PR 是更强的信号：这意味着有人构建并推送了它，无论评审何时完成。

• SGLang 实战手册 —— 拉取请求 #44357“添加 Step 5 Preview 实战手册”在审查后于 01:21 UTC 合并到 main，新增了一个部署页面；SGLang 文档现已在 docs.sglang.ai/cookbook/autoregressive/StepFun/Step-5-Preview 提供该页面，并将其标记为 NEW。其配套支持 PR #44356 仍处于开放状态。该实战手册页面明确写道：“Step 5 Preview 支持尚未随 SGLang 版本发布，因此直接 pip 安装的 sglang 无法为其提供服务”——这是该页面上最重要的一句话。

把这些放在一起看，你就能得到一幅连贯的图景：StepFun 正在为一个 API 已经上线一个月的模型搭建开放服务。这里没有任何东西是发布公告，也没有任何东西是基准测试。真正决定这个模型能不能被你跑起来的，是这些底层管道。

用服务工程师最先关心的问题的措辞来说，Step 5 Preview 是什么

StepFun 自己的英文文档在架构方面着墨不多——它公布了模型 ID、100 万 token 的上下文窗口、文本/图像/视频输入、仅文本输出、64k token 的最大输出、JSON Schema 支持、提示缓存，以及可设置为低、中、高的 reasoning_effort 控制。它没有公布参数数量。下面的架构数据来自今天发布的两份第一方服务文档，它们为了编写加载器不得不读取检查点，并且彼此一致。

• 规模——总参数量为 600B，每个 token 激活 27B，采用稀疏专家混合设计。vLLM 配方独立给出的是 604B，“根据检查点张量形状统计得出”，而这两个数字只是同一个数采用不同取整方式的结果。

• 深度与路由——92 层。每个 MoE 层将 token 路由到 352 个专家中的 8 个，外加一个共享专家。正是这个专家数量，使得该 vLLM PR 包含了一项 router-GEMM 内核改动：它新增了 (4096, 352) 作为受支持的一个 (hidden_dim, num_experts) 组合，与现有的 (3072, 256) 和 (6144, 128) 并列。

• 注意力 —— 一种四层重复模式：三个滑动窗口层关注最近的 512 个 token，然后是一个稀疏注意力层。稀疏层将 KV 历史切分为 8-token 区域，用轻量级索引器为每个区域的摘要打分，并最多选择 512 个历史区域在 token 级别进行关注。SGLang 称之为区域稀疏注意力；其实际结果是，100 万 token 的上下文在内存上仍然可负担。

• 推测解码——三个 MTP 层。SGLang 的“三层 MTP”与 vLLM 配方中的 --spec-method mtp --spec-tokens 3，是从两个方向提出的同一主张。

• 精度 — 路由专家权重采用 FP8（E4M3，128×128 块缩放），但最后三个 MoE 层除外，它们保持 BF16。vLLM 配方将另一个 NVFP4 检查点 stepfun-ai/Step-5-Preview-NVFP4 作为变体引用。两个技术栈都保留混合精度层拆分不变，而不是将其向上转换。

• 推理行为——模型在回答前总会先思考。reasoning_effort 设置深度，且 默认为 high，在未设置时，这一设置最可能在延迟预算有限时让你措手不及。StepFun 推荐的采样参数为 temperature=1.0、top_p=0.95、top_k=0，而 SGLang 的 cookbook 将这些标记为仅供参考，而非需要硬编码的内容。

硬件底线才是决定这件事对你是否有意义的关键。

这正是 vLLM 方案体现价值的地方，因为还没有其他人公布过硬性最低要求。

• FP8 下限 — 773 GB 显存，至少需要 4 块 GPU，默认硬件目标为 B300。已验证的配置分别针对 H200、B300 和 GB300 列出。在四块 B300 上，该方案提供 TP4、TEP4 或 DEP4 布局；FP8 权重无法装入四块 H200，因此 Hopper 路线为八块 GPU。

• NVFP4 下限——量化检查点需要 473 GB 的 VRAM，比 FP8 低 300 GB。代价在于上下文：NVFP4 变体以 --max-model-len 320000 运行，因此为了适应更小的占用空间，你要放弃标称 1,048,576 中约 724,000 个 token。

• 专家并行——在 Blackwell 上，TEP 和 DEP 布局通过 MegaMoE 并使用 --moe-backend deep_gemm_mega_moe 进行路由；纯张量并行布局则有意不这样做，因为 MegaMoE 需要专家并行才有东西可拆分。在 H200 上，该配方会回退到对每个专家层使用 Triton MoE，包括三个 BF16 层，因为 TRT-LLM MoE 内核仅适用于 Blackwell。

• 启动成本——SGLang 指南指出，在 B300 上首次启动大约需要 15 分钟的 FlashInfer 编译时间，后续启动则会降至约 6 分钟，并建议你在重启之间持久化保留 FLASHINFER_WORKSPACE_BASE 和 ~/.cache/sglang。如果你要从零开始自动扩缩容，那就是冷启动的下限，而不是可以忽略的舍入误差。

• 目前尚不支持的部分——vLLM 配方将 Simple 和 LMCache KV 卸载都标记为不适用于该模型。SGLang 的 HiCache 路径在 cookbook 中被记录为可用，这是目前两个技术栈之间一项真实的能力差异。

务实的解读：第 5 步预览版是四到八加速器的部署，而不是单节点业余项目。如果这句话让你失去兴趣，那么下面的 API 部分就是本文的剩余内容。

调用它，以及每个 token 的费用

StepFun 自己的定价页面将 step-5-preview 列为：缓存未命中时每百万输入 token 收费 1.00 美元，缓存命中时收费 0.10 美元，每百万输出 token 收费 2.70 美元——这些数据来自供应商，而非经销商。有两个细节会改变这笔账。首先，缓存未命中的输入定价包含将新内容写入缓存，因此对一份长文档的首次处理按一次计费，而第二次处理就很便宜。其次，输出 token 既包括模型的答案，也包括其推理过程，这一点在这里比在直接作答的模型上更重要。

Artificial Analysis 是唯一一家做过实测的中立评测机构，它给 Step 5 Preview 打出的智能指数为 43.7——显示为 40——中位输出速度为每秒 88 个 token，生成 答案 token 的耗时为 24.7 秒，而每次回复需要 2,000 个推理 token。速度这一数字还算不错，答案 token 的延迟则不然：先思考再作答的模型并不适合交互式自动补全，却很适合批处理与智能体任务，而这正是 StepFun 对它的定位。这些数字来自独立评测机构的独立测评，也是目前唯一可得的数据——StepFun 根本没有为这个模型公布任何基准测试表。

在故事仍然柔软的地方，而且它并非处处都以同样的方式柔软。

有三件事值得点出来，而不是轻描淡写地带过，因为每一件的时效各不相同。

首先，厂商检查点是否真的可以下载。两份第一方服务文档都把 stepfun-ai/Step-5-Preview 和 stepfun-ai/Step-5-Preview-NVFP4 列为规范检查点，而 SGLang 的 cookbook 链接了 StepFun Model License 1.0 下的 LICENSE.txt。这个页面无法做到的是，从 Hugging Face 确认这些仓库如今是公开可读的：Hugging Face API 对 stepfun-ai/Step-5-Preview 返回的 401 Invalid username or password，与对一个从未存在过的仓库 id 返回的完全相同，因此该响应无法区分一个受门控的模型和一个根本不存在的模型。该配方自身的指引——"如果检查点需要身份验证，请使用 hf auth login"——是唯一关于访问权限的说明，而且它是有条件的。请把该下载视为由编写加载器的人所引用的内容，并在围绕它规划发布之前，自行确认访问权限。

第二个是发布日期，三个来源给出了三种说法：StepFun 的公告材料将发布时间定在 2026 年 9 月 20 日；Artificial Analysis 在自己的元数据中把该模型的日期标为 2026 年 9 月 18 日，并显示“2026 年 9 月发布”；而大多数工具所读取的模型元数据聚合源则记载为 2026 年 9 月 16 日。三者都没有解释这一差异。本文在需要给出日期时采用厂商的 9 月 20 日，而了解一下你正在阅读的工具拿到的是哪个数字，也是值得的。

第三是成熟度，而在这方面，两个技术栈并不对等。SGLang 的 cookbook 已经合并并并入 main，但 SGLang 自己的说明称相关支持尚未随任何版本发布，因此 Python 路径只是一个预览版 Docker 镜像，别无其他。vLLM 的配方是公开的，其模型 PR 是未合并的草稿，GitHub 目前报告它有合并冲突且需要 rebase，而它自己的审查者已经针对该配方提出了三个未决事项——一个 FP8 硬件门控、一个默认 B300 配置（在四 GPU 指南中却生成八 GPU 命令），以及一个未在变体参数中编码的 NVFP4 上下文上限。这些都不构成取消资格的理由。所有这些都说明，应把本周的首次自托管部署当作一次评估，而不是一次迁移。

这周拿这个怎么办

如果你已经拥有四块 B300 或八块 H200，并且工作负载看起来像是长文档分析、多轮工具调用或通宵运行的智能体任务，那么 vLLM 配方就近乎一份操作手册：拉取 vllm/vllm-openai:step-5-preview，复制一条 TP4 或 TEP4 命令，并在向任何人承诺一百万 token 之前，检查 --max-model-len 1048576 能否在你的实际 KV 预算下经受住考验。如果你用的是 Hopper 而不是 Blackwell，那就从 NVFP4 检查点开始，并接受 320k 上下文，或者按八块 H200 来做预算。无论哪种方式，都要在每个请求上显式设置 reasoning_effort，而不是继承较高的默认值，并且先在你自己的流量上测量 24.7 秒的首个回答 token 时间，再根据 88.5 tokens per second 这个数字得出任何结论。

如果你没有那套硬件，API 并不是安慰奖——它是同样的权重，按 token 计费，输入 $1.00、输出 $2.70，重复上下文可享 90% 缓存折扣。而这正是本页应该给出关于我们的诚实答案的地方：Step 5 Preview 截至今日并不在 OrcaRouter 的在线模型列表中。我们的目录涵盖 13 家提供商的 207 个模型，目前完全不包含任何 StepFun 模型，因此对于这个特定的模型，厂商自有的 API 是唯一可调用的途径，本页的任何内容都不应被解读为我们提供该模型的服务。我们实际路由的是围绕它的决策：当你正在挑选由哪个前沿模型承载生产工作负载时，通过单一端点访问它的理由在于，提供商标价以 0% 加价原样透传，因此厂商调价当天就是你的价格，并且跨提供商自动故障转移意味着单个模型的一个糟糕下午不会成为你的服务中断。这是关于我们所承载的模型的陈述，并且有意不是关于这一个模型的陈述。

接下来要关注的事情范围很窄，而且可以核查。stepfun-ai/Step-5-Preview 是否会落成一个可读的代码仓库，并带有能拿给法务团队看的许可证文件；vLLM 的 #61727 是否能摆脱草稿状态并解决其合并冲突；SGLang 的支持 PR #44356 是否会进入某个带标签的发布版本——到了那一刻，这份配方就不再是预览镜像，而会成为你的 CI 可以固定的东西。这三件事中任何一件成真，都会让本周的“你大概能跑起来”变成一个干脆的“是”；而在此之前，唯一值得作出的论断，就是证据支持的那个：2026年10月15日，两个服务栈各自公布了自己通往一个自2026年9月20日以来就可调用的模型的路径。

选择在自己的硬件上运行一个6000亿参数的模型，也属于那种过往记录很重要的决策：围绕这一类模型的已记录 AI 事件和智能体故障，都收录在OrcaRouter AI Incident Archive，其中每条记录都带有自己的来源、严重程度、置信等级和争议标记。