Step 5 Preview 的權重從未缺失：NVFP4 檢查點改變了什麼

Step 5 Preview自 StepFun 於 2026 年 9 月 20 日發布當天起即可下載——而此後關於該模型的大量文章卻說不是這樣。FP8 儲存庫 stepfun-ai/Step-5-Preview 是在當天凌晨 03:15 UTC 建立，其第一個分片在 36 分鐘後提交；BF16 儲存庫接著在 03:52 出現，其分片於 04:18 上線。兩者都是 StepFun 自己的，且皆無須審核，合計包含 1.86 TB 的權重。十月中旬的變化比重新發布更聚焦，也更實用：StepFun 發布了第三個採用 NVIDIA NVFP4 格式的檢查點，並於 2026 年 10 月 15 日，NVIDIA 公開為它背書——稱這是「他們最大的開放權重發布」，表示該模型「旨在處理長達 24 小時的代理任務」，並給出一個數字：「在 NVIDIA GB300 上使用 NVFP4 時，每個 GPU 每秒近 8K tokens。」

這就是這則新聞。這篇報導之所以以日期開頭、而不是以公告開頭，原因就在於這則更正。9月20日寫成的報導，所依據的儲存庫當時才剛建立幾分鐘，而且一度空無一物；而「權重承諾將於日後發布」的說法，即使在權重已於同日上午發布之後，仍舊沿用下來。本站另一篇相關文章直到10月13日還重複了這個說法。這個說法現在不成立，當時也不成立，而這很重要，因為開放權重問題是每一篇關於這個模型的報導中，最大的未解事項。

10月14日和15日實際上出貨了什麼？

這個新的 artifact 是 stepfun-ai/Step-5-Preview-NVFP4。該儲存庫建立於 2026 年 10 月 14 日 02:59 UTC，而權重上傳則是同日 07:10 UTC 由一位貢獻者所提交的 commit，其帳號 huangyu-nv 也在一小時後改寫了 README，使其與 FP8 及 BF16 儲存庫保持一致。它包含 394.18 GB，分散於 95 個 safetensors 檔案中，編排為 92 個逐層檔案，外加兩個額外檔案與一個視覺塔檔案——這與 FP8 和 BF16 儲存庫不同的分片方案，那兩者都提供 24 個文字分片，外加一個多 token 預測頭和一個 ViT。

其中內容值得精確說明，因為「NVFP4」在流通中被寬鬆地使用。其中的量化區塊位於 config.json，內容為 quant_method: modelopt、quant_algo: NVFP4、group_size: 16，以及 kv_cache_quant_algo: null。忽略清單很長且具體：92 個自注意力區塊、88 個 MoE 閘控、88 個共享專家、嵌入表、最終正規化與語言模型頭，外加視覺塔及其投影器。整份清單中只有三個項目會觸及 moe.experts。用白話來說，注意力與路由機制維持在較高精度，而專家前饋權重——6000 億參數中的絕大部分——才是被量化的部分。KV 快取未受影響，而這正是決定你的長上下文服務配置能否在切換後存活的細節。

Hugging Face 自己在該儲存庫上的參數統計顯示為 3,206 億，拆分為 2,824 億 U8、382 億 BF16 與 240 萬 F32，而檔案頁面印出「321B params」作為模型大小。同一頁面上，StepFun 的模型卡寫的是總計 600B、活躍 27B。兩者都正確，只是它們計算的是不同的東西：321B 這個數字是量化元素的儲存計數，不是架構描述所使用之意義下的參數數量。如果你是在估算記憶體，就用儲存數字。如果你是在描述模型，就用模型卡。

三個檢查點，三筆硬體帳單

NVFP4 版本之所以比資料夾裡多出第四個檔案更重要，是因為它改變了你能用來執行這個模型的最小機器。StepFun 在模型卡中提供的自家部署表列出了兩個較舊檢查點的形狀，而各儲存庫則給出了大小；這裡將它們並列在一起，並加上 NVFP4 那一列。

• 精度 — 磁碟上 FP8 650.32 GB、BF16 1,214.9 GB、NVFP4 394.18 GB

• 已發布的最小 vLLM 配置 — FP8：一台搭載 4 個 GPU 的 B300 節點，或一台搭載 8 個 GPU 的 H200 節點，對比 BF16：一台搭載 8 個 GPU 的 B300 節點；或兩台 H200 節點共 16 個 GPU，對比尚未列入 StepFun 表格的 NVFP4

• 該卡建議的平行化設定 — 在 B300 上採用 FP8 TP4、TEP4 或 DEP4，相較於 BF16 TP8、TEP8 或 DEP8；而 NVFP4 則未說明

• 注意力與路由權重 — FP8 量化為八位元 vs BF16 全精度 vs NVFP4 由 ModelOpt 忽略清單保持未量化

• KV 快取 — 三者皆未量化，因為 NVFP4 設定會將 kv_cache_quant_algo 設為 null

• 服務堆疊 — 這三者皆可透過 vLLM 或 SGLang 搭配與 OpenAI 相容的端點來提供服務，或透過獨立的 Transformers 路徑離線執行

最後兩列的空缺，是對這個新檢查點最坦誠的但書。N​VIDIA 的貼文指出，該模型在 GB300 上使用 NVFP4 時，每顆 GPU 每秒可執行近 8K 個 token，但 StepFun 的部署表尚未加入 NVFP4 這一列，因此目前還沒有官方發布的平行化配置方案。如果你這週打算部署，FP8 路徑是有文件記載配置的那一條，而 NVFP4 路徑則是那個有亮眼數字、但數字是綁在別人硬體上的選項。

8K 這個數字是廠商提供的數字，而且只有一家廠商這麼說

N​VIDIA 10 月 15 日的貼文是關於此事的所有第一方紀錄。沒有 N​VIDIA 開發者部落格文章，沒有 StepFun 公告頁面，也沒有可從外部查核的第三方重現的吞吐量聲明。「近 8K tokens/sec/GPU」也是一個若沒有測量時的批次大小、序列長度和並行度就意義不大的陳述——相同的模型配置在這三個軸向上可能相差一個數量級，而混合專家模型的服務框架對於每個 token 有多少專家處於活躍狀態特別敏感。將其視為 N​VIDIA 對其自身硬體的報告，這正是它自稱的內容，而不是一個經獨立驗證的吞吐量數字。

「24 小時代理」這項宣稱也同樣如此。這是一種能力描述，而非實際量測，而 StepFun 自家的模型卡也以相同措辭描述長時程執行，並未附上任何時長。該廠商針對此模型發布的評估說明確實列出了測試框架與設定——temperature 1.0、top-p 0.95、top-k 0、High 推理設定、DeepSWE v1.1 所用的 SWE-agent 框架——這比許多發布卡提供的資訊更多，但分數表本身只是一張圖片，StepFun 在其文件中並未公布任何數值化的基準測試表。唯一對此模型提供即時分數的中立評測機構是 Artificial Analysis，在該機構的 Intelligence Index 上，S​tep 5 Preview 為 44 分，最初每執行一項 index 任務的成本為 1.03 美元。

部署配方已隨檢查點一同送達，而這就是你會用到的部分

細讀儲存庫的歷史紀錄會發現，權重檔案與操作說明並非同時到位。兩個較舊的儲存庫都在 10 月 13 日與 14 日之間被改寫——FP8 儲存庫在 10 月 13 日至 15 日之間有七筆 README 提交——而這些提交新增的是一份完整的服務指南：已發佈的容器映像 vllm/vllm-openai:step-5-preview、涵蓋張量、專家與合併平行化的實際可用指令、此模型所需的旗標組合，以及一條經過驗證的 SGLang 路徑。模型專屬的工程成果就展現在旗標上：--max-model-len 1048576、設定為 --spec-method mtp --spec-tokens 3 的推測解碼頭，以及專用的 --reasoning-parser step5 與 --tool-call-parser step5 解析器，讓模型的推理區塊與工具呼叫在經由 OpenAI 形式 API 的往返過程中仍能保留。在 Blackwell 上，TEP 與 DEP 配置會將 MoE 後端切換為 deep_gemm_mega_moe；單純的 TP4 配置則無法這麼做，因為該後端需要專家平行化。

那就是框架支援的落地；對任何正在決定是否要基於這個模型來建置的人來說，這比吞吐量的宣稱更有價值。一個 650 GB 的下載，搭配未經驗證的啟動指令，是一項研究專案。一個 650 GB 的下載，搭配鎖定的容器映像、每種精度四種經過測試的平行組態，以及一個能理解該模型自身輸出格式的剖析器，才算是一項部署。

如果你不想自己擁有這一切，這個模型的成本計算可說極不尋常。S​tep 5 Preview 在 StepFun 自家平台上運行，每百萬輸入 token 收費 $1.00、每百萬快取命中的輸入 token 收費 $0.10、每百萬輸出 token 收費 $2.70，因此每月 2 億輸入 token 與 2 億輸出 token 的帳單分別是 $200 與 $540——對照之下，這大約等於服務它的硬體每月一台四 GPU B300 節點的價格。在這裡，自行託管是關於掌控權與資料落地（data residency）的決定，而不是成本決定，而權重開放正是讓這件事成為一個你被允許做出的決定的原因。值得直說的是，S​tep 5 Preview 並不在 OrcaRouter 的線上模型清單中，所以要呼叫它得用供應商自家的 API；一個 API 串接超過 200 個模型 在這種情況下能帶給你的，是問題的另一半——也就是當自行託管的部署行不通時，你會把工作負載轉移過去的那個模型的成本，零加成，套用於每一家供應商的標價上。

許可證，按字面解讀

「開放權重」這個說法在 NVIDIA 的措辭裡承載了該授權並不完全支持的意涵，而這正是整個故事中最可能被誤讀的部分。StepFun 模型授權條款 1.0 是一項永久、全球性、免權利金、非專屬的授權，允許使用、複製、散布、再授權、修改該權重，以及據以建立衍生作品，並附有相應的專利授權。它並非 OSI 認可的開源授權，而在你以此建立事業之前，有兩項條件值得了解。

• 署名 — 若任何包含本模型之商業產品或服務在任何曆月超過 1 億月活躍使用者或 2,000 萬美元營收，您必須在產品介面及您的使用者協議中顯著展示「Powered by StepFun AI」

• 需另行取得商業授權——若您是硬體製造商或品牌擁有者，在裝置中搭載並出貨本模型的能力；或者您經營模型即服務（model-as-a-service）業務，且在任何十二個月期間的合併營收超過 2,000 萬美元

• 什麼明確地不屬於 MaaS——將模型的能力嵌入固定的終端使用者功能中，或僅僅是將請求轉發至另一個供應商的模型

• 無需額外協議即明確允許的用途——不會向第三方揭露模型或其能力的內部使用，以及透過 StepFun 認證經銷管道取得、且在該認證範圍內的使用

• 終止 — 重大違約將終止授權，並於書面通知後提供三十日補救期

所以實際的解讀是：這些權重確實可以下載，也確實可以使用，包括商業用途，直到第 2 節所述的門檻為止。一家為內部文件作業微調此模型的新創公司在授權範圍內。一家把它作為功能出貨的手機製造商，或一家營收超過 2,000 萬美元的代管推論業務，則不在範圍內。這與 Llama 和 Qwen 授權所採用的限制形態相同，值得明白說清楚，而不是把它歸類在「開放」之下。

這讓模型處於什麼境地

一個擁有 6000 億參數的專家混合模型，270 億個活躍參數，100 萬 token 的上下文，支援文字、圖像與影片輸入，在 StepFun 文件中的最大輸出為 64k，費率表約為 $1.00 / $2.70，在唯一替它評分過的中立評測者手中拿下 44 的指數分數，並有三個可下載的檢查點、分別對應三種精度。2026 年 9 月 20 日發布。權重自發布當天上午起開放。10 月 14 日為 Blackwell 完成量化，10 月 15 日獲 GPU 廠商背書，其吞吐量數字在 NVIDIA 之外無人能重現。

下一個值得關注的，不是另一個端點，而是針對 NVFP4 檢查點的第一份獨立量測——由不販售該硬體的人，拿它與 FP8 路徑做吞吐量或品質比較。把量化做到四位元、但讓注意力堆疊不跟著量化，是合理的設計；而具體要問的是，專家權重是否能挺過這一關。在有人發表那樣的結果之前，對這個新檢查點所該採取的誠實立場，就跟九月報導原本就該對舊檢查點採取的一樣：權重是真的，配方是真的，而效能宣稱是廠商的。

這樣的結果也提醒我們，模型錯誤早已有紀錄：這一類模型背後的 AI 事件與代理失效，都收錄在OrcaRouter AI Incident Archive，其中每一筆紀錄都附有自己的來源、嚴重程度、可信度等級與爭議標記。