Step 5 Preview có thể tự triển khai ngay từ ngày đầu tiên: vLLM và SGLang đều chính thức có phương án phục vụ cho MoE 600B của StepFun

Step 5 Preview không còn mới vào sáng ngày 15 tháng 10 năm 2026. Mô hình chủ lực 600 tỷ tham số của StepFun đã có thể được gọi qua API riêng của nhà cung cấp từ ngày 20 tháng 9 năm 2026, và tổ chức đánh giá độc lập Artificial Analysis đã chấm điểm nó từ ngày 18 tháng 9. Điều mới mẻ vào sáng hôm đó thì hẹp hơn và hữu ích hơn đáng kể: hai ngăn xếp suy luận phổ biến đã công bố những cách riêng để chạy nó trên phần cứng mà bạn sở hữu hoặc thuê. vLLM đã mở một pull request nháp để thêm Step 5 Preview — 129 tệp, +16.996 dòng — cùng với một recipe đi kèm và một image chuyên dụng vllm/vllm-openai:step-5-preview đã lên Docker Hub lúc 00:51 UTC. SGLang đã merge một trang cookbook với các recipe triển khai Blackwell và Hopper, cùng với pull request hỗ trợ mô hình đằng sau nó được mở cùng giờ. Cho đến sáng hôm đó, cách duy nhất để đưa Step 5 Preview lên GPU của riêng bạn là một bản tải lên lại từ cộng đồng của một checkpoint mà chưa ai cấp phép cho bạn để phân phối lại.

Vậy nên tiêu đề trung thực không phải là "StepFun đã tung ra một mô hình." Nó đã tung ra mô hình này vào tháng 9, và ngày của chính mô hình thuộc về câu đầu tiên của bất kỳ bài viết nào về nó. Tiêu đề là: tính đến ngày 15 tháng 10 năm 2026, câu hỏi về serving đã có các lệnh nằm trong câu trả lời.

Điều gì thực sự đã thay đổi vào ngày 15 tháng 10

Bốn hiện vật, tất cả đều đề cùng một ngày, và chúng đáng được tách riêng vì chúng mang những mức độ cam kết khác nhau.

• Hỗ trợ mô hình vLLM — pull request #61727, có tiêu đề "Add Step-5 Preview support", được mở bởi jeejeelee lúc 01:18 UTC và mang cờ nháp. Đây là một commit squashed duy nhất sửa đổi 129 tệp, và nó chưa được hợp nhất. Một PR nháp là việc tác giả yêu cầu được xem xét, không phải lời hứa của người bảo trì.

• Công thức vLLM — pull request #1122 trong vllm-project/recipes, được mở sớm hơn hai phút lúc 01:16 UTC và cũng vẫn đang mở, bổ sung models/stepfun-ai/Step-5-Preview.yaml với một biến thể mặc định FP8 và một biến thể NVFP4. Đây là tài liệu chứa các con số, và là tài liệu mà phần lớn bài viết này dựa vào.

• Image container — vllm/vllm-openai:step-5-preview, được đẩy lên vào 00:51 UTC ngày 2026-10-15 dưới dạng manifest hai kiến trúc: linux/amd64 nén 8,56 GB và linux/arm64 nén 9,58 GB, cùng với step-5-preview-x86_64-cu130 và step-5-preview-arm64-cu130 ở bên cạnh. Một image đã được phát hành là tín hiệu mạnh hơn một PR đang mở: nó có nghĩa là ai đó đã build thứ này và đẩy nó lên, bất kể quá trình review kết thúc khi nào.

• SGLang cookbook — pull request #44357, “Thêm cookbook Step 5 Preview”, đã được hợp nhất vào nhánh main lúc 01:21 UTC sau khi xem xét, bổ sung một trang triển khai mà tài liệu SGLang hiện phục vụ tại docs.sglang.ai/cookbook/autoregressive/StepFun/Step-5-Preview và gắn thẻ là NEW. PR hỗ trợ đi kèm của nó, #44356, vẫn đang mở. Trang cookbook nêu rõ rằng “Hỗ trợ Step 5 Preview vẫn chưa được đưa vào bản phát hành SGLang nào, nên một lệnh pip install sglang thông thường không thể phục vụ nó” — đây là câu quan trọng nhất trên trang đó.

Đọc bốn điều đó cùng nhau, bạn sẽ có một bức tranh mạch lạc: StepFun đang dựng dịch vụ mở cho một mô hình mà API đã hoạt động được gần một tháng. Ở đây không có gì là thông báo ra mắt, và cũng không có gì là một benchmark. Đó là phần hạ tầng cốt lõi quyết định liệu mô hình có phải là thứ bạn có thể chạy được hay không.

Step 5 Preview là gì, theo những thuật ngữ mà một kỹ sư serving hỏi tới đầu tiên

Tài liệu tiếng Anh của chính StepFun khá mỏng về kiến trúc — nó công bố model ID, cửa sổ ngữ cảnh 1M token, đầu vào văn bản/hình ảnh/video, đầu ra chỉ văn bản, đầu ra tối đa 64k token, hỗ trợ JSON Schema, prompt caching và một điều khiển reasoning_effort với các thiết lập low, medium và high. Nó không công bố số lượng tham số. Các số liệu kiến trúc dưới đây đến từ hai tài liệu serving chính chủ được công bố hôm nay, vốn phải đọc checkpoint để viết loader, và chúng khớp với nhau.

• Kích thước — tổng cộng 600B tham số với 27B hoạt động trên mỗi token, một thiết kế hỗn hợp chuyên gia thưa. Công thức vLLM nêu một cách độc lập là 604B, "được đếm từ hình dạng tensor của checkpoint," và hai con số này là cùng một con số được làm tròn theo cách khác nhau.

• Độ sâu và định tuyến — 92 lớp. Mỗi lớp MoE định tuyến một token đến 8 trong số 352 expert cùng với một expert chia sẻ. Chính số lượng expert này là lý do PR của vLLM mang theo một thay đổi kernel router-GEMM: nó bổ sung (4096, 352) như một cặp (hidden_dim, num_experts) được hỗ trợ, bên cạnh các cặp hiện có là (3072, 256) và (6144, 128).

• Attention — một mẫu lặp lại bốn lớp: ba lớp cửa sổ trượt chú ý đến 512 token gần nhất, rồi một lớp chú ý thưa. Các lớp thưa chia lịch sử KV thành các vùng 8 token, chấm điểm bản tóm tắt của từng vùng bằng một bộ đánh chỉ mục nhẹ, và chọn tối đa 512 vùng lịch sử để chú ý ở cấp token. SGLang gọi nó là chú ý thưa theo vùng; hệ quả thực tế là ngữ cảnh 1M token vẫn khả thi về bộ nhớ.

• Giải mã suy đoán — ba lớp MTP. “MTP ba lớp” của SGLang và --spec-method mtp --spec-tokens 3 trong công thức vLLM là cùng một khẳng định từ hai hướng.

• Độ chính xác — trọng số expert định tuyến là FP8 (E4M3, tỷ lệ khối 128×128) ngoại trừ trong ba lớp MoE cuối cùng, vẫn giữ BF16. Một checkpoint NVFP4 riêng, stepfun-ai/Step-5-Preview-NVFP4, được công thức vLLM tham chiếu như một biến thể. Cả hai stack đều giữ nguyên việc tách lớp mixed-precision thay vì nâng cấp nó.

• Hành vi suy luận — mô hình luôn suy nghĩ trước khi trả lời. reasoning_effort đặt độ sâu và mặc định là high khi không được đặt, đây là thiết lập dễ khiến bạn bất ngờ nhất khi cân đối độ trễ. Cấu hình lấy mẫu được StepFun khuyến nghị là temperature=1.0, top_p=0.95, top_k=0, và cookbook của SGLang đánh dấu những giá trị đó là thông tin tham khảo thay vì thứ nên hardcode.

Ngưỡng phần cứng tối thiểu là phần quyết định liệu điều này có quan trọng với bạn hay không

Đây chính là lúc công thức vLLM chứng tỏ giá trị của mình, bởi vì chưa có ai khác công bố các mức tối thiểu cứng.

• Mức tối thiểu cho FP8 — 773 GB VRAM, với tối thiểu 4 GPU và mục tiêu phần cứng mặc định là B300. Các cấu hình đã được xác minh được liệt kê cho H200, B300 và GB300. Trên bốn B300, công thức cung cấp các bố cục TP4, TEP4 hoặc DEP4; các trọng số FP8 không vừa với bốn H200, vì vậy lộ trình Hopper là tám GPU.

• Mức sàn NVFP4 — 473 GB VRAM cho checkpoint đã lượng tử hóa, thấp hơn 300 GB so với FP8. Sự đánh đổi nằm ở ngữ cảnh: biến thể NVFP4 chạy với --max-model-len 320000, nên bạn phải từ bỏ khoảng 724.000 token trong tổng số 1.048.576 token được quảng cáo để vừa với dung lượng nhỏ hơn.

• Song song hóa chuyên gia — trên Blackwell, các layout TEP và DEP định tuyến qua MegaMoE với --moe-backend deep_gemm_mega_moe; layout tensor-parallel thuần cố ý không làm vậy, vì MegaMoE yêu cầu song song hóa chuyên gia thì mới có thứ để chia. Trên H200, công thức này quay về dùng một Triton MoE cho mọi lớp chuyên gia, bao gồm cả ba lớp BF16, vì các kernel MoE của TRT-LLM chỉ dành cho Blackwell.

• Chi phí khởi động — cookbook SGLang cho biết lần khởi chạy đầu tiên mất khoảng 15 phút để biên dịch FlashInfer trên B300, giảm xuống khoảng 6 phút ở những lần khởi động sau, và khuyên bạn nên duy trì FLASHINFER_WORKSPACE_BASE cùng ~/.cache/sglang qua các lần khởi động lại. Nếu bạn đang tự động mở rộng quy mô từ 0, thì đó là mức sàn khởi động nguội, không phải sai số làm tròn.

• Những gì chưa được hỗ trợ — recipe vLLM đánh dấu cả Simple và LMCache KV offload là không được hỗ trợ cho mô hình này. Đường HiCache của SGLang được tài liệu hóa là có sẵn trong cookbook, đây là một khác biệt thực sự về năng lực giữa hai stack ở thời điểm hiện tại.

Cách hiểu thực tế: Step 5 Preview là một triển khai từ bốn đến tám bộ tăng tốc, không phải một dự án sở thích chỉ chạy trên một nút. Nếu câu đó kết thúc sự quan tâm của bạn, thì phần API bên dưới là phần còn lại của bài viết.

Gọi nó, và mỗi token tốn bao nhiêu

Trang định giá của chính StepFun liệt kê step-5-preview ở mức $1.00 mỗi triệu token đầu vào khi cache miss, $0.10 khi cache hit và $2.70 mỗi triệu token đầu ra — những con số đến từ nhà cung cấp, không phải từ một nhà bán lại. Hai chi tiết làm thay đổi phép tính. Thứ nhất, giá token đầu vào khi cache miss bao gồm cả việc ghi nội dung mới vào cache, vì vậy lần xử lý đầu tiên đối với một tài liệu dài được tính phí một lần và sẽ rẻ ở lần xử lý thứ hai. Thứ hai, token đầu ra bao gồm cả phần lập luận của mô hình lẫn câu trả lời của nó, điều này quan trọng hơn ở đây so với một mô hình trả lời trực tiếp.

Artificial Analysis, tổ chức đánh giá trung lập duy nhất có công bố một lần chạy, cho Step 5 Preview điểm Chỉ số Thông minh là 43,7 — hiển thị là 44 — với tốc độ đầu ra trung vị 88,5 token mỗi giây và thời gian đến token trả lời đầu tiên là 24,7 giây, so với khoảng 2.000 token suy luận mỗi phản hồi. Con số tốc độ thì khá ổn, còn độ trễ token trả lời thì không: một mô hình luôn suy nghĩ trước thì kém phù hợp với tự động hoàn thành tương tác và phù hợp với công việc theo lô và tác tử, đúng như cách StepFun định vị nó. Đó là những con số độc lập trên một bộ kiểm thử của bên thứ ba, và chúng là những con số duy nhất có sẵn — StepFun hoàn toàn không công bố bảng điểm chuẩn nào cho mô hình này.

Nơi câu chuyện vẫn còn mềm mại, và không phải chỗ nào cũng mềm mại theo cùng một cách

Ba điều đáng được nêu ra thay vì làm mờ đi, bởi vì mỗi điều có một thời hạn sử dụng khác nhau.

Đầu tiên là liệu checkpoint của nhà cung cấp có thực sự tải xuống được hay không. Cả hai tài liệu serving chính chủ đều tham chiếu stepfun-ai/Step-5-Preview và stepfun-ai/Step-5-Preview-NVFP4 như là các checkpoint chuẩn tắc, và cookbook của SGLang liên kết tới một LICENSE.txt thuộc StepFun Model License 1.0. Điều trang này không thể làm là xác nhận từ Hugging Face rằng những repository đó hiện có thể đọc công khai: Hugging Face API trả về cùng một lỗi 401 Invalid username or password cho stepfun-ai/Step-5-Preview giống như đối với một repository id chưa từng tồn tại, nên phản hồi không thể phân biệt một mô hình bị gated với một mô hình không tồn tại. Hướng dẫn của chính recipe — "dùng hf auth login nếu checkpoint yêu cầu xác thực" — là tuyên bố duy nhất về quyền truy cập, và nó mang tính điều kiện. Hãy coi việc tải xuống là được tham chiếu bởi những người đã viết các loader, và tự xác nhận quyền truy cập trước khi bạn lên kế hoạch khởi chạy dựa trên nó.

Điều thứ hai là ngày phát hành, mà ba nguồn đưa ra theo ba cách khác nhau: tài liệu công bố của StepFun ấn định thời điểm ra mắt là ngày 20 tháng 9 năm 2026; Artificial Analysis ghi ngày của mô hình là 18 tháng 9 năm 2026 trong siêu dữ liệu của riêng mình và hiển thị "Released September 2026"; còn các trình tổng hợp siêu dữ liệu mô hình mà hầu hết công cụ đọc đều mang ngày 16 tháng 9 năm 2026. Không nguồn nào trong ba nguồn giải thích được sự chênh lệch này. Bài viết này dùng ngày 20 tháng 9 của nhà cung cấp khi cần đến ngày, và thật đáng để biết công cụ bạn đang đọc nhận được con số nào.

Thứ ba là độ chín muồi, và ở đây hai bên không tương đương. Cookbook của SGLang đã được hợp nhất và hợp nhất vào nhánh main, nhưng văn bản của chính SGLang nói rằng hỗ trợ này chưa được phát hành trong một bản release, nên đường Python chỉ là một ảnh Docker xem trước và không có gì khác. Công thức của vLLM thì mở, PR model của nó là một bản nháp chưa được hợp nhất mà GitHub hiện báo là có xung đột hợp nhất và cần rebase, và các reviewer của chính nó đã nêu ba vấn đề còn để ngỏ đối với công thức — một cổng phần cứng FP8, một profile B300 mặc định phát ra lệnh tám GPU trong khi hướng dẫn chỉ dành cho bốn GPU, và một giới hạn ngữ cảnh NVFP4 không được mã hóa trong các đối số biến thể. Không điều nào trong số đó là lý do để loại bỏ. Tất cả đều lập luận rằng nên coi một lần triển khai tự vận hành đầu tiên trong tuần này như một đợt đánh giá, chứ không phải một cuộc di trú.

Làm gì với cái này, tuần này

Nếu bạn đã có bốn B300 hoặc tám H200 và một khối lượng công việc trông giống như phân tích tài liệu dài, gọi công cụ nhiều lượt hoặc các phiên chạy agent qua đêm, thì công thức vLLM gần như một runbook: pull vllm/vllm-openai:step-5-preview, sao chép lệnh TP4 hoặc TEP4, và kiểm tra xem --max-model-len 1048576 có sống sót khi tiếp xúc với ngân sách KV thực tế của bạn hay không trước khi bạn hứa với bất kỳ ai về một triệu token. Nếu bạn có Hopper mà không có Blackwell, hãy bắt đầu với checkpoint NVFP4 và chấp nhận ngữ cảnh 320k, hoặc dự trù tám H200. Dù theo cách nào, hãy đặt reasoning_effort một cách tường minh trên mọi yêu cầu thay vì kế thừa mặc định cao, và đo chỉ số time-to-answer-token 24,7 giây trên lưu lượng của chính bạn trước khi bạn kết luận bất cứ điều gì từ con số 88,5 token mỗi giây.

Nếu bạn không có phần cứng đó, API không phải là giải khuyến khích — nó chính là cùng bộ trọng số, được tính phí theo token, với $1.00 cho đầu vào và $2.70 cho đầu ra, kèm mức giảm giá cache 90% cho ngữ cảnh lặp lại. Và đây là phần của trang này nơi câu trả lời trung thực về chúng tôi thuộc về: Step 5 Preview hiện không nằm trong danh sách mô hình đang hoạt động của OrcaRouter tính đến hôm nay. Danh mục của chúng tôi gồm 207 mô hình từ 13 nhà cung cấp và hiện tại không có mô hình StepFun nào cả, vì vậy với mô hình cụ thể này, API của chính nhà cung cấp là con đường khả dụng duy nhất, và không có gì trên trang này nên được hiểu là tuyên bố rằng chúng tôi phục vụ nó. Điều chúng tôi định tuyến là quyết định xung quanh: khi bạn đang chọn mô hình tiên phong nào sẽ gánh một khối lượng công việc sản xuất, lập luận để tiếp cận nó qua một endpoint duy nhất là giá niêm yết của nhà cung cấp được chuyển nguyên với mức chênh 0%, nên thay đổi giá của nhà cung cấp sẽ là giá của bạn ngay trong cùng ngày, và rằng chuyển đổi dự phòng tự động giữa các nhà cung cấp nghĩa là một buổi chiều tồi tệ của một mô hình đơn lẻ không phải là sự cố ngừng dịch vụ của bạn. Đó là một tuyên bố về những mô hình chúng tôi thực sự cung cấp, và nó cố ý không phải là tuyên bố về mô hình này.

Điều cần theo dõi tiếp theo thì hẹp và có thể kiểm chứng. Liệu stepfun-ai/Step-5-Preview có trỏ đến một repository đọc được với tệp giấy phép mà bạn có thể chỉ cho đội pháp lý; liệu #61727 của vLLM có vượt qua trạng thái nháp và xung đột merge của nó; liệu PR hỗ trợ #44356 của SGLang có được đưa vào một bản phát hành được gắn thẻ hay không, đó là thời điểm mà tại đó công thức không còn là một image xem trước nữa và trở thành thứ mà CI của bạn có thể ghim. Bất kỳ điều nào trong ba điều đó cũng biến câu "có lẽ bạn chạy được nó" của tuần này thành một tiếng "có" rõ ràng, và cho đến lúc đó, tuyên bố duy nhất đáng đưa ra là tuyên bố mà bằng chứng ủng hộ: vào ngày 15 tháng 10 năm 2026, hai serving stack đã công bố con đường riêng của chúng tới một mô hình đã có thể gọi được kể từ ngày 20 tháng 9 năm 2026.

Việc chọn chạy một mô hình 600 tỷ tham số trên phần cứng của riêng bạn cũng là kiểu quyết định mà thành tích đã ghi nhận đóng vai trò quan trọng: các sự cố AI và thất bại của agent được ghi nhận xung quanh những mô hình thuộc lớp này đều được tập hợp trong OrcaRouter AI Incident Archive, nơi mỗi mục đều có nguồn riêng, mức độ nghiêm trọng, cấp độ tin cậy và cờ tranh chấp.