Trọng số của Step 5 Preview vốn không hề bị thiếu: NVFP4 Checkpoint thay đổi điều gì

Step 5 Preview đã có thể tải xuống kể từ ngày StepFun phát hành nó vào ngày 20 tháng 9 năm 2026 — và phần lớn những gì được viết về mô hình kể từ đó lại nói điều ngược lại. Kho lưu trữ FP8 stepfun-ai/S​tep-5-Preview được tạo lúc 03:15 UTC sáng hôm đó và shard đầu tiên của nó được commit 36 phút sau đó; kho lưu trữ BF16 theo sau vào lúc 03:52 và các shard của nó được đưa lên lúc 04:18. Cả hai đều là của chính StepFun, cả hai đều không bị hạn chế truy cập, và cùng nhau chúng chứa 1,86 terabyte trọng số. Điều thay đổi vào giữa tháng 10 thì hẹp hơn và hữu ích hơn so với một lần phát hành lại: StepFun đã công bố checkpoint thứ ba ở định dạng NVFP4 của NVIDIA, và vào ngày 15 tháng 10 năm 2026 NVIDIA đã công khai tán thành nó — gọi đây là “bản phát hành trọng số mở lớn nhất của họ”, nói rằng mô hình “được xây dựng để xử lý các tác vụ agent kéo dài tới 24 giờ”, và đưa ra một con số: “gần 8K token/giây/GPU trên NVIDIA GB300 sử dụng NVFP4.”

Đó là tin tức. Việc đính chính là lý do bài này mở đầu bằng một ngày thay vì một thông báo. Các bài đưa tin viết ngày 20 tháng 9 đã chạy dựa trên một kho lưu trữ mới chỉ vài phút và tạm thời trống rỗng, và cách diễn đạt “trọng số được hứa hẹn vào một ngày sau đó” vẫn bám trụ ngay cả sau khi các trọng số đã đến vào chính buổi sáng hôm đó. Một bài viết cùng chủ đề trên trang này đã lặp lại điều đó gần đây nhất là vào ngày 13 tháng 10. Điều đó hiện giờ không đúng và khi đó cũng không đúng, và điều này quan trọng vì câu hỏi về trọng số mở là hạng mục chưa được giải quyết lớn nhất duy nhất trong mọi bài viết về mô hình này.

Điều gì thực sự đã được phát hành vào ngày 14 và 15 tháng 10

Artifact mới là stepfun-ai/S​tep-5-Preview-NVFP4. Kho lưu trữ được tạo lúc 02:59 UTC ngày 14 tháng 10 năm 2026 và bản tải lên trọng số là một commit lúc 07:10 UTC cùng ngày bởi một người đóng góp có tài khoản, huangyu-nv, cũng đã viết lại README một giờ sau đó để đồng bộ nó với các kho FP8 và BF16. Nó chứa 394,18 GB trải khắp 95 tệp safetensors được sắp xếp thành 92 tệp theo từng lớp cộng thêm hai tệp phụ và một tệp vision tower — một sơ đồ phân mảnh khác với các kho FP8 và BF16, cả hai đều cung cấp 24 phân mảnh văn bản cùng một đầu dự đoán đa token và một ViT.

Những gì có trong đó đáng để nói rõ một cách chính xác, bởi vì "NVFP4" đang được dùng một cách lỏng lẻo trong lưu hành. Khối lượng tử hóa trong config.json ghi quant_method: modelopt, quant_algo: NVFP4, group_size: 16, và kv_cache_quant_algo: null. Danh sách bỏ qua thì dài và cụ thể: 92 khối self-attention, 88 cổng MoE, 88 chuyên gia chia sẻ, bảng embedding, lớp chuẩn hóa cuối và đầu mô hình ngôn ngữ, cộng thêm tháp thị giác và bộ chiếu của nó. Chỉ có ba mục trong toàn bộ danh sách là đụng tới moe.experts. Nói một cách đơn giản, attention và bộ máy định tuyến vẫn giữ độ chính xác cao hơn, còn trọng số feed-forward của các chuyên gia — phần chiếm phần lớn trong 600 tỷ tham số — chính là phần đã bị lượng tử hóa. KV cache không bị đụng tới, và đây là chi tiết quyết định liệu cấu hình phục vụ ngữ cảnh dài của bạn có trụ được qua thay đổi này hay không.

Cách tính tham số của chính Hugging Face trên kho lưu trữ đó ghi 320,6 tỷ, chia thành 282,4 tỷ U8, 38,2 tỷ BF16 và 2,4 triệu F32, và trang tệp in "321B params" làm kích thước mô hình. Thẻ của StepFun, trên cùng trang, ghi tổng 600B và 27B hoạt động. Cả hai đều đúng và chúng đang đếm những thứ khác nhau: con số 321B là số lượng lưu trữ các phần tử đã lượng tử hóa, không phải số lượng tham số theo nghĩa mà phần mô tả kiến trúc sử dụng. Nếu bạn đang tính kích thước bộ nhớ, hãy dùng con số lưu trữ. Nếu bạn đang mô tả mô hình, hãy dùng thẻ.

Ba điểm kiểm soát, ba hóa đơn phần cứng

Lý do bản phát hành NVFP4 quan trọng hơn một tệp thứ tư trong thư mục là vì nó thay đổi cỗ máy nhỏ nhất mà bạn có thể chạy mô hình này. Bảng triển khai của chính StepFun trong thẻ mô hình đưa ra các hình dạng cho hai checkpoint cũ hơn và các kho lưu trữ đưa ra kích thước; ở đây chúng được đặt cùng nhau, với hàng NVFP4 được thêm vào.

• Độ chính xác — FP8 650,32 GB so với BF16 1.214,9 GB so với NVFP4 394,18 GB trên đĩa

• Cấu hình vLLM nhỏ nhất được công bố — FP8 một node B300 với 4 GPU, hoặc một node H200 với 8 GPU so với BF16 một node B300 với 8 GPU, hoặc hai node H200 với 16 GPU so với NVFP4 chưa có trong bảng của StepFun

• Cách song song hóa mà card đề xuất — FP8 TP4, TEP4 hoặc DEP4 trên B300 so với BF16 TP8, TEP8 hoặc DEP8 so với NVFP4 không được nêu rõ

• Attention và trọng số router — FP8 được lượng tử hóa thành tám bit so với BF16 độ chính xác đầy đủ so với NVFP4 không được lượng tử hóa bởi danh sách bỏ qua của ModelOpt

• KV cache — không được lượng tử hóa ở cả ba, vì cấu hình NVFP4 đặt kv_cache_quant_algo thành null

• Ngăn xếp phục vụ — cả ba đều thông qua vLLM hoặc SGLang với endpoint tương thích O​penAI, hoặc ngoại tuyến thông qua đường dẫn Transformers độc lập

Khoảng trống ở hai hàng cuối chính là lời lưu ý trung thực về checkpoint mới. Bài đăng của N​VIDIA cho biết model chạy ở tốc độ gần 8K token mỗi giây trên mỗi GPU trên GB300 khi dùng NVFP4, nhưng bảng triển khai của StepFun vẫn chưa được cập nhật thêm hàng NVFP4, nên hiện chưa có công thức song song hóa nào cho nó do nhà cung cấp công bố. Nếu bạn đang lên kế hoạch triển khai trong tuần này, thì đường FP8 là đường có cấu hình được ghi lại đầy đủ, còn đường NVFP4 là đường có một con số đình đám gắn với phần cứng của người khác.

Con số 8K là con số của nhà cung cấp, và chỉ có một nhà cung cấp đã nói điều đó.

Bài đăng ngày 15 tháng 10 của N​VIDIA là toàn bộ hồ sơ duy nhất đến từ chính phía nhà phát triển về vấn đề này. Không có bài viết nào trên blog nhà phát triển của N​VIDIA, không có trang thông báo nào từ StepFun, và cũng không có bản tái lập nào của bên thứ ba về tuyên bố thông lượng đó để có thể kiểm chứng từ bên ngoài. "Gần 8K token/giây/GPU" cũng là một phát biểu mang rất ít ý nghĩa nếu thiếu kích thước batch, độ dài chuỗi và mức độ tương tranh tại thời điểm đo — cùng một cấu hình model có thể chênh nhau tới cả một bậc độ lớn trên ba trục đó, và các framework phục vụ dành cho model mixture-of-experts đặc biệt nhạy cảm với việc có bao nhiêu expert được kích hoạt trên mỗi token. Hãy coi đó là N​VIDIA tự báo cáo về phần cứng của N​VIDIA, đúng như chính tuyên bố đó nói, chứ không phải là một con số thông lượng đã được kiểm chứng độc lập.

Tuyên bố về agent 24 giờ cũng có cùng tình trạng. Đây là mô tả năng lực chứ không phải một phép đo, và thẻ của chính StepFun mô tả khả năng thực thi trong thời gian dài bằng cùng những thuật ngữ đó mà không gắn một khoảng thời gian cụ thể vào đó. Các ghi chú đánh giá đã công bố của nhà cung cấp dành cho mô hình này có liệt kê harness và các thiết lập — temperature 1.0, top-p 0.95, top-k 0, thiết lập suy luận High, harness SWE-agent cho DeepSWE v1.1 — điều này nhiều hơn những gì nhiều thẻ phát hành cung cấp, nhưng bản thân bảng điểm lại là một hình ảnh và StepFun không công bố bảng benchmark số nào trong tài liệu của mình. Nhà đánh giá trung lập duy nhất có điểm trực tiếp cho mô hình này là Artificial Analysis, nơi S​tep 5 Preview đứng ở mức 44 trên Intelligence Index và ban đầu tốn 1,03 USD cho mỗi tác vụ index để chạy.

Công thức triển khai đã đi kèm với checkpoint, và đó chính là phần bạn sẽ dùng.

Đọc lịch sử các kho mã, ta thấy các tệp trọng số và hướng dẫn không đến cùng nhau. Cả hai kho mã cũ hơn đều được viết lại trong khoảng ngày 13 và 14 tháng 10 — bảy commit README trên kho FP8 từ ngày 13 đến 15 tháng 10 — và những gì các commit đó thêm vào là một hướng dẫn phục vụ mô hình đầy đủ: một image container đã phát hành tại vllm/vllm-openai:step-5-preview, các lệnh đã được kiểm chứng cho song song tensor, expert và kết hợp, tập cờ mà mô hình này cần, và một đường đi SGLang đã được xác thực. Các cờ chính là nơi thể hiện rõ phần việc dành riêng cho mô hình: --max-model-len 1048576, một đầu giải mã suy đoán được cấu hình là --spec-method mtp --spec-tokens 3, và dành riêng --reasoning-parser step5 và --tool-call-parser step5 các bộ phân tích cú pháp để các khối suy luận và lệnh gọi công cụ của mô hình vẫn nguyên vẹn qua vòng khứ hồi qua một API mang dạng OpenAI. Trên Blackwell, các cấu hình TEP và DEP chuyển backend MoE sang deep_gemm_mega_moe; cấu hình TP4 thông thường không thể, vì backend đó yêu cầu song song expert.

Đó là hỗ trợ framework đã được đưa vào, và với bất kỳ ai đang cân nhắc có nên xây dựng trên mô hình này hay không, nó đáng giá hơn cả tuyên bố về thông lượng. Một bản tải xuống 650 GB với lệnh khởi chạy chưa được kiểm chứng thì chỉ là một dự án nghiên cứu. Một bản tải xuống 650 GB với container image được ghim phiên bản, bốn cấu hình song song đã được kiểm thử cho mỗi mức độ chính xác và một parser hiểu định dạng đầu ra của chính mô hình thì là một bản triển khai.

Nếu bạn không muốn sở hữu bất kỳ phần nào trong số đó, thì phép tính trên mô hình này thật bất thường. Step 5 Preview chạy trên nền tảng của chính StepFun với giá 1,00 USD mỗi triệu token đầu vào, 0,10 USD mỗi triệu token đầu vào trúng cache và 2,70 USD mỗi triệu token đầu ra, nên một tháng với 200 triệu token đầu vào và 200 triệu token đầu ra sẽ tốn lần lượt 200 USD và 540 USD — so với mức giá khoảng một node B300 bốn GPU mỗi tháng cho phần cứng phục vụ nó. Tự vận hành trong trường hợp này là một quyết định về kiểm soát và lưu trú dữ liệu, chứ không phải quyết định về chi phí, và việc các trọng số được mở chính là điều khiến đây trở thành một quyết định mà bạn được phép đưa ra. Cần nói thẳng rằng Step 5 Preview không nằm trong danh sách mô hình đang hoạt động của OrcaRouter, nên nơi để gọi nó là API của chính nhà cung cấp; điều mà một API cho hơn 200 mô hình thực sự mang lại cho bạn trong tình huống này chính là nửa còn lại của câu hỏi — chi phí của mô hình mà bạn sẽ chuyển khối lượng công việc sang nếu việc triển khai tự vận hành không thành công, với mức đánh dấu 0% trên giá niêm yết của mọi nhà cung cấp.

Giấy phép, đọc theo nghĩa đen

“Open weights” đang đảm nhận một vai trò trong cách diễn đạt của N​VIDIA mà giấy phép không hỗ trợ đầy đủ, và đây là phần của câu chuyện dễ bị hiểu sai nhất. StepFun Model License 1.0 là một cấp phép vĩnh viễn, trên toàn thế giới, miễn phí bản quyền, không độc quyền để sử dụng, sao chép, phân phối, cấp phép lại, sửa đổi và tạo tác phẩm phái sinh từ các trọng số, cùng với một cấp phép bằng sáng chế tương ứng. Đây không phải là giấy phép mã nguồn mở được OSI phê duyệt, và có hai điều kiện đáng biết trước khi bạn xây dựng doanh nghiệp dựa trên nó.

• Ghi công — nếu một sản phẩm hoặc dịch vụ thương mại có tích hợp mô hình đạt 100 triệu người dùng hoạt động hằng tháng hoặc 20 triệu USD doanh thu trong bất kỳ tháng dương lịch nào, bạn phải hiển thị nổi bật "Powered by StepFun AI" trong giao diện sản phẩm và trong thỏa thuận người dùng của bạn

• Cần có giấy phép thương mại riêng — nếu bạn là nhà sản xuất phần cứng hoặc chủ thương hiệu phát hành các khả năng của mô hình trong thiết bị, hoặc nếu bạn điều hành doanh nghiệp mô hình như một dịch vụ và tổng doanh thu vượt quá 20 triệu USD trong bất kỳ mười hai tháng nào

• Điều gì rõ ràng không phải là MaaS — nhúng năng lực của mô hình vào một tính năng cố định dành cho người dùng cuối, hoặc chỉ đơn thuần chuyển tiếp yêu cầu đến mô hình của nhà cung cấp khác

• Những gì được phép rõ ràng mà không cần thỏa thuận bổ sung — sử dụng nội bộ mà không để lộ mô hình hoặc các khả năng của mô hình cho bên thứ ba, và việc sử dụng có được thông qua kênh phân phối được StepFun chứng nhận trong phạm vi chứng nhận đó

• Chấm dứt — vi phạm trọng yếu chấm dứt quyền được cấp, với thời hạn khắc phục ba mươi ngày sau thông báo bằng văn bản

Vậy cách hiểu thực tế là các trọng số thực sự có thể tải xuống và thực sự dùng được, kể cả cho mục đích thương mại, tới các ngưỡng trong Mục 2. Một startup tinh chỉnh mô hình này cho công việc tài liệu nội bộ thì nằm trong phạm vi được cấp phép. Một nhà sản xuất điện thoại phát hành nó như một tính năng, hoặc một doanh nghiệp suy luận được host vượt 20 triệu đô la, thì không. Đó là dạng hạn chế tương tự mà các giấy phép L​lama và Q​wen đang dùng, và điều đó đáng được nói thẳng ra thay vì xếp vào loại "mở".

Điều này đặt mô hình ở đâu

Một mô hình mixture-of-experts 600 tỷ tham số với 27 tỷ tham số hoạt động, ngữ cảnh một triệu token, đầu vào văn bản, hình ảnh và video, đầu ra tối đa 64k trong tài liệu của StepFun, bảng giá khoảng $1.00 / $2.70, điểm chỉ số 44 từ nhà đánh giá trung lập duy nhất đã chấm điểm nó, và ba checkpoint có thể tải xuống ở ba độ chính xác. Phát hành ngày 20 tháng 9 năm 2026. Trọng số được mở từ sáng ngày phát hành. Được lượng tử hóa cho Blackwell vào ngày 14 tháng 10, được nhà cung cấp GPU chứng thực vào ngày 15 tháng 10, ở một con số thông lượng mà không ai ngoài NVIDIA tái tạo được.

Điều đáng quan tâm tiếp theo không phải là thêm một endpoint nữa. Đó là phép đo độc lập đầu tiên trên checkpoint NVFP4 — một so sánh về thông lượng hoặc chất lượng với đường FP8 từ một người không bán phần cứng. Lượng tử hóa ở bốn bit với ngăn xếp attention được giữ lại là một thiết kế hợp lý, và câu hỏi cụ thể là liệu các trọng số expert có trụ được với nó hay không. Cho đến khi ai đó công bố điều đó, quan điểm trung thực về checkpoint mới cũng chính là quan điểm mà bài đưa tin hồi tháng Chín lẽ ra nên áp dụng cho các checkpoint cũ: trọng số là thật, công thức là thật, còn tuyên bố về hiệu năng là của nhà cung cấp.

Một kết quả như thế này cũng là lời nhắc rằng những sai sót của mô hình đã được ghi nhận: các sự cố AI và lỗi tác nhân đằng sau các mô hình thuộc lớp này được thu thập trong OrcaRouter AI Incident Archive, nơi mỗi mục đều có nguồn, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp riêng.