Cửa sổ 1M-Token của Step 5 Preview vừa rời khỏi API riêng của StepFun

Bản xem trước Step 5 đã không còn là một mô hình của một nhà cung cấp duy nhất kể từ ngày 16 tháng 10 năm 2026. Tài khoản chính thức của StepFun đã xác nhận vào ngày hôm đó rằng mô hình chủ lực 1M token của hãng hiện đã hoạt động trên các máy chủ suy luận của bên thứ ba, đây là lần đầu tiên mô hình này có thể được truy cập bởi một nhà phát triển không muốn có tài khoản StepFun, số dư StepFun và bảng giá StepFun tính bằng một loại tiền tệ thứ hai. Đó chính là toàn bộ giá trị tin tức của thông báo này và đáng để nói rõ ràng, bởi vì bản thân thông báo không mang theo thông số kỹ thuật mới, không thay đổi giá và không có điểm chuẩn nào. Nó mang theo một thay đổi về phân phối. StepFun đã phát hành Step 5 Preview vào ngày 20 tháng 9 năm 2026; điều xảy ra vào ngày 16 tháng 10 là mô hình bắt đầu xuất hiện ở một nơi nào đó khác ngoài nhà. Khoảng cách giữa những gì một bảng điểm đo lường và những gì một triển khai thực tế gặp phải chính là lý do hồ sơ này quan trọng: các thất bại AI được ghi nhận và sự cố tác nhân xung quanh các mô hình trong lớp này được thu thập trong OrcaRouter AI Incident Archive trong đó mỗi mục đều có nguồn riêng, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp.

Những thay đổi về phân phối rất dễ bị xem nhẹ, và chúng lại chính là thứ thúc đẩy hoạt động thu mua. Một mô hình chỉ có sẵn từ đúng một nhà cung cấp là một điểm lỗi đơn nhất, một bộ giới hạn tốc độ duy nhất và một bộ endpoint khu vực duy nhất; và câu trả lời trung thực cho câu hỏi "điều gì xảy ra nếu nhà cung cấp đó có một buổi chiều tồi tệ" là "sản phẩm của bạn sẽ có một buổi chiều tồi tệ." Một mô hình có sẵn từ nhiều máy chủ độc lập là một bài toán định tuyến, và các bài toán định tuyến đều có giải pháp. Vấn đề nằm ở chỗ không phải mọi thứ về Step 5 Preview đều đi cùng trọng số đến một máy chủ mới, và thứ không đi cùng lại chính là con số có khả năng quyết định hóa đơn của bạn cao nhất.

Điều StepFun thực sự nói, và điều nó đã bỏ qua

Thông báo này về cơ bản chỉ dài một câu: mô hình đã hoạt động trên các nền tảng suy luận của bên thứ ba, và cửa sổ ngữ cảnh 1 triệu token là tính năng đang được nhấn mạnh. Nó không nêu giá trên các nền tảng đó, không cam kết rằng cửa sổ ngữ cảnh sẽ được phục vụ ở độ dài đầy đủ, và không nói gì về việc liệu chiết khấu bộ nhớ đệm prompt có đi kèm mô hình qua ranh giới hay không. Ba thiếu sót đó chính là ba câu hỏi mà một nhóm nên hỏi trước khi di chuyển một pipeline, và chúng không phải là sự câu nệ — mỗi câu trong số đó đều có một câu trả lời sai có vẻ hợp lý.

Mô hình đang được phân phối chính là mô hình mà StepFun đã ghi tài liệu vào tháng 9, và các số liệu được ghi tài liệu vẫn không thay đổi. Từ chính trang mô hình của StepFun:

• ID mô hình — step-5-preview, với "Preview" là một phần của định danh chứ không phải hậu tố do bài viết này thêm vào

• Cửa sổ ngữ cảnh và đầu vào tối đa — mỗi mục 1 triệu token, theo bảng thông số kỹ thuật của StepFun

• Đầu ra tối đa — 64k token, với max_tokens được ghi trong tài liệu là mặc định không giới hạn, để mô hình tự chọn điểm dừng của riêng nó trừ khi bạn đặt một giá trị

• Đầu vào — văn bản, hình ảnh và video; hình ảnh dưới dạng URL hoặc Base64 ở định dạng JPG, PNG, WebP hoặc GIF tĩnh, tối đa 60 mỗi yêu cầu; video dưới dạng MP4, QuickTime hoặc Matroska

• Đầu ra — chỉ văn bản, với streaming, gọi công cụ, đầu ra có cấu trúc JSON Schema và mức độ suy luận ở mức thấp, trung bình hoặc cao

• Kiến trúc — một mô hình hỗn hợp chuyên gia thưa với tổng cộng 600 tỷ tham số và 27 tỷ tham số hoạt động trên mỗi token, theo tài liệu ra mắt của StepFun và các bản sao thẻ mô hình mang thông tin đó; trang tài liệu riêng của StepFun không nêu số lượng tham số

• Giá trên nền tảng riêng của StepFun — $1.00 mỗi triệu token đầu vào, $0.10 mỗi triệu token đầu vào cache-hit và $2.70 mỗi triệu token đầu ra

Không có gì trong số đó là mới. Đó là mức cơ sở mà thông báo tháng Mười đang phân phối, và điều đó đáng được nhắc lại bởi vì một nhà cung cấp lưu trữ bên thứ ba có thể tự do phục vụ một cách lượng tử hóa khác, một cửa sổ hiệu dụng ngắn hơn hoặc một cách bố trí bộ đệm khác, và không lựa chọn nào trong số đó xuất hiện trong một bài đăng ra mắt.

Tại sao cửa sổ 1M lại là phần được bán

Ngữ cảnh 1M token chính là lý do mô hình này có một câu chuyện phân phối. StepFun xây dựng Step 5 Preview xoay quanh công việc tác tử theo tầm dài hạn, và cửa sổ ngữ cảnh chính là thứ khiến một prompt quy mô kho mã nguồn hay quy mô cả bộ tài liệu trở nên khả thi trong một lần gọi duy nhất, thay vì phải qua một tầng truy xuất mà bạn phải tự dựng và duy trì. Trên bảng đánh giá độc lập, Artificial Analysis cho Step 5 Preview 44 điểm trên Chỉ số Thông minh của mình và tính chi phí khoảng 0,71 USD cho mỗi tác vụ chỉ số đã hoàn thành — con số này gộp cả độ dài dòng vào giá nên kém lung linh hơn so với bảng giá niêm yết. Các kết quả đo tốc độ đầu ra trên cùng trang đó đã thay đổi qua các lần ghi nhận, từ 88,1 lên 99,8 token đầu ra mỗi giây, và điều này tự nó nhắc ta rằng thông lượng trên nền tảng lưu trữ thuê là thuộc tính của cả bên lưu trữ lẫn mô hình.

Điểm cuối cùng đó là điểm mà thông báo làm cho trở nên liên quan. Một mô hình thưa 600 tỷ tham số với 27 tỷ tham số hoạt động thì tốn kém để phục vụ ở ngữ cảnh một triệu token, bởi vì KV cache cho một prompt dài là một chi phí bộ nhớ thực sự trên mỗi yêu cầu đồng thời. Bất kỳ ai phục vụ nó đều đã đưa ra quyết định về việc tôn trọng bao nhiêu phần của cửa sổ đó, chạy bao nhiêu yêu cầu cùng một lúc, và có lượng tử hóa ngăn xếp attention để xếp được nhiều yêu cầu hơn trên một card hay không. Checkpoint FP8 của chính StepFun là 650 GB trên đĩa và checkpoint BF16 của nó là 1.215 GB; một máy chủ chạy một trong hai đang chạy một cỗ máy khác với cỗ máy mà StepFun chạy, và thông lượng mà một nhà cung cấp công bố cho cụm của riêng họ không phải là lời hứa về cụm của người khác.

Con số không di chuyển: chiết khấu bộ đệm

Bảng giá của Step 5 Preview có mức giảm giá 95% cho đầu vào được cache, đưa token đọc lại từ $1.00 mỗi triệu xuống $0.10. Đối với một yêu cầu một lượt, điều này không đáng kể. Đối với khối lượng công việc mà mô hình thực sự được bán để phục vụ — một vòng lặp tác nhân gửi lại cùng một lời nhắc hệ thống, lược đồ công cụ và bản đồ kho lưu trữ trong mỗi lượt — nó là thành phần chi phối trong hóa đơn, và đó là lý do mức giá hiệu dụng của Step 5 Preview cho một phiên dài không hề gần với mức giá niêm yết của nó.

Bộ đệm prompt là một chi tiết triển khai của ngăn xếp phục vụ, không phải một thuộc tính của trọng số. Việc một host nhất định có cung cấp nó hay không, cách nó nhận diện một lần trúng bộ đệm, một tiền tố giữ ấm được bao lâu và nó tính phí bao nhiêu cho lần đọc — tất cả đều là quyết định của host. StepFun có tài liệu về caching trên nền tảng của StepFun. Một thông báo rằng một mô hình đang hoạt động ở một nơi khác chẳng cho bạn biết gì về điều đó, và đây chính là dòng cụ thể cần đọc trên trang giá của một host mới trước khi giả định rằng mô hình kinh tế mà bạn đã dựng trên bảng giá của StepFun vẫn còn đúng. Một host tính đủ giá đầu vào ở mỗi lượt có thể đắt hơn StepFun vài lần cho cùng một khối lượng công việc, trong khi trên trang lại trông rẻ hơn tính theo mỗi triệu token.

Việc phân phối trong tuần ra mắt của chính StepFun đã rộng bất thường đối với một mô hình chủ lực của một phòng thí nghiệm Trung Quốc, và nó đã đến theo từng giai đoạn thay vì cùng một lúc: mô hình xuất hiện trong các công cụ lập trình của bên thứ ba với bản dùng thử miễn phí trong một tuần vào đầu tháng 10, và dịch vụ lưu trữ API bên thứ ba được công bố vào ngày 16 tháng 10 là một bước muộn hơn và tổng quát hơn. Đọc hai điều này cùng nhau, mô hình hiện ra là một phòng thí nghiệm muốn mô hình đứng trước mặt các nhà phát triển ở bất cứ nơi nào họ đã ở, thay vì lôi kéo họ đến bảng điều khiển của chính mình. Đó là một chiến lược mạch lạc và cũng là một chiến lược có chi phí rõ ràng: mỗi máy chủ bổ sung là một nơi nữa mà phạm vi của mô hình là do người khác triển khai.

Ba câu hỏi đáng để hỏi một người dẫn mới

Phản hồi hữu ích cho thông báo này không phải là chuyển sang dùng cái mới, mà là kiểm tra. Đây là ba hạng mục quyết định liệu một endpoint mới có phải là cùng một sản phẩm hay không.

• Lượng tử hóa — hãy hỏi xem checkpoint nào đang được phục vụ. StepFun phát hành FP8, BF16 và, kể từ ngày 14 tháng 10, một bản dựng NVFP4 ở mức 394 GB, và ba bản này không thể thay thế cho nhau về chất lượng hay dung lượng bộ nhớ. Một máy chủ chạy NVFP4 trên Blackwell đang chạy một ngăn xếp expert bốn bit với attention và các cổng định tuyến được giữ lại; liệu điều đó có làm giảm độ chính xác trên tác vụ của bạn hay không là câu hỏi mà chỉ có đánh giá của chính bạn mới trả lời được.

• Ngữ cảnh hiệu dụng — hãy hỏi liệu 1M token có được phục vụ cho mọi bên gọi hay bị giới hạn theo từng hạng. Việc phục vụ một prompt triệu token có chi phí đồng thời, thứ thể hiện dưới dạng giới hạn tốc độ trước khi thể hiện dưới dạng giá, và một nhà cung cấp quảng cáo cửa sổ đó trong khi bóp nghẹt tính đồng thời là đang quảng cáo tài liệu của mô hình chứ không phải dịch vụ.

• Ngữ nghĩa bộ nhớ đệm — hãy hỏi xem một tiền tố lặp lại tốn bao nhiêu. Đây là dòng quyết định tính kinh tế của phiên dài, và cũng là dòng dễ bị bỏ sót nhất.

Một lần chạy với cùng một prompt trên cả hai điểm cuối, được đo bằng đô-la cho mỗi tác vụ hoàn thành thay vì đô-la cho mỗi triệu token, sẽ trả lời cả ba câu hỏi cùng một lúc và chỉ mất một buổi chiều.

Điều này đặt mô hình ở đâu

Step 5 Preview là một mô hình hỗn hợp chuyên gia thưa với 600 tỷ tham số, cửa sổ một triệu token, đầu vào văn bản, hình ảnh và video, giới hạn đầu ra 64k, bảng giá 1,00 USD / 2,70 USD và mức chiết khấu cache 95% trên nền tảng của chính StepFun, đạt điểm 44 trên chỉ số độc lập duy nhất bao gồm nó. Phát hành ngày 20 tháng 9 năm 2026. Tính đến ngày 16 tháng 10, nó cũng có thể truy cập được, dưới một hình thức nào đó và với một mức giá nào đó, từ ít nhất một máy chủ không phải StepFun.

Cần nói thẳng rằng Step 5 Preview không nằm trong danh mục đang hoạt động của OrcaRouter, nên nơi để gọi nó vẫn là API của chính nhà cung cấp hoặc một host bên thứ ba — và nếu bạn đang đánh giá nó, khoảng trống đó chính là lý do để giữ phần còn lại của stack trên một endpoint duy nhất. Một API bao phủ hơn 200 mô hình ở đúng giá niêm yết của nhà cung cấp, không cộng thêm phí là thứ cho phép một thử nghiệm hai tuần với mô hình mới vẫn chỉ là một thử nghiệm: phương án dự phòng của bạn là một quy tắc định tuyến chứ không phải một tích hợp thứ hai, chuyển đổi dự phòng tự động nghĩa là một endpoint xa lạ không thể kéo sập đường đi production của bạn theo nó, và vì giá được chuyển tiếp nguyên đúng mức giá của nhà cung cấp, thay đổi về biểu phí của nhà cung cấp sẽ đến hóa đơn của bạn ngay trong ngày nó được áp dụng thay vì đợi đến chu kỳ hợp đồng tiếp theo. Mô hình bạn đang thử nghiệm mới là rủi ro; phần hạ tầng xung quanh nó không nên là rủi ro thứ hai.

Điều đáng chú ý tiếp theo không phải là một nhà cung cấp dịch vụ khác. Mà là nhà cung cấp đầu tiên công bố thông lượng, điều khoản bộ nhớ đệm và mức lượng tử hóa của chính mình trên cùng một trang, để việc so sánh không còn là phỏng đoán về chi phí của cửa sổ 1M token khi người trả tiền cho GPU không phải là StepFun.