Phục vụ Beam 1.0 vào Ngày 0: Công thức SGLang thực sự chốt lại điều gì

Một checkpoint bạn có thể tải về không phải là một model bạn có thể triển khai, và khoảng cách giữa hai thứ đó thường được đo bằng hàng tuần làm việc với framework do người đủ thiếu kiên nhẫn để làm việc đó thực hiện. Reflection Beam 1.0 là trường hợp hiếm hoi mà công việc ấy đến ngay cùng với trọng số. Reflection công bố model này vào ngày 5 tháng 10 năm 2026; đến ngày 16 tháng 10 năm 2026, trọng số, giấy phép Apache 2.0, endpoint chính chủ và hỗ trợ day-zero trên bảy stack suy luận đều xuất hiện cùng lúc, và một trong những stack đó — SGLang, mà chính tài khoản dự án của nó đã nói vào ngày 16 rằng nó phục vụ Beam trong môi trường production tại Reflection — đã phát hành một recipe đủ chi tiết để có thể mang ra tranh luận.

Công thức đó mới là hiện vật thú vị, hơn cả bảng benchmark. Một bài đăng ra mắt cho bạn biết rằng một mô hình là tốt. Một ma trận triển khai cho bạn biết bạn phải tốn gì để tìm ra điều đó, và ở đâu những lựa chọn bạn đưa ra sẽ âm thầm quyết định độ trễ của bạn. Tài liệu SGLang của Reflection Beam 1.0 là một trình tạo: bạn chọn một nền tảng phần cứng và một chiến lược, rồi nó xuất ra một lệnh Docker được ghim phiên bản. Những lựa chọn mà nó buộc bạn phải đi qua mới là tin thực sự cho bất kỳ ai định chạy nó chứ không chỉ gọi nó.

Ba trục mà công thức từ chối che giấu

Trang hỏi về nền tảng phần cứng, chiến lược và lượng tử hóa, rồi dựng lệnh. Đó là một không gian quyết định nhỏ hơn mức mà hầu hết các bản phát hành mô hình thừa nhận, và mỗi trục đều có một hệ quả thực tế:

Nền tảng phần cứng — B300, GB300 hoặc H200. Các chip Blackwell hỗ trợ bản dựng NVFP4 một cách native; H200 là đường FP8 và BF16. Đây cũng chính là mức tối thiểu mà ghi chú phát hành của Reflection mô tả, được diễn đạt lại dưới dạng menu thả xuống.

• Chiến lược — độ trễ thấp hay thông lượng cao, và đây là trục mà hầu hết các triển khai mắc sai lầm theo mặc định. Độ trễ thấp chạy song song hóa tensor với drafter DFlash2 được bật ở kích thước khối 8. Thông lượng cao vô hiệu hóa hoàn toàn DFlash2.

• Lượng tử hoá — NVFP4, FP8 hoặc BF16, những định dạng phải khớp với nền tảng và chiến lược chứ không thể kết hợp tự do với nhau.

Hai preset chiến lược không phải là một núm chỉnh hiệu năng, mà là một sự thay đổi thuật toán. Giải mã suy đoán đánh đổi độ trễ giải mã với công việc bổ sung của mô hình nháp trên mỗi bước; ở kích thước khối 8 với một drafter 1,93 tỷ tham số, đánh đổi đó đáng để thực hiện khi bạn phục vụ một người dùng tại một thời điểm và đáng để từ chối khi bạn gom lô một cách tích cực. Việc tắt DFlash2 cho công thức thông lượng cao không phải là hạ cấp, mà là câu trả lời đúng cho một câu hỏi khác.

Nơi các công thức không còn có thể thay thế cho nhau

Hãy đọc tiếp phần sau các preset, và trang này ghi lại một vài cách tách cấu hình tồn tại vì những lý do phần cứng cụ thể, và chúng đáng để biết trước khi bạn sao chép lệnh Docker đầu tiên mà bạn nhìn thấy:

• H200 BF16 chạy TP8 với tỷ lệ bộ nhớ tĩnh tự động. Checkpoint BF16 933,81 GiB không vừa trên ít thiết bị hơn, và tỷ lệ bộ nhớ được tính toán thay vì được công khai — nghĩa là đây là công thức duy nhất mà bạn không thể tự tinh chỉnh mà không rời khỏi lộ trình được hỗ trợ.

• Mọi công thức khác đều dùng song song tensor kèm DPA. DPA ở đây là cách bố trí attention song song theo dữ liệu, giúp tách attention khỏi phần chia song song theo chuyên gia, và đó là lý do các công thức không phải BF16 chịu được số lượng thiết bị mà công thức BF16 không chịu được.

• Blackwell NVFP4 còn cho phép song song hóa expert và FlashInfer MegaMoE. Đây chính là tổ hợp mà các hướng dẫn của chính Reflection hướng đến, và nó chỉ trở nên khả dụng khi checkpoint là bản dựng 4-bit đã đóng gói ở 273 GiB thay vì FP8 ở 468,72 GiB.

Kết quả thực tế: "chúng tôi chạy Beam 1.0 trên SGLang" không phải là một tuyên bố về phần cứng. Hai đội đều có thể nói như vậy trong khi chạy các độ chính xác khác nhau, các cách bố trí song song khác nhau và các thuật toán giải mã khác nhau, và cách duy nhất để đối chiếu ghi chú là nêu tên cả ba.

“Ngày số 0” có giá trị gì, và nó không phải là gì

Hỗ trợ framework vào ngày trọng số được phát hành là một tín hiệu thực sự, và đó là một kiểu tín hiệu cụ thể. Sở dĩ SGLang có hỗ trợ cho Beam 1.0 là vì các kỹ sư của Reflection đã làm việc với cộng đồng SGLang trước thời điểm phát hành — đó là điều dự án SGLang đã nói công khai vào ngày 16 tháng 10, và điều này nhất quán với việc Reflection nêu tên SGLang trong số các đối tác day-zero của mình cùng với Transformers, vLLM, Unsloth, Axolotl, TokenSpeed và NVIDIA Dynamo, với các công thức được viết cho SGLang, vLLM và TokenSpeed cùng một Helm chart dành cho Kubernetes.

• Điều nó thiết lập — một lộ trình được tài liệu hóa, được duy trì từ checkpoint đã công bố đến một endpoint được phục vụ, trên phần cứng được nêu tên, với các biến thể lượng tử hóa đã được tính đến. Điều đó thực sự vượt xa mức mà hầu hết các bản phát hành mở làm được trong tuần đầu tiên.

• Điều mà nó không chứng minh được — rằng cấu hình đó là tối ưu, hay rằng các con số thông lượng bạn sẽ nhận được khớp với của bất kỳ ai khác. Tuyên bố production-at-Reflection là của nhà cung cấp và của framework, được báo cáo bởi chính những người thực hiện việc phục vụ. Chúng tôi chưa thấy một bản tái tạo độc lập nào cho điều đó, và chưa có benchmark bên thứ ba nào về một triển khai Beam tự lưu trữ được công bố.

Sự khác biệt đó ở đây quan trọng hơn thường lệ, vì đây là một mô hình hỗn hợp chuyên gia thưa (sparse mixture of experts) 501,3 tỷ tham số với 23,4 tỷ tham số hoạt động trên mỗi token, và toàn bộ giá trị của kiến trúc này nằm ở chỗ chi phí phục vụ của bạn chỉ bằng một phần nhỏ so với con số trong tên mô hình. Sự hỗ trợ của framework là thứ chuyển hóa tuyên bố đó từ một sơ đồ kiến trúc thành một ngân sách bộ nhớ. Nó không chuyển hóa tuyên bố đó thành một con số thông lượng đo lường được, và không có tài liệu chính thức nào mà chúng tôi tìm được công bố con số như vậy cho suy luận — con số token trên giây cụ thể duy nhất trong bản phát hành mô tả quá trình tinh chỉnh có giám sát LoRA trên một nút đơn gồm 8 GPU B300, vốn là một bước huấn luyện, không phải tốc độ phục vụ.

Dạng hỏng hóc mà một stack self-hosted day-zero thật sự có

Có một kiểu hỏng cụ thể, và nó không nằm ở mô hình. Đó là tuần thứ hai. Một Docker image được ghim, được build cho một kiểu lượng tử hóa và một bố cục song song hóa, không phải là phương án dự phòng cho chính nó: nếu mô hình nháp có tương tác xấu với kiểu lưu lượng của bạn, nếu bản cập nhật trình điều khiển thay đổi phần bộ nhớ được phân bổ theo tỷ lệ, hoặc nếu năng lực của bạn bị xếp hàng sau một khách thuê khác, thì bạn không còn cấu hình nào để dự phòng nữa — bạn đang có một sự cố ngừng dịch vụ với một mô hình rất mạnh đang nằm trong đó.

Beam 1.0 không phải là một trong các tuyến của chúng tôi, nên chúng tôi không thể cung cấp nó cho bạn, và không có gì ở đây nên được hiểu là tuyên bố về tính khả dụng từ phía chúng tôi. Điều chúng tôi có thể làm là đặt phương án dự phòng ở một nơi hữu ích. OrcaRouter vận hành một khóa tương thích OpenAI trên hơn 200 mô hình, với giá niêm yết của nhà cung cấp được chuyển nguyên và không cộng thêm gì, cùng khả năng tự động chuyển đổi dự phòng giữa các nhà cung cấp, nên một bản thí điểm Beam tự lưu trữ mà ngừng phản hồi chỉ là một thay đổi định tuyến chứ không phải một sự cố. Những mô hình mà một triển khai Beam thường thay thế nhất, và vốn có thể truy cập theo cách đó, đều đi kèm bảng giá đã công bố:

• GLM-5.2 — 1,40 USD cho mỗi triệu token đầu vào và 4,40 USD cho mỗi triệu token đầu ra với ngữ cảnh 1.000.000 token. Mô hình mà tuyên bố hiệu quả của chính Reflection được đo lường dựa trên, và là sản phẩm thay thế trực tiếp nhất cho công việc lập trình ngữ cảnh dài của Beam.

• Kimi K3 — 3,00 đô la cho mỗi triệu token đầu vào, 0,30 đô la cho token được lưu đệm, 15,00 đô la cho đầu ra với cửa sổ 1.048.576 token. Bài đăng ra mắt của Reflection thừa nhận K3 vẫn dẫn đầu về năng lực thô.

• Qwen3.8-Max — 2,00 USD cho mỗi triệu token đầu vào và 6,00 USD cho mỗi triệu token đầu ra ở cửa sổ 1.000.000 token, lựa chọn độc quyền thuộc phân khúc chủ lực dành cho các đội ngũ muốn có năng lực đó mà không cần đến tủ rack.

Điều mà công thức vẫn chưa nói với bạn

Ba khoảng trống đáng được gọi tên, bởi vì mỗi khoảng trống là một quyết định mà cuối cùng bạn sẽ phải đưa ra với ít thông tin hơn mức bạn mong muốn.

Đầu tiên là giá. Endpoint của Reflection được tài liệu hóa và tương thích với O​penAI, với các mức nỗ lực suy luận gồm max, xhigh, high, medium và low, suy luận bắt buộc với mặc định là max, và các giới hạn theo từng tổ chức được chia sẻ trên mọi key. Nó không có mức giá công bố trên mỗi triệu token, nên không thể hoàn tất lập luận về hiệu quả cho Beam 1.0 như một bài tập số học. Một mô hình luôn suy luận và mặc định ở mức nỗ lực tối đa là một đề xuất thương mại khác, tùy thuộc vào việc token đầu ra được định giá một đô la hay mười đô la.

Điều thứ hai là đo lường độc lập. Artificial Analysis liệt kê mô hình này với Intelligence Index là 30, không có số liệu tốc độ và không có giá, đồng thời ghi nhận không có API công khai nào dành cho nó — đây là một tuyên bố của bên thứ ba rằng bề mặt được lưu trữ vẫn chưa hiển thị với những người đo lường những thứ này. Điểm dữ liệu hiệu quả duy nhất được đếm độc lập của nó là có thật: Beam đã tạo ra 79M token đầu ra trên Intelligence Index của AA, so với mức trung vị là 130M cho nhóm so sánh. Điều đó ủng hộ tuyên bố "ít token suy luận hơn". Nó không cho bạn biết các token xuất ra nhanh đến mức nào.

Thứ ba là độ lệch phiên bản. Các recipe được công bố được viết dựa trên một checkpoint cụ thể và một bản dựng SGLang cụ thể, còn drafter là repository riêng của nó. Khi một trong hai thay đổi, recipe mà bạn ghim vào tháng Mười là một cấu hình mà chẳng ai kiểm thử vào tháng Mười Một. Hãy coi lệnh Docker là điểm khởi đầu có ngày hết hạn, chứ không phải là một bản triển khai.

Ai nên hành động về việc này ngay bây giờ, và ai nên chờ?

Nếu bạn đã sở hữu năng lực Blackwell, công thức SGLang thực sự đủ để bắt đầu: bốn B300 là cấu hình NVFP4 tham chiếu, phép tính bộ nhớ đã được công bố, bộ kiểm thử tuân thủ đã có, và rủi ro chỉ giới hạn ở thời gian kỹ thuật. Nếu bạn không sở hữu phần cứng, phép tính vẫn không khép lại, vì phương án thuê dịch vụ không có bảng giá để so sánh với một khoản mua sắm vốn — và hỗ trợ framework ngay từ ngày đầu, dù tốt đến đâu, cũng không thay thế được cho một mức giá.

Điều đáng theo dõi không phải là một framework khác công bố hỗ trợ. Mà là con số được công bố đầu tiên không đến từ Reflection hay từ một dự án framework: một phép đo thông lượng độc lập trên một cấu hình được nêu cụ thể, hoặc một bảng giá trên endpoint first-party. Một trong hai điều đó sẽ biến thứ này từ một thí nghiệm được ghi chép kỹ lưỡng thành một khoản mục. Cho đến lúc đó, cách hiểu đúng về ngày 16 tháng 10 là phần kỹ thuật khó đã được phát hành đúng tiến độ — và phương án thương mại vẫn là phần đang được xây dựng.

Không có gì trong số đó là giả thuyết: các lỗi AI và sự cố tác nhân được ghi nhận đằng sau những bản phát hành như bản này đều được tập hợp trong OrcaRouter AI Incident Archive, nơi mỗi mục đều có nguồn, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp riêng.