Nanbeige4.3-33B so với Nemotron 3.5 Lightning 30B A3B: Người thầy đối đầu với người thực thi

NVIDIA Nemotron 3.5 Lightning 30B A3B chạy ở tốc độ 294,9 token đầu ra mỗi giây. Nanbeige4.3-33B không có tốc độ nào được công bố, vì không ai cung cấp dịch vụ cho nó. Hai sự thật đó cho bạn biết nhiều hơn về cặp đấu này so với bất kỳ dòng benchmark nào: một mô hình là sản phẩm thông lượng được thiết kế kỹ lưỡng, có bảng giá và câu chuyện triển khai trên một GPU duy nhất, còn mô hình kia là một checkpoint dense 33 tỷ tham số đã xuất hiện trên Hugging Face vào ngày 24 tháng 10 năm 2026 với một model card và không có nhà cung cấp suy luận nào. Cả hai đều thuộc "lớp 30B". Chúng không phải cùng một loại đối tượng.

Việc so sánh là đáng làm vì cả hai đều đang được nhắm đến cùng một người mua — người đang xây dựng một agent chạy lâu dài, cần thực hiện rất nhiều bước nhỏ mà không phải chịu hóa đơn của mô hình tiên phong. Câu trả lời của NVIDIA là thu nhỏ lượng tính toán trên mỗi token. Câu trả lời của Nanbeige là làm một mô hình lớn hơn, dày đặc hơn đủ giỏi trong công việc agentic đến mức bạn chỉ cần một mô hình. Đó là những cược ngược nhau, và bằng chứng cho mỗi bên rất khác nhau về bản chất.

3,6 tỷ tham số hoạt động chính là toàn bộ luận điểm

Nemotron 3.5 Lightning 30B A3B là một mô hình hỗn hợp chuyên gia lai: tổng cộng 31,6 tỷ tham số, 3,6 tỷ tham số hoạt động trên mỗi token, trải trên 52 lớp — 23 Mamba-2, 23 MoE và 6 attention. Mô hình định tuyến đến 128 chuyên gia và kích hoạt 6 trong số đó cùng với một chuyên gia chia sẻ. Chính kiến trúc đó là lý do nó có thể duy trì khoảng 295 token mỗi giây trên một endpoint được quản lý, trong khi một mô hình dense thuộc lớp 30B thường đạt trong khoảng 40–80.

Nanbeige4.3-33B là mô hình dense. Toàn bộ 33,1 tỷ tham số đều được kích hoạt ở mỗi token. Không có routing, không có thưa hóa chuyên gia, không có lớp Mamba. Đó là một lựa chọn có chủ đích với hệ quả rõ ràng: mỗi token tốn lượng tính toán hoạt động gấp khoảng chín lần so với Lightning, và mô hình cần khoảng 66GB trọng số ở BF16 — hoặc khoảng 20GB ở 4-bit — thường trú trước khi nó sinh ra bất cứ thứ gì.

Không có thiết kế nào tốt hơn về mặt lý thuyết. Các mô hình dày đặc (dense) thường đơn giản hơn để tinh chỉnh và có chất lượng dễ dự đoán hơn; các mô hình thưa (sparse) thường rẻ hơn và phục vụ nhanh hơn ở cùng kích thước danh nghĩa. Câu hỏi là khối lượng công việc của bạn đang thiếu đặc tính nào.

Mỗi mô hình được xây dựng để làm gì

NVIDIA định vị Lightning là lớp thực thi của một tác nhân luôn hoạt động — mô hình nhận kế hoạch từ một hệ thống lớn hơn và xử lý bền bỉ các lệnh gọi công cụ, chỉnh sửa tệp và các bước trên trình duyệt với chi phí thấp. Mô hình được chưng cất từ Nemotron 3 Ultra, đi kèm giải mã suy đoán dự đoán đa token được tích hợp sẵn vào quá trình tiền huấn luyện cùng các mô hình nháp riêng biệt, và được tinh chỉnh cho các khung thử nghiệm thay vì trò chuyện. Bộ điểm chuẩn được công bố của mô hình phản ánh điều đó: PinchBench 85,4–86, BrowseComp 36,8–36,97, SWE-bench Verified 51,56–52,8, Terminal-Bench 2.1 khoảng 23,5–24,6.

Nanbeige4.3-33B được định vị là một giáo viên. Thẻ mô hình nói thẳng điều đó: đây là mô hình đầu bảng của dòng 4.3, nhằm chưng cất vào các mô hình nhỏ hơn như Nanbeige4.3-3B chưa phát hành. Bộ đánh giá của nó vì thế cũng rộng tương ứng — 20 dòng bao gồm lập trình tác tử, cộng tác tác tử và suy luận — và các thiết lập được khuyến nghị của nó là những thiết lập của một mô hình bạn tự chạy: kích thước tensor-parallel là 4, gọi công cụ bằng XML, preserve_thinking=true cho việc sử dụng công cụ nhiều lượt.

Một bên là thành phần trong hệ thống của người khác. Bên kia là mô hình nguồn cho cả một họ mô hình. Cách diễn giải đó giải thích gần như mọi khác biệt dưới đây.

Tiêu chuẩn duy nhất mà họ cùng chia sẻ thì không thể bị trừ đi

Cả hai card đều báo cáo Terminal-Bench 2.1. Nanbeige tuyên bố 80,9. Khoảng công bố của NVIDIA cho Lightning là khoảng 23,5–24,6. Nhìn bề ngoài thì đó là khoảng cách 56 điểm, và đó chính là con số sẽ được trích dẫn.

Điều đó không nên như vậy. Terminal-Bench đo một mô hình bên trong một khung tác nhân, và hai nhà cung cấp không mô tả cùng một khung. Thẻ của Nanbeige cho biết lần chạy Terminal-Bench 2.1 của họ dùng Terminus 2 và rằng các mô hình của họ được đánh giá ở mức nỗ lực suy luận cao nhất với một harness dùng chung và các tham số suy luận dùng chung. Các con số của NVIDIA đến từ harness nội bộ của chính họ, mà công ty tự lưu ý là có thể khác với kết quả của bên thứ ba. Một mô hình dense 33B được cho một vòng lặp thuận lợi và một mô hình 3,6B tham số hoạt động được cho một vòng lặp mặc định có thể chênh nhau hàng chục điểm mà không mô hình nào bị mô tả sai.

Cách đọc trung thực mang tính định hướng, không phải định lượng: Nanbeige đang tuyên bố hiệu năng terminal tác tử mạnh hơn đáng kể, và tuyên bố này chưa được kiểm chứng từ cả hai phía. Lời thận trọng tương tự cũng áp dụng cho GPQA Diamond (Nanbeige 89.5, Lightning 74.3–75.6) và cho AA-LCR (Nanbeige 84.0, Lightning 52.0–60.3). Những khoảng cách đó đủ lớn đến mức một phần khác biệt có lẽ là năng lực thực sự chứ không phải do harness. Nhưng “có lẽ” đang gánh rất nhiều trọng lượng trong câu đó, và chưa có bên thứ ba nào chạy phép so sánh này.

Điều không hề mơ hồ là phạm vi đánh giá độc lập. Artificial Analysis cho Nemotron 3.5 Lightning 13 điểm trên Intelligence Index của mình. Họ không có mục nào cho Nanbeige4.3-33B. Một mô hình có ý kiến đánh giá thứ hai; mô hình kia có model card. Sự bất đối xứng đó là thông tin, và nó bất lợi cho nhà cung cấp có bảng số liệu rầm rộ hơn.

1M ngữ cảnh trên giấy tờ, 256K trên thực tế

Artificial Analysis liệt kê cửa sổ ngữ cảnh của Lightning ở mức 1 triệu token. Tài liệu của chính NVIDIA thì thận trọng hơn: 262.144 token là mức trần thực tế trên một H100 đơn lẻ. Cả hai con số đều có thể đúng — kiến trúc hỗ trợ cửa sổ dài hơn, nhưng phần cứng mà bạn có khả năng chạy nó không đáp ứng được một cách thoải mái.

524.288 token của Nanbeige4.3-33B là cửa sổ được huấn luyện trên một mô hình dense, và chi phí bộ nhớ của KV cache tỉ lệ với nó. Các recipe vLLM và SGLang của card sử dụng mức tận dụng bộ nhớ GPU 0,8 và tensor-parallel size 4, điều này cho thấy việc triển khai dự kiến không phải là một card đơn.

Đối với công việc của agent, khác biệt thực tế nằm ít hơn ở mức tối đa mà nhiều hơn ở những gì còn trụ lại qua một lượt chạy dài. Các lớp Mamba lai của Lightning được thiết kế để giữ trạng thái rẻ qua các chuỗi dài; cơ chế attention dày đặc của Nanbeige thì không. NVIDIA cũng công bố AA-LCR ở mức 52,0–60,3, đây là điểm suy luận ngữ cảnh dài, và Nanbeige công bố 84,0 trên cùng benchmark. Nếu bạn tin cả hai bảng, khả năng suy luận ngữ cảnh dài của Nanbeige mạnh hơn nhiều. Nếu bạn chỉ tin bảng được thực hiện độc lập, thì của Lightning là bảng duy nhất bạn có thể kiểm chứng.

Phép tính khi vận hành một mô hình dày đặc 33B

Đây là lúc cuộc so sánh không còn xoay quanh chất lượng mà chuyển sang mức độ tận dụng.

Lightning được niêm yết ở mức 0,06 USD cho mỗi triệu token đầu vào và 0,20 USD cho mỗi triệu token đầu ra trên một endpoint được quản lý. Nanbeige không có bảng giá vì không nhà cung cấp nào triển khai nó; bảng giá nói thẳng điều đó. Để sử dụng nó, bạn thuê hoặc mua GPU và làm theo công thức song song tensor bốn chiều.

Giả sử, chỉ để tính toán, rằng bốn GPU cấp H100 có giá 2 đô la mỗi chiếc mỗi giờ — 8 đô la mỗi giờ cho node. Để hòa vốn so với giá đầu ra của Lightning, node đó phải tạo ra 40 triệu token đầu ra mỗi giờ, tức khoảng 11.100 token mỗi giây duy trì liên tục. Một mô hình dense 33B trên bốn GPU sẽ không làm được điều đó. Ngay cả khi chi phí GPU chỉ còn một phần mười, thông lượng hòa vốn vẫn là hơn một nghìn token mỗi giây duy trì liên tục, tức là một hoạt động phục vụ nghiêm túc chứ không phải một thử nghiệm phụ.

Kết luận không phải là Nanbeige đắt. Mà là tự vận hành một mô hình dense 33B chỉ đánh bại một bộ thực thi giá 0,20 USD/triệu token khi mức sử dụng rất cao và rất ổn định — hoặc khi công việc không thể rời khỏi hạ tầng của bạn, trong trường hợp đó so sánh chưa bao giờ là về giá. Với lưu lượng tăng vọt hoặc thấp, mô hình sparse được quản lý thắng rõ rệt về chi phí trước khi chất lượng được đem ra bàn.

Vị trí của bộ định tuyến trong một hệ thống hai mô hình

Kiến trúc mà NVIDIA đang bán — một bộ lập kế hoạch tiên phong, một bộ thực thi giá rẻ — cũng chính là kiến trúc mà hầu hết các nhóm agent rốt cuộc vẫn dùng. Đó cũng là hình dạng mà một lớp định tuyến được xây dựng để phục vụ: DSL định tuyến của chúng tôi kết hợp nhiều mô hình vào một lời gọi duy nhất để bộ lập kế hoạch và bộ thực thi có thể nằm sau một điểm cuối duy nhất, và cơ chế chuyển đổi dự phòng tự động giữ cho một bộ thực thi đang gặp khó khăn không biến thành một agent bị đình trệ.

Hiện tại chúng tôi không cung cấp Nemotron 3.5 Lightning 30B A3B hay Nanbeige4.3-33B, nên đây không phải là lời chào hàng về tính sẵn có cho cả hai. Đây là ghi chú về nơi phát sinh chi phí tích hợp. Nếu bạn tự vận hành Nanbeige làm bộ lập kế hoạch và gọi một mô hình được lưu trữ làm bộ thực thi, thì việc phân tách này đáng được diễn đạt dưới dạng quy tắc định tuyến thay vì mã hóa cứng trong ứng dụng của bạn — vì mô hình bạn muốn ở mỗi vị trí sẽ thay đổi trước khi quý này kết thúc.

Ngân sách độ trễ quyết định nhiều hơn bảng xếp hạng

• Nếu một bước đơn lẻ của agent phải trả về trong dưới một giây: Lightning. Với 295 token mỗi giây, một câu trả lời 300 token sẽ có sau khoảng một giây; một mô hình 33B dày đặc trên phần cứng của bạn sẽ không làm được, và Nanbeige không có tùy chọn dịch vụ lưu trữ nào để đối chuẩn.

• Nếu bước này là một lượt suy luận dài ở đầu một quy trình làm việc: mức chênh lệch mà Nanbeige tuyên bố trên GPQA, AA-LCR và các dòng agentic ủng hộ điều đó — tùy thuộc vào lưu ý về harness ở trên.

• Nếu tác phẩm là tiếng Trung: Nanbeige. Các ngôn ngữ đã xuất bản của Lightning là tiếng Anh, tiếng Tây Ban Nha, tiếng Pháp, tiếng Đức, tiếng Ý và tiếng Nhật.

• Nếu công việc là đa ngôn ngữ châu Âu: Lightning. Nanbeige chỉ liệt kê tiếng Anh và tiếng Trung.

Nếu bạn không có GPU nào và cũng không mặn mà với chúng: Lightning, không cần bàn cãi.

• Nếu dữ liệu không thể rời khỏi mạng của bạn: Nanbeige, và việc so sánh chi phí trở thành một quyết định về hạ tầng thay vì quyết định về giá token.

Câu hỏi còn bỏ ngỏ

Nanbeige4.3-33B mới ra đời được hai ngày và chưa có câu chuyện triển khai phục vụ nào. Đó chính là sự thật định hình thời điểm của bài viết này. Nếu một nhà cung cấp nào đó tiếp nhận nó — và tuyên bố trên trang thông số rằng hiện chưa có nhà cung cấp nào làm vậy chính là điểm cần theo dõi — thì khía cạnh chi phí của phép so sánh này sẽ thay đổi hoàn toàn, bởi một mô hình dense 33B được lưu trữ trên hạ tầng với mức giá mỗi token cạnh tranh sẽ làm lung lay toàn bộ lập luận ủng hộ một bộ thực thi sparse nhỏ hơn cho những công việc nhạy cảm về chất lượng.

Cho đến lúc đó, vị thế có thể bảo vệ được là hẹp. Nemotron 3.5 Lightning 30B A3B là mô hình bạn có thể triển khai ngay hôm nay, với mức giá đã công bố, điểm số độc lập và lượng tính toán trên mỗi token ít hơn khoảng chín lần. Nanbeige4.3-33B là mô hình nghe có vẻ mạnh hơn trên giấy tờ, với cửa sổ gốc 512K và các chỉ số agentic tự báo cáo mà chưa ai tái lập được. Nếu agent của bạn bị ràng buộc bởi độ trễ và chi phí, thì lựa chọn đã được định đoạt. Nếu nó bị ràng buộc bởi chất lượng và bạn sở hữu phần cứng, lựa chọn này đáng để kiểm chứng — và cuộc kiểm chứng đó vẫn chưa được tiến hành.