Nanbeige4.3-33B vs Qwen3.8 27B: Thẩm định tuyên bố 18/20

Nanbeige4.3-33B đánh bại Qwen3.8-27B trên 18 trong số 20 benchmark. Đó là tuyên bố đang lan truyền khắp internet trong tuần này, và xét về mặt kỹ thuật thì đó là điều model card nói. Đó cũng là một câu có mẫu số, và mẫu số mới là phần thú vị. Trong số 20 dòng đó, 19 dòng được chấm theo điểm và một dòng là con số đô-la; bốn trong số 18 chiến thắng là với cách biệt dưới một điểm; và ít nhất ba con số của Qwen dường như được sao chép từ kết quả do chính Qwen công bố thay vì được Nanbeige chạy lại. Không điều nào trong số đó khiến tuyên bố trở thành sai. Nó khiến tuyên bố trở nên hẹp hơn vẻ ngoài của nó.

Cuộc đối đầu này không bình thường vì Nanbeige đã chọn Qwen3.8-27B làm đối thủ tập luyện. Qwen3.8-27B ra mắt vào giữa tháng 8 năm 2026, có 27,78 tỷ tham số dạng dense, giấy phép Apache 2.0, đa phương thức ở đầu vào và — khác với Nanbeige4.3-33B — có Chỉ số Trí tuệ Artificial Analysis độc lập là 34. Vì vậy, đây là phép so sánh duy nhất trong lô mà đối thủ có điểm đã được xác minh còn chủ thể thì không. Sự bất đối xứng đó chính là công cụ tốt nhất mà chúng ta có để đối soát bảng.

Ai đã viết tuyên bố và mẫu số chứa những gì

Bảng này là của Nanbeige. Nó được công bố trên model card Hugging Face của Nanbeige4.3-33B, trong một repository được tạo vào ngày 24 tháng 10 năm 2026. Không có bài blog đi kèm, không có sự kiện ra mắt và không có bản tái tạo của bên thứ ba. Mọi con số trong cột Qwen, và mọi con số trong cột Nanbeige, đều do phòng thí nghiệm thực hiện so sánh tạo ra hoặc lựa chọn.

20 dòng bao trùm ba nhóm: lập trình tác tử (Terminal-Bench 2.1 và 4.0, DeepSWE, SWE-Bench Pro, SWE-Atlas-QnA, NL2Repo, Scicode, SkillsBench), cộng tác tác tử (Automation Bench, JobBench, GDPval, Claw-Eval, Toolathlon-Verified, DeepPlanning, EnterpriseOps-Gym, YC-bench, Tau3-Bench), và suy luận (GPQA Diamond, AIME 2026, AA-LCR). Bộ khung đánh giá được công bố kỹ lưỡng hơn hầu hết thẻ thông tin nhà cung cấp: Terminus 2 cho Terminal-Bench 2.1, mini-swe-agent v2.4.6 cho Terminal-Bench 4.0, DeepSWE và SWE-Atlas-QnA, Claude Code cho NL2Repo và JobBench, và GPT-6 Sol làm giám khảo cho SWE-Atlas-QnA. Việc công bố đó là điểm đáng ghi nhận của Nanbeige. Đây cũng là lý do khiến việc so sánh khó đọc hơn so với một con số thắng đơn thuần.

Hai hàng mà Nanbeige thua

• SWE-Bench Pro — Qwen3.8-27B đạt 61,7 so với 60,3 của Nanbeige4.3-33B. Qwen dẫn trước 1,4 điểm.

GDPval — Qwen3.8-27B 86.4 so với Nanbeige4.3-33B 84.8. Qwen dẫn trước 1,6 điểm.

Đây là hai hàng mà tiêu đề “18 trên 20” âm thầm lược bỏ, và chúng chỉ về cùng một hướng. Cả hai đều là các benchmark về công việc chuyên môn, có giá trị kinh tế: SWE-Bench Pro là biến thể khó hơn của bài đánh giá kỹ thuật phần mềm, còn GDPval đo chất lượng đầu ra trên các tác vụ nghề nghiệp thực tế. Qwen thắng cả hai với biên độ nhỏ về giá trị tuyệt đối nhưng ổn định trên hai nhóm tác vụ khác nhau. Nếu bạn đang cân nhắc giữa các mô hình này cho công việc chuyên môn thay vì cho một bảng xếp hạng, thì đây là hai trong số những hàng bạn nên đặt trọng số lớn nhất, và cũng là hai hàng mà đối tượng đang được xét thua.

Thẻ của Nanbeige không giải thích các trường hợp thua. Không cần phải thế — nhà cung cấp có quyền công bố một bảng mà họ thắng. Nhưng người đọc nên để ý rằng các trường hợp thua tập trung đúng ở nơi thước đo gần nhất với câu hỏi “liệu một chuyên gia có chấp nhận đầu ra này không,” và các trường hợp thắng tập trung ở nơi thước đo gần nhất với câu hỏi “liệu tác nhân có hoàn thành vòng lặp không.”

Những chiến thắng chỉ là sai số làm tròn

Bốn trong số 18 chiến thắng được định đoạt với cách biệt dưới một điểm.

• Tau3-Bench — 48,8 so với 48,5. Chênh lệch ba phần mười điểm.

• GPQA Diamond — 89,5 so với 89,2. Chênh ba phần mười.

• AIME 2026 — 95,2 so với 94,5. Bảy phần mười.

• EnterpriseOps-Gym — 41,0 so với 40,2. Tám phần mười.

Hai trường hợp nữa nằm trong khoảng chênh lệch khoảng hai điểm: Toolathlon-Verified ở mức 70.4 so với 68.5, và AA-LCR ở mức 84.0 so với 82.0. Trên các benchmark có quy mô và độ biến thiên như thế này, một khoảng cách dưới một điểm không phải là bằng chứng về sự vượt trội. Đó là bằng chứng cho thấy hai mô hình nằm trong cùng một dải hiệu năng. Một cách diễn đạt lại công bằng cho tiêu đề sẽ là “Nanbeige dẫn đầu rõ ràng ở 12 trên 20, hòa ở 6, và kém hơn ở 2” — đây vẫn là một kết quả mạnh, và là một kết quả hữu ích hơn.

Những chiến thắng lớn mới là nơi diễn ra cuộc tranh luận thực sự. DeepSWE ở 65.5 so với 42.5 là khoảng cách 23 điểm. Terminal-Bench 4.0 ở 23.8 so với 6.3 là 17.5. Automation Bench ở 54.2 so với 38.3 là 15.9. DeepPlanning ở 63.3 so với 49.2 là 14.1. YC-bench, một tác vụ tính bằng đô-la, báo cáo $1,025,437 so với $641,290. Đó không phải là chênh lệch do làm tròn. Chúng cho thấy Nanbeige làm tốt hơn ở khả năng thực thi đa bước, tầm xa — kiểu công việc mà một mô hình phải duy trì một kế hoạch xuyên suốt hàng chục lần gọi công cụ. Đó là một câu chuyện mạch lạc, và nó nhất quán với ngữ cảnh gốc 512K của mô hình cùng các thiết lập khuyến nghị hướng tác nhân của nó.

Các cột có thể không thuộc cùng một thí nghiệm.

Đây là quan sát khiến toàn bộ bảng trở nên phức tạp. Ba số liệu của Qwen khớp chính xác với các con số do chính Qwen công bố: Terminal-Bench 2.1 ở mức 73.0, SWE-Bench Pro ở mức 61.7 và GPQA Diamond ở mức 89.2. Qwen công bố cả ba. Những hàng mà Qwen không công bố — DeepSWE, SWE-Atlas-QnA, NL2Repo, JobBench, Automation Bench, DeepPlanning, YC-bench, Tau3, EnterpriseOps-Gym, Claw-Eval — chính xác là những hàng mà mức chênh lệch của Nanbeige là lớn nhất.

Mẫu đó khớp với hai phương pháp khác nhau trong cùng một bảng: sao chép số liệu cho các benchmark mà đối thủ đã công bố, còn chạy mới cho những benchmark mà đối thủ chưa công bố. Đây là suy luận, không phải sự thật được tiết lộ — thẻ của Nanbeige nói rằng mọi mô hình đều được đánh giá ở mức nỗ lực tư duy cao nhất với cùng tham số suy luận và cùng bộ khung đánh giá, điều này sẽ đi ngược lại khả năng sao chép. Nhưng sự trùng khớp chính xác ở ba con số độc lập là một sự trùng hợp đáng nêu ra, và nếu cột Qwen là một hỗn hợp, thì "18 trên 20" so sánh các lần chạy của Nanbeige với các lần chạy của Qwen trên một số hàng và các lần chạy của Nanbeige với các lần chạy của Nanbeige trên những hàng khác.

Có một vấn đề thứ hai, tinh tế hơn. Mô hình của chính Nanbeige đang được chạy trong harness mà card của nó khuyến nghị: gọi công cụ bằng XML, preserve_thinking=true, temperature 1.0 cho công việc agentic. Card không nói liệu Qwen3.8-27B có được cấp các thiết lập khuyến nghị của riêng nó hay bị đưa vào thiết lập của Nanbeige. Nếu là trường hợp sau, một phần của khoảng cách 23 điểm trên DeepSWE là do khác biệt cấu hình chứ không phải khác biệt năng lực. Đây cũng là lưu ý áp dụng cho mọi so sánh giữa các nhà cung cấp, và đó không phải lý do để bác bỏ kết quả — mà là lý do để yêu cầu chạy lại một cách trung lập trước khi coi nó là đã ngã ngũ.

Điểm độc lập mà chỉ một mô hình có

Artificial Analysis chấm Qwen3.8-27B 34 điểm trên Intelligence Index của mình, được đo ở cấu hình suy luận xhigh, với 45,2 token đầu ra mỗi giây. Độ trễ thay đổi tùy nhà cung cấp: trang của chính chúng tôi báo cáo thời gian đến token đầu tiên p50 là 2,95 giây, so với 3,8 giây mà Artificial Analysis đo được trên endpoint mà họ lấy mẫu. Chỉ số đó là tổ hợp của mười phép đánh giá, bao gồm Terminal-Bench 4.0, SciCode, AA-LCR, GDPval-AA và AutomationBench-AA — một số nhóm benchmark giống với những nhóm mà Nanbeige tự báo cáo.

Nanbeige4.3-33B không có mục nào trên Artificial Analysis. Đó không phải là bê bối; mô hình mới hai ngày tuổi. Nhưng điều đó có nghĩa hai bên trong phép so sánh này không ngang nhau về mặt nhận thức luận. Con số 34 của Qwen là con số do người khác đo. Con số 80,9 của Nanbeige trên Terminal-Bench 2.1 là con số do chính Nanbeige đo. Nếu cả hai đều chính xác, Nanbeige nhiều khả năng sẽ đạt vị trí cao hơn hẳn 34 trên cùng một chỉ số tổng hợp — điểm Terminal-Bench 4.0 là 23,8 và SciCode là 52,6 của nó là những hạng mục mạnh. Vấn đề là “nhiều khả năng” đang gánh trọng trách, và nó sẽ tiếp tục như vậy cho đến khi một bên đánh giá độc lập chạy mô hình.

Đây cũng là lý do thực tiễn để coi tuyên bố 18 trên 20 như một lập luận mở đầu. Tuyên bố này có thể bị phản bác theo một cách cụ thể và ít tốn kém: gửi Nanbeige4.3-33B đến một đơn vị đánh giá độc lập và so sánh điểm tổng hợp. Cho đến khi điều đó xảy ra, phát biểu trung thực mạnh nhất là Nanbeige tuyên bố dẫn đầu về công việc agentic dài hạn và kém hơn một chút về chất lượng đầu ra chuyên nghiệp, và rằng chỉ một trong hai mô hình đó đã được bất kỳ ai khác ngoài nhà sản xuất kiểm tra.

Chi phí mỗi tác vụ, không phải mỗi token

Qwen3.8-27B là mô hình duy nhất trong hai mô hình này mà bạn có thể gọi ngay hôm nay. Trên OrcaRouter, giá là 0,33 USD cho mỗi triệu token đầu vào và 2,40 USD cho mỗi triệu token đầu ra — thấp hơn mức 0,50 USD và 3,00 USD mà Artificial Analysis liệt kê cho endpoint first-party của Alibaba. Mô hình này được phục vụ trên hạ tầng của chính chúng tôi thay vì được bán lại theo giá niêm yết của nhà cung cấp, đó là lý do nó nằm dưới mức giá first-party; với những mô hình chúng tôi chuyển tiếp, quy tắc markup 0% nghĩa là bạn trả đúng giá niêm yết của nhà cung cấp. Dù thế nào, giá mỗi token biến động đủ nhiều theo từng tuyến đến mức endpoint first-party không mặc nhiên là lựa chọn rẻ. Mô hình cũng chấp nhận hình ảnh và video cùng với văn bản, và có cửa sổ 262.144 token.

Tuy nhiên, giá mỗi token là đơn vị sai để so sánh việc này. Các nhà đánh giá báo cáo rằng Qwen3.8-27B tiêu thụ token nhiều một cách bất thường — khoảng gấp ba lần số token của Qwen3.6-27B trên các tác vụ tương đương — và Artificial Analysis ước tính khoảng 1,01 USD cho mỗi tác vụ Intelligence Index ở thiết lập xhigh. Một mô hình thắng về giá mỗi token nhưng thua về số token mỗi tác vụ vẫn có thể là lựa chọn đắt hơn. Nanbeige4.3-33B hoàn toàn không có giá mỗi token: trọng số miễn phí, không nhà cung cấp suy luận nào triển khai nó, và để chạy nó đòi hỏi một triển khai song song tensor trên bốn GPU được duy trì mở bất kể có lưu lượng truy cập hay không.

Đó là nơi một lớp định tuyến chứng minh được giá trị của mình. Qwen3.8-27B hiện có thể truy cập bằng khóa của chúng ta hôm nay; Nanbeige thì không, và chúng tôi sẽ không giả vờ là có. Điều bạn có thể làm là giữ Qwen làm đường chạy production và định tuyến một phần lưu lượng thật đến một endpoint Nanbeige tự lưu trữ để đo mức hoàn thành tác vụ và lượng token tiêu thụ, thay vì tin vào một bảng. Chuyển đổi dự phòng tự động rất quan trọng ở đây: một endpoint thử nghiệm chết giữa chừng nên chuyển sang mô hình hiện hành, chứ không kéo agent sập theo. Khi đó quyết định sẽ dựa trên chi phí cho mỗi tác vụ hoàn thành của chính bạn, vì đó là con số duy nhất kết hợp một cách trung thực hành vi token của cả hai mô hình.

Điều gì sẽ bác bỏ điều này

Ba kết quả sẽ trả lời dứt điểm câu hỏi, và không kết quả nào trong số đó đòi hỏi một mô hình mới.

• Một mục Artificial Analysis cho Nanbeige4.3-33B. Nếu nó đạt gần hoặc trên 34, hướng của bảng nhà cung cấp được xác nhận và độ lớn trở nên gây tranh cãi. Nếu nó đạt thấp hơn đáng kể, tuyên bố 18-of-20 cần một lời giải thích tốt hơn nhiều so với việc chọn harness.

• Tái chạy trung lập DeepSWE và Terminal-Bench 4.0 với cả hai mô hình ở cấu hình được khuyến nghị riêng của chúng. Đó chính là thí nghiệm cụ thể mà bảng hiện tại không thực hiện, và nó nhắm vào những hàng mang phần lớn lợi thế của Nanbeige.

• Một con số token trên mỗi tác vụ hoàn thành đã được công bố cho cả hai. Giá theo từng token không thể dùng để so sánh một mô hình dense 33B do bạn tự vận hành với một mô hình 27B ngốn token do bạn thuê. Chi phí cho mỗi công việc hoàn thành thì có thể.

Phán quyết mà chúng tôi sẽ bảo vệ

Nanbeige4.3-33B có lẽ là mô hình tác nhân tầm dài hạn mạnh hơn trong hai mô hình. Các mức chênh lệch trên DeepSWE, Terminal-Bench 4.0, Automation Bench và DeepPlanning quá lớn và quá nhất quán về hướng để có thể hoàn toàn là sai lệch do harness, và ngữ cảnh gốc 512K khớp với câu chuyện đó. Qwen3.8-27B có lẽ là mô hình mạnh hơn về chất lượng sản phẩm bàn giao chuyên nghiệp, nơi nó thắng cả hai hàng đo lường điều này, và rõ ràng là mô hình dễ dùng hơn: điểm số độc lập, API được host, đầu vào đa phương thức, và một mức giá bạn có thể đưa vào bảng tính ngay hôm nay.

"18 trên 20" là một kết quả thật nhưng được tô vẽ như thể lớn hơn. Phiên bản chính xác là: một mô hình mới hai ngày tuổi đến từ một phòng thí nghiệm chưa được ai đánh giá độc lập tuyên bố dẫn đầu rõ ràng về thực thi tác tử, hòa về lập luận tổng quát và kém hơn một chút về đầu ra chuyên nghiệp — so với một đối thủ đã ra mắt được mười tuần và đã được đo lường bởi một bên không phải nhà sản xuất của nó. Đó là một tuyên bố thực sự thú vị. Nó vẫn chưa phải là lý do để chuyển đổi.