Nanbeige4.3-33B đã có điểm số đánh giá độc lập đầu tiên: 20, ngang bằng Qwen3.8-27B và nói nhiều gấp đôi.

Trong hai tuần, bằng chứng duy nhất cho thấy Nanbeige4.3-33B giỏi bất cứ điều gì đến từ một bảng hai mươi dòng do chính phòng thí nghiệm viết về mình. Vào ngày 5 tháng 11, điều đó đã thay đổi: Artificial Analysis đưa Nanbeige4.3-33B vào Intelligence Index v5.0.1 của mình ở mức 20, cùng điểm số mà nó dành cho Qwen3.8-27B ở thiết lập suy luận cao nhất — 20 trên chỉ số tổng hợp, 20,1 cho mô hình Qwen trong lần chạy v5.0 cơ sở. Một phần mười điểm nhỏ hơn mức nhiễu giữa hai lần đánh giá cùng một checkpoint, vì vậy hai mô hình ngang tài ngang sức trên chỉ số tổng hợp công khai duy nhất đo lường cả hai.

Đó là con số mà bản phát hành đã chờ đợi, và nó lại là thứ kém thú vị nhất trong phép đo. Điểm tổng hợp che giấu một mô hình mà hai nửa của nó chỉ về hai hướng trái ngược: một nửa thiên về tác tử vượt xa mô hình Qwen mà nó được tạo ra để đánh bại, và một nửa tri thức lại kém hơn nó một cách đo lường được. Nó cũng che giấu sự thật rằng Nanbeige4.3-33B đã tiêu tốn 160 triệu token đầu ra để đạt được con số 20 đó — hơn gấp đôi mức mà mô hình trung vị trong nhóm so sánh của nó đốt, và đủ để khiến nó xếp cuối cùng trong số tám mô hình theo thước đo độ dài dòng của Artificial Analysis.

Vậy cách đọc trung thực về bản phát hành này không còn là “chưa được xác minh” nữa. Mà là “đã được xác minh, và kỳ lạ hơn những gì bảng của nhà cung cấp gợi ý.” Đây là những gì lần chạy độc lập thực sự nói, chỗ nó khớp với các con số của chính Nanbeige, và điểm duy nhất mà đo lường bên ngoài đưa ra cao hơn so với tuyên bố của chính phòng thí nghiệm.

20 có nghĩa là gì, và nó không có nghĩa là gì

Artificial Analysis xếp Nanbeige4.3-33B đứng đầu trong số chín mô hình thuộc cùng nhóm so sánh của nó, so với mức trung vị của nhóm là 10. Nhóm đó gồm chín mô hình trọng số mở có kích thước tương đương mà trang này đem ra đối chiếu, và trang cũng nói riêng rằng nó có 144 mô hình trong nhóm so sánh rộng hơn. Cả hai tập hợp đều đáng được ghi nhớ cùng lúc: so với các mô hình trọng số mở có kích thước xấp xỉ nó, đây là thứ mạnh nhất từng được đo; còn so với toàn bộ lĩnh vực — bao gồm các mô hình đóng tiên phong và những mô hình tốt nhất của Qwen, DeepSeek và Anthropic — điểm số 20 là một kết quả vững chắc ở mức giữa bảng.

Khoảng cách giữa vị trí #1-of-9 và một điểm số giữa bảng là điều đáng để giữ lại, vì đó chính là khoảng cách bị mất đi khi một bản phát hành được tóm tắt là “đánh bại Qwen”. Một mô hình trọng số mở 33B đạt vị trí giữa bảng trên một chỉ số tổng hợp bị chi phối bởi các mô hình lớn gấp nhiều lần nó là một thành tựu thực sự. Đây không phải là một kết quả tiên phong, và không có gì trong từ vựng của bản phát hành này nên ngụ ý điều ngược lại.

Điều mà chỉ số này không bao gồm là giá. Không có giá, vì không có endpoint được lưu trữ: Artificial Analysis ghi nhận "Không có API nào được công khai", ánh xạ nhà cung cấp suy luận của Hugging Face cho kho lưu trữ là trống, và mọi trình theo dõi có chứa mô hình đều hiển thị chi phí là không khả dụng. Chi phí của bạn là phần cứng.

Hai nửa của mô hình mâu thuẫn với nhau

Artificial Analysis không công bố một con số duy nhất, và các điểm thành phần chính là nơi mô hình này trở nên dễ hiểu. Hãy đọc chúng như hai cột.

• Terminal-Bench 4.0 (khung đánh giá Artificial Analysis) — Nanbeige4.3-33B đạt 29,8%, xếp thứ 56 trong số toàn bộ các cấu hình trên bảng xếp hạng. Qwen3.8-27B ở mức xhigh chỉ đạt 5,6% trên cùng khung đánh giá đó.

• FrontierCode 2.0 — Nanbeige4.3-33B 10,7%, xếp thứ 81. Qwen3.8-27B ở mức xhigh đạt 14,9%, vậy nên benchmark chất lượng mã lại đi theo hướng ngược lại.

• AA-Omniscience v1.1 — Nanbeige4.3-33B đạt −4,4 với độ chính xác 11,7%. Qwen3.8-27B ở mức xhigh đạt −6,4 với độ chính xác 17,3%. Qwen biết nhiều hơn; Nanbeige có kết quả ròng tốt hơn vì nó từ chối trả lời thường xuyên hơn.

• AA-Omniscience không ảo giác — Nanbeige4.3-33B 81,8%, xếp thứ 7 trên toàn trang. Qwen3.8-27B ở mức xhigh đạt 71,4%.

• AutomationBench — Nanbeige4.3-33B 53,1%, xếp thứ 82. AA-Briefcase v1.1 — 1.162, xếp thứ 90. Terminal-Bench-Science 0.1 — 0,9%, xếp thứ 89.

• HLE-Diamond — 6,9%, xếp hạng 117. Tập con khó CritPt v2 — 15,5%, xếp hạng 85. GDP.pdf — 11,2%, xếp hạng 135.

Mô thức trên các hàng đó là nhất quán. Ở những tác vụ kiểu “điều khiển một terminal trong thời gian dài và không dừng sớm”, mô hình này đạt điểm cao gấp khoảng năm lần mô hình Qwen. Ở những tác vụ kiểu “biết một sự thật”, nó lại kém hơn — và ở những tác vụ kiểu “biết một sự thật hoặc nói rằng bạn không biết”, nó vượt gần như mọi thứ trên bảng xếp hạng, với 81.8% không ảo giác.

Sự kết hợp đó không phải là sự tình cờ của việc tinh chỉnh. Đó là hình hài của một mô hình được xây dựng để sinh ra các quỹ đạo tác tử khi bạn hướng một bài kiểm tra kiến thức vào nó. Một mô hình giáo viên bịa ra sự thật là một giáo viên đầu độc dữ liệu huấn luyện của học trò, vì vậy hiệu chuẩn quan trọng hơn độ thu hồi trong pipeline mà Nanbeige nói rằng nó đang xây dựng. Dù sự đánh đổi đó là có chủ đích hay tự phát, đó là điều dễ biện hộ vững chắc nhất ở bản phát hành này.

Vấn đề dài dòng là một vấn đề chi phí trá hình

Artificial Analysis báo cáo rằng Nanbeige4.3-33B đã tạo ra 160 triệu token đầu ra trong khi được đánh giá trên Intelligence Index. Mô hình trung vị trong nhóm so sánh của nó tạo ra 77,7 triệu. Trên bảng xếp hạng độ dài diễn đạt của trang, nó đứng cuối, #8/8 trong nhóm đó, với khoảng 2,06 lần mức trung vị. Khối lượng đầu vào là 15,4 tỷ token, đưa tỷ lệ đầu ra so với đầu vào lên 1,034%.

Có hai điều suy ra. Thứ nhất là việc mua 20 thì đắt. Nếu bạn đang trả tiền theo token ở bất kỳ đâu, một mô hình phát ra gấp đôi số token cho cùng một điểm tổng hợp sẽ tốn chi phí gần gấp đôi trên mỗi đơn vị năng lực được đo, và chỉ số này không chuẩn hóa cho điều đó. Thứ hai là sự dài dòng là vấn đề độ trễ trước khi là vấn đề tiền bạc: một mô hình dense 33B trên GPU của chính bạn tạo ra gấp đôi số token sẽ mất gấp đôi thời gian để hoàn thành một tác vụ.

Các thiết lập được chính Nanbeige khuyến nghị giải thích được một phần điều đó và không biện minh cho toàn bộ. Thẻ yêu cầu giới hạn 262.144 token cho suy luận và trò chuyện, 65.536 cho công việc tác tử, với chế độ suy nghĩ được bật theo mặc định. Bất kỳ mô hình nào được cho phép suy nghĩ trong một phần tư triệu token sẽ dùng đến một phần trong số đó. Nhưng trung vị của nhóm là một so sánh công bằng — các mô hình khác đứng sau cùng chỉ số cũng là mô hình suy luận — và bội số 2,06× vẫn đứng vững sau phép kiểm soát đó.

Với triển khai tự lưu trữ, cách khắc phục thực tế là một ngân sách, không phải thay đổi mô hình: giới hạn max new tokens cho mỗi tác vụ, và đo tỷ lệ đạt của riêng bạn ở 8K, 16K và 32K trước khi cho rằng các giá trị mặc định của card là phù hợp với khối lượng công việc của bạn. Hầu hết tác vụ agentic không cải thiện sau một điểm nào đó, và mô hình này sẽ không cho bạn biết điểm đó ở đâu.

Dòng duy nhất mà lần chạy bên ngoài vượt qua con số của chính nhà cung cấp

Thẻ mô hình của Nanbeige tuyên bố Terminal-Bench 4.0 đạt 23.8 cho Nanbeige4.3-33B so với 6.3 cho Qwen3.8-27B. Artificial Analysis đo được 29.8. Con số độc lập là sáu điểm cao hơn so với con số mà phòng thí nghiệm công bố về chính mình.

Điều đó đủ bất thường để đáng nói thẳng, bởi vì kiểu thất bại tiêu chuẩn trong ngành này diễn ra theo hướng ngược lại — các phòng thí nghiệm báo cáo con số tốt nhất mà scaffold của chính họ tạo ra, còn các lần chạy lại bên ngoài thì thấp hơn. Một nhà cung cấp báo cáo thấp hơn điểm agentic của chính mình cho thấy hoặc là họ dùng một harness khác, hoặc là một tuyên bố cố ý thận trọng, hoặc là một bảng được lập trước checkpoint cuối cùng. Không điều nào trong số đó là xấu; tất cả đều có nghĩa là bảng của nhà cung cấp không phải là mức trần và không nên được đọc như vậy.

Không thể suy ra rằng mọi dòng của nhà cung cấp đều đáng tin cậy. Những tuyên bố lớn nhất trong bảng của Nanbeige — DeepSWE đạt 65,5 so với 42,5 của Qwen, SWE-Atlas-QnA đạt 50,8 so với 41,9 — vẫn chưa có đối chứng độc lập, và cả hai đều là những benchmark nhạy cảm với scaffold, nơi việc lựa chọn harness ảnh hưởng đến điểm số nhiều hơn chất lượng mô hình. Điều mà kết quả Terminal-Bench xác lập thì hẹp hơn và hữu ích hơn: hướng agentic của tuyên bố là có thật. Độ lớn trên bất kỳ dòng riêng lẻ nào vẫn chưa được kiểm chứng.

Điều này đặt một nhóm muốn thử nó vào tình thế nào

Không có gì thay đổi về quyền truy cập. Không có endpoint nào để gọi, không có bảng giá, và không có danh sách nhà cung cấp — các trọng số nằm trên Hugging Face theo Apache 2.0 và đường phục vụ là vLLM, SGLang hoặc Transformers trên phần cứng bạn sở hữu. Checkpoint bfloat16 có dung lượng 66,3 GB trải trên mười bốn phân mảnh, và với ngữ cảnh 512K, riêng KV cache đã lên tới khoảng 104 GiB, đó là lý do cấu hình hoạt động là song song tensor bốn hướng thay vì một card lớn.

Điều đã thay đổi là giờ đây bạn có thể bỏ qua phần tốn kém của quá trình thẩm định. Trước tuần này, việc đánh giá Nanbeige4.3-33B đồng nghĩa với phải cấp bốn GPU chỉ để xem liệu những tuyên bố về năng lực tác tử có còn đứng vững khi tiếp xúc với một harness trung lập hay không. Con số 29.8 trên Terminal-Bench 4.0 trả lời câu hỏi đầu tiên — hướng đi là đúng — và chỉ số độ dài trả lời một câu hỏi mà chẳng ai đặt ra, đó là mô hình sẽ tốn của bạn bao nhiêu token cho mỗi tác vụ hoàn thành.

Nếu bạn muốn một điểm so sánh mà mình thực sự có thể gọi ngay hôm nay, Qwen3.8-27B là đối chứng tự nhiên: cùng điểm tổng hợp, giá công bố và cửa sổ 262K. Nó chạy trên OrcaRouter với giá $0.33 cho mỗi triệu đầu vào và $2.40 cho mỗi triệu đầu ra, trên cùng một khóa như phần còn lại của danh mục, với giá niêm yết của nhà cung cấp được chuyển nguyên không cộng thêm phí. Chạy bộ nhiệm vụ của bạn với một mô hình chạy trên dịch vụ lưu trữ và một mô hình tự lưu trữ dưới cùng một quy tắc định tuyến là cách rẻ nhất để biết liệu một checkpoint dense 33B trên phần cứng của chính bạn có đánh bại được một mô hình 27B mà bạn thuê theo token hay không — và đó là câu hỏi mà Intelligence Index không thể trả lời thay bạn, vì nó không biết nhiệm vụ của bạn là gì hay GPU của bạn tốn bao nhiêu.

Những điều vẫn thực sự chưa rõ thì hẹp. Liệu Nanbeige4.3-3B, mục tiêu chưng cất mà mô hình này tồn tại để dạy, có kế thừa bất kỳ phần hiệu chuẩn nào không. Liệu tính dài dòng có sống sót qua mô hình học trò không, vì một mô hình nhỏ phát ra 2× token là một sai lầm rẻ hơn nhiều. Và liệu kết quả không ảo giác có giữ được bên ngoài bộ khung Omniscience không, bởi vì 81,8% là một con số đáng chú ý và những con số đáng chú ý xứng đáng được xem xét lại trước khi ai đó xây dựng một pipeline dựa trên chúng.