Nanbeige4.3-33B so với Gemma 4 31B: Khoảng cách 33 điểm trong bảng của nhà cung cấp thực sự có ý nghĩa gì

Trong bảng đánh giá của chính Nanbeige4.3-33B, Gemma 4 31B đạt 0.0 trên Terminal-Bench 4.0. Đó là dòng cần bắt đầu xem xét, vì nó cho bạn biết cách đọc mọi con số còn lại trong so sánh này. Gemma 4 31B là bản phát hành trọng số mở 30.7 tỷ tham số của Google DeepMind, có thể tải xuống theo Apache 2.0 kể từ ngày 2 tháng 4 năm 2026, và các tài liệu của chính Google ghi nhận nó đạt 86.4 trên τ²-bench về sử dụng công cụ và 80.0 trên LiveCodeBench v6. Một mô hình như vậy không thể thất bại mọi tác vụ terminal đang tồn tại. Điểm 0 là thứ bạn nhận được khi một bài đánh giá không phân biệt được "không thể" với "chưa từng được giao một vòng lặp công cụ hoạt động".

Nanbeige4.3-33B thì ngược lại, mới ra đời được hai ngày. Kho lưu trữ của nó được tạo vào ngày 24 tháng 10 năm 2026 lúc 02:49 UTC, thẻ mô hình của nó là thông báo duy nhất mà Nanbeige đưa ra, và bảng 20 dòng trên thẻ đó là nguồn duy nhất cho mọi con số hiện đang được lan truyền về nó. Gemma 4 31B xuất hiện trong bảng đó với tư cách là một trong ba cột so sánh. Chưa có phòng thí nghiệm độc lập nào chạy thử hai mô hình này đối đầu với nhau, và cả hai nhà cung cấp đều chưa đánh giá mô hình của bên kia ngoài đúng một bảng này. Vì vậy, phiên bản trung thực của cuộc đối đầu này không phải là một bảng điểm. Đó là một cuộc tranh luận về việc những dòng nào trụ vững trước sự soi xét và những dòng nào đang đo chính cái khung đánh giá.

Mỗi mô hình thực sự là gì

Hai bản phát hành cách nhau sáu tháng rưỡi, và các giả định thiết kế đã thể hiện rõ điều đó.

• Thông số — Nanbeige4.3-33B là 33,1B dense (33.118.977.024 ở BF16), mọi tham số đều hoạt động trên mỗi token. Gemma 4 31B là 30,7B dense. Cả hai đều không phải là mixture of experts, nên thông lượng tỷ lệ với tổng số trọng số ở cả hai bên.

• Bối cảnh — Nanbeige4.3-33B hỗ trợ gốc 524.288 token. Gemma 4 31B hỗ trợ 262.144. Cả hai đều lớn bất thường so với phân khúc tham số; của Nanbeige gấp đôi.

• Phương thức — Nanbeige4.3-33B là văn bản vào, văn bản ra, tiếng Anh và tiếng Trung. Gemma 4 31B chấp nhận cả hình ảnh lẫn văn bản, được tiền huấn luyện trên hơn 140 ngôn ngữ, và tích hợp sẵn khả năng gọi hàm gốc cùng chế độ tư duy có thể cấu hình.

• Giấy phép — cả hai đều dùng Apache 2.0. Đây là một so sánh hiếm hoi mà câu hỏi về giấy phép đã được giải quyết trước khi bạn bắt đầu.

• Trọng số trên đĩa — Nanbeige4.3-33B khoảng 66GB ở BF16 và khoảng 20GB ở 4-bit. Gemma 4 31B cũng nằm trong cùng khoảng đó. Cả hai đều không phải mô hình dành cho laptop; đều là mô hình cho một máy trạm hoặc một nút đơn.

Điều duy nhất không ngang bằng là khả năng phân phối. Gemma 4 31B có một API được quản lý, một endpoint mà Artificial Analysis hiện niêm yết với chi phí bằng không, và sự đưa tin độc lập. Nanbeige4.3-33B có trọng số, một thẻ mô hình, và — theo chính lời trong thẻ — không có nhà cung cấp suy luận nào triển khai nó. Sự bất đối xứng đó không phải là một đánh giá chất lượng, nhưng nó thay đổi cái giá của việc “dùng thử nó”.

Cột nhà cung cấp và thẻ của chính Google không khớp nhau

Hai hàng trong bảng của Nanbeige có thể được đối chiếu với số liệu đã công bố của Google, và chỉ một trong số đó là khớp.

• AIME 2026 — Nanbeige ghi nhận Gemma 4 31B đạt 89.2. Google báo cáo 89.2. Trùng khớp chính xác.

• GPQA Diamond — Nanbeige ghi nhận Gemma 4 31B đạt 91,3, và đó là hàng duy nhất mà Gemma vượt qua con số 89,5 của chính Nanbeige. Con số Google công bố cho mô hình là 84,3. Đó là mức chênh lệch bảy điểm, và không thẻ nào giải thích cấu hình đằng sau con số đó.

Hàng thứ hai đó đáng được chú ý vì đây là chỗ duy nhất trong bảng của nhà cung cấp trao cho đối thủ một chiến thắng. Nếu con số đến từ một lần chạy lại ở mức nỗ lực suy nghĩ tối đa, đó là kết quả hợp lệ và Gemma thực sự dẫn đầu ở các câu hỏi khoa học trình độ sau đại học. Nếu nó đến từ một đánh giá được cấu hình khác, thì bảng đang so sánh hai Gemma khác nhau. Dù thế nào, câu "Gemma thắng GPQA" đã được lặp lại trong mọi bài viết thứ cấp tuần này đều dựa trên một con số mà Google không công bố.

Phần còn lại của cột Gemma khó kiểm tra hơn vì Google báo cáo các benchmark khác nhau. Bảng của Nanbeige đặt Gemma ở 18.6 trên Tau3-Bench; thẻ của Google đặt nó ở 86.4 trên τ²-bench. Đó là các phiên bản khác nhau của cùng họ benchmark, nên chúng không mâu thuẫn — nhưng chúng cũng không phải là một phép so sánh, và khoảng cách 68 điểm giữa chúng là một ước tính hợp lý cho mức độ mà việc lựa chọn harness và phiên bản có thể làm thay đổi điểm của một mô hình.

Đọc đúng các số không

Ba hàng trong cột Gemma gần bằng không: 0,0 trên Terminal-Bench 4.0, 2,7 trên DeepSWE và 3,3 trên SWE-Atlas-QnA. Đây là những hàng được lan truyền rộng rãi trên mạng xã hội, và chúng là những con số ít mang tính thông tin nhất trong bảng.

Điểm gần bằng không trên một benchmark dành cho tác tử có ít nhất ba nguyên nhân khả dĩ: mô hình không thể hoàn thành nhiệm vụ, mô hình không thể điều khiển các công cụ mà giàn thử cung cấp, hoặc giàn thử đã được tinh chỉnh cho một mẫu trò chuyện và định dạng gọi công cụ khác. Thẻ mô hình của Nanbeige nói rõ rằng kết quả của chính họ đã dùng Terminus 2 cho Terminal-Bench 2.1 và mini-swe-agent v2.4.6 cho Terminal-Bench 4.0, DeepSWE và SWE-Atlas-QnA. Thẻ này không nói liệu Gemma 4 31B có được cung cấp cùng khung đó với định dạng gọi công cụ của riêng nó hay bị đưa vào khung hướng XML của Nanbeige. Những cách đó tạo ra các con số rất khác nhau, và chỉ một trong số đó là về mô hình.

Đây không phải là lý do để bác bỏ kết quả của Nanbeige. Nanbeige4.3-33B được xây dựng xoay quanh lập trình tác tử — thẻ mô hình của nó khuyến nghị định dạng gọi công cụ XML, preserve_thinking=true cho việc dùng công cụ nhiều lượt, và nhiệt độ 1.0 cho các tác vụ tác tử — nên không có gì đáng ngạc nhiên khi nó hoạt động tốt trong một harness được xây dựng dành cho nó. Đó là lý do để coi cột Gemma là cận dưới thay vì một phán quyết.

Các benchmark bất đối xứng không định giá: hình ảnh

Gemma 4 31B nhận được hình ảnh. Nanbeige4.3-33B thì không. Chỉ một câu đó thôi quyết định nhiều triển khai thực tế hơn bất kỳ dòng nào trong bảng.

Nếu agent của bạn đọc ảnh chụp màn hình, hóa đơn, biểu đồ, biểu mẫu quét hoặc trạng thái UI, thì Nanbeige4.3-33B không phải là ứng viên, bất kể điểm benchmark là bao nhiêu. Bạn sẽ cần một mô hình trích xuất riêng đặt phía trước nó, với độ trễ, chi phí và các kiểu lỗi riêng, và khi đó chất lượng của pipeline sẽ là chất lượng của mô hình trích xuất chứ không phải của mô hình 33B. Gemma thực hiện bước đó một cách native, và MMMU-Pro đạt 76.9 cùng MATH-Vision đạt 85.6 do Google công bố cho thấy nó làm việc này một cách thành thạo chứ không phải chiếu lệ.

Ngược lại, nếu công việc chỉ là văn bản — mã, nhật ký, tài liệu dài, dấu vết công cụ nhiều lượt — thì năng lực hình ảnh là gánh nặng vô ích mà bạn vẫn phải trả giá trong mỗi lượt truyền xuôi. Đó chính là trường hợp mà Nanbeige được xây dựng để xử lý, và nó chiếm một phần lớn trong công việc tác tử.

512K so với 256K, và cửa sổ dùng để làm gì

Cửa sổ 524,288 token của Nanbeige gấp đôi con số 262,144 của Gemma, và cả hai đều đủ lớn đến mức sự khác biệt chỉ có ý nghĩa trong những kiểu công việc cụ thể.

Cửa sổ 256K chứa được khoảng lượng mã nguồn tương đương một kho lưu trữ cỡ trung bình, hoặc vài trăm trang văn bản. Cửa sổ 512K chứa gấp đôi lượng đó. Đối với một tài liệu dài duy nhất cộng với một câu trả lời dài, cả hai đều đủ; đối với một agent tích lũy đầu ra công cụ qua hàng trăm lượt, cửa sổ lớn hơn mang lại cho bạn nhiều lượt hơn trước khi phải tóm tắt hoặc loại bỏ. Thẻ của Nanbeige khuyến nghị tối đa 262,144 token mới cho suy luận và trò chuyện, điều này gợi ý ngân sách suy luận thực tế gần với 256K hơn là toàn bộ 512K. Giới hạn đầu ra của Gemma thường được cấu hình ở 131,072.

Không nhà cung cấp nào công bố benchmark đánh giá khả năng truy hồi ngữ cảnh dài ở đây, nên không có cách trung thực nào để nói 512K hay 256K của bên nào được tận dụng tốt hơn. Kích thước ngữ cảnh là một tuyên bố về dung lượng, không phải tuyên bố về chất lượng, và cả hai card chỉ dừng ở đó.

Mỗi cái tốn bao nhiêu để gọi

Gemma 4 31B là mô hình duy nhất trong hai mô hình này mà bạn có thể gọi dưới dạng dịch vụ ngay hôm nay. Trên OrcaRouter, mức giá là $0.13 cho mỗi triệu token đầu vào và $0.38 cho mỗi triệu token đầu ra, với đầu vào được lưu trong bộ nhớ đệm ở mức $0.02 — đây là việc chuyển tiếp nguyên giá niêm yết của nhà cung cấp mà không cộng thêm phụ phí, cũng là lý do vì sao thay đổi giá của nhà cung cấp được cập nhật vào danh mục của chúng tôi ngay trong ngày được công bố. Artificial Analysis hiện niêm yết endpoint riêng của Google ở mức $0.00 cho đầu vào và $0.00 cho đầu ra, điều gần như chắc chắn phản ánh một bậc khuyến mãi hoặc miễn phí hơn là một mức giá ổn định lâu dài; hãy coi đó là kênh dùng thử, không phải một khoản mục ngân sách.

Nanbeige4.3-33B không có giá trên mỗi token để báo. Trọng số miễn phí theo Apache 2.0, và thẻ mô hình nêu rằng không có nhà cung cấp suy luận nào triển khai mô hình. Chạy nó nghĩa là bốn GPU ở kích thước tensor-parallel bằng 4 theo chính các công thức vLLM và SGLang của thẻ mô hình, được duy trì hoạt động bất kể có yêu cầu đến hay không. Khi đó, chi phí biên của một token là tiền điện và tỷ lệ sử dụng của bạn, chứ không phải một bảng giá. Bất kỳ ai so sánh "$0.13 input" với "miễn phí" là đang so sánh một hóa đơn với một khoản chi phí vốn.

Đây cũng là lý lẽ thực tiễn để duy trì một bộ định tuyến trong luồng xử lý ngay cả khi mô hình mới được tự lưu trữ. Quyết định mà hầu hết các nhóm thực sự đối mặt không phải là "thay thế Gemma" mà là "gửi 5% lưu lượng đến thứ mới và xem điều gì xảy ra." Giữ cho giải pháp hiện tại vẫn truy cập được qua một khóa duy nhất, với cơ chế chuyển đổi dự phòng tự động nếu điểm cuối thử nghiệm gặp sự cố, sẽ biến đó thành một thay đổi định tuyến thay vì một cuộc di chuyển.

Khi Gemma 4 31B đơn giản là câu trả lời đúng

Bốn điều kiện giải quyết được việc này mà không cần đến bảng benchmark.

• Khối lượng công việc bao gồm hình ảnh, PDF hoặc ảnh chụp màn hình. Gemma, không cần bàn cãi.

• Bạn cần nhiều hơn là chỉ tiếng Anh và tiếng Trung. Gemma đã được tiền huấn luyện trên hơn 140 ngôn ngữ; Nanbeige chỉ liệt kê hai.

• Bạn không muốn tự sở hữu GPU. Gemma hiện có endpoint được quản lý; Nanbeige có trọng số và công thức triển khai.

• Bạn cần một ý kiến thứ hai về chất lượng. Gemma có Chỉ số Trí tuệ Artificial Analysis là 15, mức này khiêm tốn nhưng độc lập. Nanbeige hoàn toàn không có mục nào ở đó, nên mọi con số về nó đều là nhà cung cấp tự chấm bài của chính mình.

Xét theo chiều ngược lại, trường hợp Nanbeige cũng rõ ràng không kém: công việc tác tử chỉ dùng văn bản, một chuỗi dấu vết công cụ dài, một đội có GPU và sẵn sàng chạy định dạng công cụ XML mà nó khuyến nghị. Với dạng công việc đó, bảng của chính Nanbeige tuyên bố dẫn trước 33,7 điểm trên Terminal-Bench 2.1 — 80,9 so với 47,2 — và dẫn trước 62,8 điểm trên DeepSWE. Các mức chênh lệch đó đủ lớn để có lẽ vẫn chứa một tín hiệu thực sự ngay cả sau khi bạn đã chiết khấu lợi thế harness. Chúng không đủ lớn để đặt cược một lộ trình sản xuất vào đó mà không tự mình chạy thử.

Một cuộc thi nướng bánh vào buổi chiều còn thú vị hơn cái bàn này.

Nếu bạn thực sự đang cân nhắc chọn giữa hai mô hình, bài kiểm tra này rất rẻ và không đòi hỏi bạn phải tin bên bán nào. Hãy lấy hai mươi tác vụ thật từ nhật ký agent của chính bạn. Chạy từng mô hình với định dạng gọi công cụ và cài đặt suy luận được khuyến nghị riêng — XML cho Nanbeige, gọi hàm gốc cho Gemma — rồi chấm điểm mức hoàn thành tác vụ, không phải mức giống benchmark. Ghi lại lượng token tiêu thụ trên mỗi tác vụ hoàn thành, vì một mô hình dense 33B và một mô hình dense 30.7B sẽ khác nhau về độ dài dòng ngay cả khi giá mỗi token như nhau.

Điều bạn sẽ biết được trong một buổi chiều là liệu lợi thế biên về năng lực tác tử của Nanbeige có trụ vững trước chính lợi thế khung kiểm thử của nó hay không. Cho đến khi ai đó công bố điều đó, bản tóm tắt có thể bảo vệ được còn hẹp hơn cả các tiêu đề: Gemma 4 31B là mô hình dễ triển khai hơn và là mô hình duy nhất có điểm số độc lập; Nanbeige4.3-33B là mô hình tham vọng hơn, với cửa sổ 512K gốc và một loạt con số tác tử tự báo cáo gây ấn tượng, chưa được kiểm toán và mới chỉ hai ngày tuổi.