Nemotron 3.5 Bolt 74B so với Qwen3.8-Max: Khoảng cách lớn nhất trên bảng xếp hạng

Mọi cặp so tài trong dòng N​emotron 3.5 Bolt đều tồn tại một khoảng cách. Cặp này có khoảng cách rộng nhất. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB đạt 21,4 điểm trên Artificial Analysis Intelligence Index; Qwen3.8-Max, mô hình hàng đầu của A​libaba và cũng là mô hình đạt điểm cao nhất trong loạt so sánh này, đạt 45,4 điểm trên cùng bảng đánh giá độc lập đó. Đó là 24 điểm, nhiều hơn cả tổng điểm của mô hình nhỏ hơn, và đây chính là điểm khởi đầu trung thực cho bất kỳ ai đang tự hỏi liệu một agent cục bộ 24GB có thể thay thế cho frontier hay không.

Không thể được. Điều khiến cặp đôi này đáng để viết tới là hai mô hình thắng ở những hàng hoàn toàn khác nhau, và bảng đánh giá của chính N​VIDIA lại so sánh Bolt với một mô hình Q​wen không phải là mô hình này.

Hai mô hình không có gì chung ngoài tính đa phương thức

NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB là một mô hình ngôn ngữ-thị giác 74 tỷ tham số, được nén thành checkpoint 2-bit vừa vặn trong 24 gigabyte bộ nhớ. Trọng số của nó đã được đăng lên Hugging Face vào ngày 7 tháng 10 năm 2026; NVIDIA đã nêu tên nó trong một bài đăng ra mắt vào ngày 15 tháng 10. Nó được xây dựng cho công việc tác tử cục bộ — gọi công cụ, duyệt web, dùng terminal, đọc màn hình — và được bán dưới dạng bản tải về thay vì một dịch vụ, không có mức giá tính theo lưu lượng nào được công bố ở bất kỳ đâu.

Qwen3.8-Max thì có cấu trúc ngược lại. Mô hình hàng đầu của Alibaba là một hỗn hợp chuyên gia thưa (sparse mixture-of-experts) mà công ty định vị trực tiếp đối đầu với những mô hình đóng mạnh nhất tại thời điểm nó ra mắt, được cung cấp qua ba định dạng truyền tải — một giao diện tương thích OpenAI, một giao diện tương thích Anthropic và DashScope của chính Alibaba — trải khắp các khu vực Bắc Kinh, Singapore, Tokyo, Frankfurt và Virginia. Mô hình được cung cấp dưới dạng dịch vụ ra mắt ngày 3 tháng 8 năm 2026 với đầu vào hình ảnh và video, ngữ cảnh một triệu token và nút bật/tắt chế độ suy nghĩ; bản chụp ngày 2 tháng 9 là phiên bản hiện đang được chấm điểm trên các bảng xếp hạng. Mô hình cùng dòng có trọng số mở, Qwen3.8-2.4T-A95B, là một bản phát hành riêng và không phải mô hình được đo lường ở đây.

Một cái là tệp. Một cái là dịch vụ. Sự so sánh vẫn có ích, vì dịch vụ công bố giá còn tệp thì không, và khác biệt giữa chúng chính là thứ mà một triển khai cục bộ thực sự đang mua.

• Chỉ số Trí tuệ — N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB: 21.4. Qwen3.8-Max: 45.4. Cả hai đều được Artificial Analysis đo lường độc lập.

• Bối cảnh — 262.144 token cho checkpoint NVIDIA so với khoảng 983.000 cho Qwen3.8-Max, với đầu ra tối đa 131.072 token ở phía Alibaba.

• Tham số — tổng cộng 74B và 9B hoạt động đối với Bolt; hạng chủ lực của Alibaba là một mô hình hỗn hợp chuyên gia thưa ở một đẳng cấp hoàn toàn khác, kích hoạt khoảng 95B tham số mỗi token ở dạng trọng số mở của nó.

• Đầu vào — văn bản, hình ảnh và video vào, văn bản ra đối với cả hai. Đây là khía cạnh duy nhất mà cả hai thực sự giống nhau.

• Giá — Qwen3.8-Max: 2,00 USD cho mỗi triệu token đầu vào, 6,00 USD cho mỗi triệu token đầu ra, 0,25 USD cho đầu vào được lưu trong bộ nhớ đệm. Bolt: không có gì, vì không có endpoint nào để mua.

• Chi phí cho mỗi tác vụ Intelligence Index — 5,41 USD cho Qwen3.8-Max, được đo lường. Không có số liệu cho Bolt, vì cùng lý do.

• Tốc độ — Qwen3.8-Max: 39,8 token đầu ra mỗi giây với 3,06 giây cho token đầu tiên và thời gian suy luận trung vị là 50,3 giây mỗi phản hồi, tất cả đều được đo độc lập. Bolt: không tồn tại phép đo thông lượng độc lập nào.

Các hàng, từ đó 24 điểm đến

Artificial Analysis đã chạy cả hai. Đọc chi tiết theo từng dòng hữu ích hơn so với điểm tổng hợp, vì điểm tổng hợp che mất sự thật rằng không mô hình nào dẫn trước một cách đồng đều.

• Terminal-Bench 2.1 — Qwen3.8-Max 88,8 phần trăm, được đo lường độc lập. Bolt không có mục tham gia độc lập nào trên benchmark này; NVIDIA báo cáo 50,98 trên thẻ mô hình của mình.

• GPQA Diamond — Qwen3.8-Max 92,8 phần trăm một cách độc lập. Con số 86,43 của Bolt là số liệu do chính NVIDIA đưa ra, và hội đồng không có con số độc lập nào cho nó.

• Humanity's Last Exam, không dùng công cụ — Qwen3.8-Max đạt 43,1 phần trăm so với 24,7 phần trăm của Bolt, cả hai đều được đo lường độc lập.

• Truy xuất ngữ cảnh dài (AA-LCR) — 80,3 phần trăm so với 69,7 phần trăm, cả hai đều được đo lường.

• Lập trình khoa học (SciCode) — 52,1 phần trăm so với 39,7 phần trăm, cả hai đều được đo lường.

• Suy luận đa phương thức (MMMU-Pro) — Qwen3.8-Max 82,8 phần trăm, được đo lường độc lập. Bolt không có mục độc lập, đây là một thiếu sót đáng chú ý đối với một mô hình có điểm bán chính là khả năng nhìn thấy.

• Các sản phẩm bàn giao theo nghề nghiệp (GDPval-AA) — Qwen3.8-Max 0,583 được chuẩn hóa so với 0,240 của Bolt, cả hai đều được đo lường.

• Vận hành tác nhân và CNTT — Qwen3.8-Max đạt 42,4 phần trăm trên APEX-Agents, 40,3 phần trăm trên ITBench-SRE và 45,0 phần trăm trên một đánh giá tác nhân phân tích. Bolt không có điểm số độc lập nào trong bất kỳ cột nào trong ba cột đó.

• Không ảo giác (AA-Omniscience) — Qwen3.8-Max 71,2 phần trăm so với 56,3 phần trăm của Bolt, với độ chính xác đạt 31,7 phần trăm so với 17,1 phần trăm. Khác với so sánh Bolt với Ultra, nơi mô hình nén thắng ở hàng hiệu chuẩn, ở đây mô hình chủ lực thắng cả hai.

• Chi phí cho mỗi tác vụ lập chỉ mục — 5,41 USD đối với Qwen3.8-Max. Đây là con số chi phí trên mỗi tác vụ cao nhất trong nhóm các so sánh xoay quanh mô hình này, và chính con số đó khiến tùy chọn cục bộ trở nên đáng quan tâm ngay cả khi kém 24 điểm.

5,41 đô la cho mỗi tác vụ mua được gì, và 24GB mua được gì thay vào đó

Khía cạnh kinh tế của Qwen3.8-Max khác thường đối với một mô hình tiên tiến: mức giá mỗi token là 2,00 USD cho đầu vào và 6,00 USD cho đầu ra là vừa phải, nhưng mô hình dành nhiều thời gian để suy nghĩ. Thời gian suy luận trung vị trên các lần chạy của hội đồng là 50,3 giây, và thời gian phản hồi từ đầu đến cuối trung bình là 65,9 giây. Một tác vụ khiến mô hình mất một phút suy ngẫm nội bộ sẽ tạo ra rất nhiều token đầu ra, và chi phí cho mỗi tác vụ chỉ mục là chỉ số bộc lộ điều đó. Đó không phải là lời chỉ trích mô hình — suy luận sâu chính là sản phẩm — mà là lý do khiến một vòng lặp agent khối lượng lớn trở nên đắt đỏ nhanh chóng ở hạng này.

Đó chính xác là khối lượng công việc mà Bolt được xây dựng để phục vụ. Một checkpoint cục bộ hoàn toàn không có đồng hồ đo theo token: chi phí biên của một lệnh gọi công cụ là điện năng, còn chi phí cố định là một GPU. Với một agent luôn hoạt động, thực hiện hàng nghìn bước quy trình nhỏ — đọc màn hình, gọi một endpoint, chỉnh sửa tệp — phép so sánh không phải là 21,4 so với 45,4, mà là một hằng số so với một hóa đơn ngày càng tăng. Cách diễn đạt của chính N​VIDIA là Bolt tồn tại để các tác vụ agentic hằng ngày có thể chạy cục bộ mà không cần gửi khối lượng công việc lên đám mây, và nó báo cáo đạt 50,86 trên WebArena vision và 66,75 trên BrowseComp cho chính những tác vụ đó.

Điều đáng lưu ý là chi phí cố định là thật và độ trễ thì chưa biết. Công thức phục vụ tham chiếu của NVIDIA gồm nhiều bước: một bản dựng nightly vLLM được ghim phiên bản, gói kernel b12x, một plugin trình phân tích suy luận được tải xuống riêng, các backend Mamba và attention được chỉ định rõ ràng, và một cấu hình giải mã suy đoán sử dụng mô hình nháp LiLiCorr với bảy token nháp. Thông lượng được NVIDIA công bố ở mức 83,99 token mỗi giây trên AIPerf SPEED-Bench-Coding trên một máy thuộc phân khúc laptop — một con số của nhà cung cấp trên một benchmark của nhà cung cấp, không có lượt chạy độc lập nào để đối chiếu.

Mức cơ sở mà NVIDIA đã chọn

Còn một điều nữa đáng lưu ý, và đó là một bài học về cách đọc, chứ không phải một bài học kỹ thuật. Bảng benchmark trên model card của Bolt có bao gồm một mô hình Qwen làm điểm so sánh — và đó là Qwen3.6-35B-A3B, một mô hình nhỏ hơn nhiều so với mô hình flagship được đo trên trang này. Bảng của NVIDIA cho thấy Bolt thắng ở Terminal-Bench 2.1, GPQA Diamond, BrowseComp, GDPVal, Tau3 Banking, SciCode, AA-LCR và MCP-Atlas trước mô hình đó, nhưng thua ở độ chính xác AA-Omniscience, khả năng không ảo giác AA-Omniscience và PinchBench.

Những so sánh đó rất có thể là đúng. Nhưng một độc giả lấy “Bolt đánh bại Qwen” từ bảng là đang so sánh một mô hình edge 74B với một MoE 35B thuộc lớp dense, chứ không phải với phân khúc tiên phong của Alibaba. So với Qwen3.8-Max, bảng ghi độc lập lại cho kết quả ngược lại trên gần như mọi hàng chung, và khoảng cách nới rộng ra thay vì thu hẹp lại trên những benchmark khó nhất. Khi một nhà cung cấp tự chọn baseline cho mình, cách làm trung thực là kiểm tra xem baseline đó là gì.

Cách quyết định

Chọn Qwen3.8-Max khi tính đúng đắn là ràng buộc. Nếu tác vụ là phân tích nhiều bước, suy luận đa phương thức khó, công việc agentic có hậu quả thực tế, hoặc bất cứ thứ gì được đo bằng các benchmark mà trên đó nó dẫn trước 24 điểm, thì phương án cục bộ không phải là ứng viên — và ở mức $2.00 và $6.00 mỗi triệu token, nó được định giá như hạ tầng chứ không phải như một thứ xa xỉ. Đây cũng là mô hình nên chọn khi quy trình làm việc cần đầu ra có cấu trúc, gọi công cụ gốc và ngữ cảnh một triệu token trong một lần gọi, tất cả những điều mà Alibaba ghi nhận là được hỗ trợ.

Hãy chọn Bolt khi ràng buộc nằm ở nơi công việc diễn ra. Quyền riêng tư, hoạt động ngoại tuyến, độ trễ không phụ thuộc vào mạng, và chi phí mỗi lần gọi vốn không hề tồn tại là bốn lập luận riêng biệt, và mỗi lập luận tự nó đã đủ đối với một số đội nhóm. Mô hình này làm tốt các quy trình và yếu về khả năng truy hồi; hãy hướng nó vào vế trước.

Với nửa phần hosted, Qwen3.8-Max có thể truy cập được qua OrcaRouter với tên qwen/qwen3.8-max/ trên cùng một khóa như hơn 200 mô hình khác, ở mức giá niêm yết của nhà cung cấp Alibaba và không cộng thêm phụ phí — nghĩa là mọi thay đổi giá từ nhà cung cấp sẽ tới phía chúng ta ngay trong ngày chứ không phải vào cuối chu kỳ thanh toán. Điều đó quan trọng hơn ở hạng này so với một hạng rẻ, bởi 5,41 đô-la mỗi tác vụ chỉ mục là con số mà đội tài chính sẽ muốn kiểm tra lại hằng tháng. Điểm mà việc định tuyến làm thay đổi hình hài của quyết định chính là bài toán khối lượng: một khối lượng công việc gồm 90 phần trăm là các bước thủ tục nhỏ và 10 phần trăm là suy luận khó có thể gửi 10 phần trăm đó tới đây và giữ phần còn lại chạy cục bộ, với cơ chế chuyển đổi dự phòng tự động giữa các nhà cung cấp để hạng hosted suy giảm thành một lần thử lại thay vì một sự cố gián đoạn dịch vụ.

Chúng tôi không vận hành mô hình N​VIDIA nào và không có endpoint Bolt — dòng N​emotron không nằm trong danh mục của chúng tôi, và phần cục bộ của so sánh này là một câu hỏi về phần cứng mà không lớp định tuyến nào đụng tới.

Con số chưa được giải quyết

Điều mà chưa ai công bố chính là phép đo sẽ khiến so sánh này trở nên trọn vẹn: một lần chạy đo độ trễ và thông lượng độc lập trên checkpoint 24GB ở kích thước batch bằng một, trên một cỗ máy mà một người có thể mua. Nếu một checkpoint 74B 2-bit hóa ra có thể chạy các bước agent tương tác ở tốc độ dùng được, khoảng cách 24 điểm sẽ trở thành khoảng cách mà bạn có thể đi vòng qua — cục bộ cho quy trình, máy chủ lưu trữ cho suy luận. Nếu không, lựa chọn cục bộ chỉ là một công cụ chạy theo lô và so sánh sẽ quy về giá. Dù theo hướng nào, câu trả lời chỉ còn cách một công bố, và đó là điều cần tìm trước khi lên kế hoạch triển khai quanh mô hình này.

Những so sánh như thế này cũng là nơi các kiểu thất bại lộ diện: các sự cố AI và lỗi agent được ghi nhận đằng sau các mô hình thuộc lớp này được tập hợp trong Kho lưu trữ Sự cố AI OrcaRouter, trong đó mỗi mục đều có nguồn riêng, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp.