Một thẻ tiêu đề được tạo mang tiêu đề 'Qwen4-Max vs Nemotron 3.5 Bolt 74B' với dải băng ghi 'Không tồn tại benchmark độc lập chung', một thẻ bên trái liệt kê Qwen4-Max là API được host với ngữ cảnh 1.000.000 token, 1,50 USD đầu vào và 4,50 USD đầu ra trên mỗi triệu token, Chỉ số Thông minh là 43 và trọng số không được công bố, và một thẻ bên phải liệt kê Nemotron 3.5 Bolt 74B là checkpoint bạn tải xuống với ngữ cảnh 262.144 token, kích thước 24GB ở 2,06 bit, Chỉ số Thông minh là N/A và giấy phép OpenMDW-1.1.
Guides & Insights

Qwen4-Max so với Nemotron 3.5 Bolt 74B: Một con số đang thiếu trong so sánh này

Tác giả

jinhao.song

Ngày đăng

Mô hình mới nhất · 20Xem tất cả mô hình →
Benchmark: Artificial Analysis · cập nhật hằng ngày
Quay lại tất cả bài viết

Đặt Qwen4-Max và NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB cạnh nhau, và điều đầu tiên bạn nhận thấy là các trang so sánh chẳng có gì để so sánh. BenchLM nói thẳng — chưa có kết quả benchmark chung — rồi mời bạn xem giá thay vào đó. Lý do mang tính cấu trúc chứ không phải tạm thời: Qwen4-Max đạt 43 điểm trên Artificial Analysis Intelligence Index v5.0.1, còn Nemotron 3.5 Bolt 74B-A9B 24GB hoàn toàn không có điểm Intelligence Index. Không phải điểm thấp. Mà là N/A, trên một bảng xếp hạng đã chạy các mô hình từ trước khi cả hai ra mắt, bởi vì mô hình không có API công khai và bộ kiểm thử độc lập không có gì để gọi.

Sự thiếu vắng duy nhất đó tái cấu trúc mọi khía cạnh khác của phép so sánh. Bạn không thể xếp hạng một checkpoint 74 tỷ tham số vừa trong 24 gigabyte với một mô hình được host 2,4 nghìn tỷ tham số bằng cách đặt các con số của chúng vào những ô liền kề, vì chỉ một trong hai có số liệu. Điều bạn có thể làm — và điều mà các trang tổng hợp không làm — là tách riêng những tuyên bố của từng nhà cung cấp, ghi rõ ai đã đo chúng, và xác định quyết định thực sự phụ thuộc vào cột nào. Hóa ra điều đó ít liên quan đến năng lực hơn là việc bạn đang mua một tệp hay thuê một dịch vụ.

Một cái là tệp, cái kia là đồng hồ đo.

NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB được phát hành vào ngày 15 tháng 10 năm 2026 và có mặt trên Hugging Face dưới dạng trọng số có thể tải xuống theo OpenMDW-1.1, một giấy phép cho phép sử dụng thương mại. Đây là một mixture-of-experts lai Mamba-Transformer: tổng cộng 74 tỷ tham số, 9 tỷ tham số hoạt động trên mỗi token. “24GB” trong tên chính là mục đích của toàn bộ nỗ lực này. NVIDIA xây dựng nó bằng cách nén mô hình cha 120B-A12B bằng một khung tìm kiếm dẫn hướng theo router mà họ gọi là Star Elastic, giảm top-K của chuyên gia từ 22 xuống 9, sau đó áp dụng chưng cất nhận biết lượng tử hóa để các lớp chuyên gia nằm ở 2,0625 bit. Một mô hình soạn thảo suy đoán 1,13 tỷ tham số đi kèm, với độ dài chấp nhận trung bình là 4,68 khi giải mã tham lam và 4,25 khi lấy mẫu. Môi trường chạy được khuyến nghị là vLLM trên Ampere, Hopper hoặc Blackwell, với kích thước song song tensor bằng một.

Qwen4-Max là cấu trúc ngược lại, và không chỉ vì kích thước. Mẫu flagship thế hệ thứ tư của Alibaba đã được cung cấp rộng rãi vào ngày 16 tháng 11 năm 2026 với giá 1,50 USD mỗi triệu token đầu vào và 4,50 USD mỗi triệu token đầu ra tại Singapore, với cửa sổ ngữ cảnh 1.000.000 token, đầu vào hình ảnh và video gốc, và ba mức suy luận có thể cấu hình. Không có checkpoint nào được công bố. Tinh chỉnh, triển khai mô hình và suy luận theo lô đều được liệt kê là không được hỗ trợ trong tài liệu Model Studio. Mọi endpoint phục vụ nó đều đang phục vụ triển khai của Alibaba.

Vậy nên hai mô hình không cạnh tranh cho cùng một vị trí trong kiến trúc của bạn. Một cái là thứ bạn chạy; một cái là thứ bạn gọi. Mọi so sánh không bắt đầu từ đó đều đang đo sai thứ.

Bảng của nhà cung cấp so sánh Bolt với một Qwen không phải là mô hình này

Bảng benchmark của chính NVIDIA là bộ số liệu được ghi chép đầy đủ nhất ở cả hai phía, và đáng đọc kỹ vì những gì nó không chứa. Các cột so sánh của bảng là Qwen3.6-35B-A3B ở BF16, Gemma 4 26B-A4B-IT ở BF16, và Nemotron 3.5 Lightning 30B-A3B. Qwen4-Max không có trong bảng. Qwen mà bảng đo lường là một mô hình trọng số mở 35 tỷ tham số cách đây hai thế hệ, và lý do rất rõ ràng khi nói ra: tập so sánh được xác định bởi dấu chân bộ nhớ, và một API 2,4 nghìn tỷ tham số do nhà cung cấp vận hành không có dấu chân nào để so sánh.

Điều mà bảng thực sự xác lập, tất cả đều do nhà cung cấp báo cáo và chưa được tái lập, là một tệp 24GB có thể cạnh tranh với các lựa chọn cục bộ lớn hơn nhiều trong công việc tác tử. Trên các dòng mà NVIDIA đã chọn:

• BrowseComp — Nemotron 3.5 Bolt 74B 66.75, so với 48.74 của Qwen3.6-35B-A3B và 26.30 của Gemma 4 26B-A4B

• Terminal-Bench 2.1 — 50,98, so với 44,38 và 37,22

• WebArena ở chế độ thị giác — 50.86, so với 36.60 và 38.20

• GPQA Diamond — 86.43, so với 83.40 và 79.61

• HLE không dùng công cụ — 25.30, so với 19.56 và 17.42

• GDPVal-AA-V2 — 28,47, so với 25,75 và 15,33

• MCP-Atlas — 52,20, so với 51,20 và 48,4

• Tau3 Banking — 17.01, so với 10.52 và 14.02

Screenshot of the Hugging Face model card for NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB captured 19 November 2026, showing the 15 October 2026 release date, the 74B total and 9B active parameter configuration, a context length of up to 256K tokens, the OpenMDW-1.1 licence, and the vendor benchmark table comparing Bolt against Qwen3.6-35B-A3B, Gemma 4 26B-A4B-IT and Nemotron 3.5 Lightning 30B-A3B.

Hai hàng mà nó thua đáng được nêu tên, vì bảng của nhà cung cấp hiếm khi bao gồm chúng. Về độ chính xác AA-Omniscience, Gemma 4 26B-A4B đạt 22,17 so với 16,90 của Bolt; về mức không ảo giác AA-Omniscience, Nemotron 3.5 Lightning dẫn đầu với 68,81 so với 61,27 của Bolt. Thuộc tính được tiết lộ yếu nhất của Bolt là biết khi nào nó không biết.

Chú thích quan trọng không kém các hàng. NVIDIA ghi MCP-Atlas ở mức 51,20 cho Qwen3.6-35B-A3B, đồng thời lưu ý rằng chính Qwen báo cáo 62,8 trên cùng benchmark, được đo trên 500 tác vụ công khai. Hai phòng thí nghiệm, một benchmark, khoảng cách mười một điểm rưỡi. Đó không phải là bê bối; đó là hình dạng của những con số do nhà cung cấp báo cáo khi không có ai ở giữa chạy bộ khung kiểm thử cho cả hai bên. Đó chính xác là vai trò mà Intelligence Index đảm nhận đối với Qwen4-Max và không thể đảm nhận đối với Bolt.

Screenshot of the Artificial Analysis page for Nemotron 3.5 Bolt 74B-A9B captured 19 November 2026, showing the Intelligence Index, time per task, cost per task and verbosity panels reading N/A, 'No publicly available API' across the provider charts, and technical specifications listing 74B total parameters, 9B active, a 262k context window and the OpenMDW-1.1 licence.

Hội đồng độc lập nói gì về Qwen4-Max — và tại sao điều đó không giải quyết được gì cả

Thành tích độc lập của Qwen4-Max tuy mỏng nhưng có thật. Artificial Analysis chấm nó 43 điểm trên Intelligence Index v5.0.1 và xếp nó ở vị trí thứ 51 trong số 96 mô hình trên phiên bản bảng xếp hạng đó. Nó tốn 3,27 USD chi phí tính toán cho mỗi tác vụ chỉ số, giữ được vị thế nhờ tạo ra 127 triệu token đầu ra trong suốt lượt chạy so với mức trung vị 65,1 triệu, và mất 31,3 phút mỗi tác vụ so với mức trung vị 12,4. Tốc độ đầu ra là 56 token mỗi giây; thời gian đến token trả lời đầu tiên là 146 giây. Cửa sổ ngữ cảnh của mô hình trên bảng ghi là 984k, tức mức trần đầu vào ở chế độ suy nghĩ 983.616 được làm tròn, chứ không phải một mô hình khác.

Screenshot of the Artificial Analysis page for Qwen4 Max captured 19 November 2026, showing an Intelligence Index v5.0.1 score of 43 at rank 51 of 96, time to first answer token of 146.14 seconds, output speed of 56 tokens per second, 31.3 minutes per index task, $3.27 cost per task, 127M output tokens from the index run, and $1.50/$4.50 per million token pricing with a 984k context window.

Hãy đọc những dòng đó như một hồ sơ triển khai chứ không phải một phán quyết. Một mô hình suy nghĩ nửa giờ mỗi tác vụ và phát ra số token gấp đôi trung vị không chậm vì nó được phục vụ kém; nó chậm vì nó đang làm nhiều việc hơn mỗi tác vụ và tính tiền bạn cho công việc đó. Tính theo từng tác vụ, $3.27 là chi phí trung thực của một câu trả lời Qwen4-Max, và đó là con số cần mang vào bất kỳ so sánh nào với một mô hình bạn tự lưu trữ, nơi chi phí biên của một tác vụ là điện năng và thời gian chờ hàng đợi.

Giờ hãy thử đặt bản 24GB của Bolt bên cạnh đó. Bạn có một bảng của nhà cung cấp nói rằng nó đánh bại Qwen open-weight 35B về duyệt web tác tử, và bạn có một bảng xếp hạng độc lập nói rằng Qwen bản hosted mà nó thực sự đang được đem so sánh đạt 43 điểm và tốn $3.27 mỗi tác vụ. Hai dữ kiện đó chẳng liên quan gì đến nhau. Chưa ai chạy Nemotron 3.5 Bolt 74B qua Intelligence Index, và cho đến khi có người làm vậy, bất kỳ biểu đồ nào đặt hai mô hình lên trục năng lực đều đang vẽ một đường giữa một điểm đã được đo và một điểm được giả định.

Khi có thể phân định rõ: bộ nhớ, độ trễ và hóa đơn

Ba hàng có thể được so sánh một cách trung thực, vì cả hai bên đều công bố chúng và không bên nào cần bên thứ ba.

• Bộ nhớ — Nemotron 3.5 Bolt 74B-A9B 24GB cần 24 gigabyte bộ nhớ cục bộ ở mức lượng tử hóa chuyên gia 2,0625 bit; Qwen4-Max không cần chút nào, vì bạn không bao giờ giữ trọng số. Đánh đổi là trần bộ nhớ của một mô hình được lưu trữ sẽ trở thành trần ngữ cảnh: 262.144 token đối với checkpoint NVIDIA, 1.000.000 đối với Qwen4-Max, với giới hạn đầu vào 983.616 token ở chế độ suy nghĩ và 262.144 token được chia sẻ giữa suy luận và câu trả lời.

• {{1}}Tốc độ{{/1}} — {{2}}NVIDIA{{/2}} tuyên bố giải mã ít nhất 80 token mỗi giây và báo cáo 84 token/giây với mô hình nháp; {{3}}Artificial Analysis{{/3}} đo {{4}}Qwen4-Max{{/4}} ở 56 token mỗi giây, với 146 giây để có token trả lời đầu tiên. Mô hình cục bộ nhanh hơn trên mỗi token và bắt đầu trả lời sớm hơn. Mô hình được lưu trữ vẫn có thể hoàn thành tác vụ nhanh hơn, vì nó đang thực hiện một lượng suy luận khác.

• Giá — một tác vụ Qwen4-Max tốn $3.27 trên harness độc lập, hoặc $1.50 và $4.50 mỗi triệu token theo đồng hồ tính phí. Nemotron 3.5 Bolt 74B hoàn toàn không có giá niêm yết theo đồng hồ tính phí, vì không có nhà cung cấp nào bán nó. Chi phí của nó chính là chi phí GPU mà bạn phải chịu: một card 24GB đã có sẵn trong máy trạm, được khấu hao qua số tác vụ bạn chạy qua nó mỗi tháng, bất kể là bao nhiêu.

Hàng cuối cùng đó chính là nơi quyết định thực sự nằm, và đó là lý do cách đặt vấn đề "cái nào thông minh hơn" cứ liên tục thất bại. Nếu khối lượng công việc của bạn là một triệu lượt agent ngắn mỗi tháng, checkpoint cục bộ thắng về kinh tế đơn vị với biên độ mà không dòng benchmark nào có thể vượt qua, và ngữ cảnh 262k là một ràng buộc mà bạn thiết kế để thích ứng. Nếu khối lượng công việc của bạn là vài nghìn tác vụ dài hạn với video trong đầu vào và một tài liệu 900.000 token đính kèm, không checkpoint 24GB nào trả lời được câu hỏi đó cả, và $3.27 mỗi tác vụ của Qwen4-Max là câu trả lời rẻ nhất hiện có, chứ không phải là một câu trả lời đắt đỏ.

Vì sao câu trả lời trung thực là “cả hai, cho những công việc khác nhau”

Cách lý giải hấp dẫn là tuyên bố một người thắng cuộc, và SERP đầy rẫy những trang làm đúng như vậy mà không có dữ liệu dùng chung nào. Một cách lý giải hữu ích hơn là hai mô hình này đang hội tụ về cùng một ý tưởng kiến trúc từ hai hướng đối lập. Qwen4-Max là một hỗn hợp chuyên gia thưa, kích hoạt 71 tỷ trong số 2,4 nghìn tỷ tham số của nó cho mỗi token và dựa vào hiệu quả token — tuyên bố chưa được tái lập của chính nhà cung cấp là nó vượt trội hơn Qwen3.8-Max khi sử dụng ít hơn tới khoảng 50% token, với chi phí trung bình mỗi tác vụ giảm từ $4,43 xuống $1,67. Nemotron 3.5 Bolt 74B là một hỗn hợp chuyên gia thưa, kích hoạt 9 tỷ trong số 74 tỷ tham số của nó và dựa vào nén, đạt mức chiếm dụng 24GB với trọng số chuyên gia 2-bit và một bộ dự thảo suy đoán nhỏ. Cả hai đều là câu trả lời cho cùng một câu hỏi: có thể chỉ chạm tới ít đến nhường nào của mô hình trên mỗi token trước khi chất lượng sụp đổ?

Cách khung hóa đó có một hệ quả thực tiễn. Những nhóm sẽ khai thác được nhiều nhất từ cả hai là những nhóm đo token trên mỗi tác vụ đã hoàn thành thay vì token mỗi giây. Về phía cục bộ, điều đó có nghĩa là theo dõi độ dài chấp nhận trên drafter, vì một bộ giải mã suy đoán chấp nhận 4,68 token mỗi bước khi giải mã tham lam và 4,25 khi lấy mẫu chính là nguồn tạo ra thông lượng của bạn, và các thiết lập lấy mẫu sẽ thay đổi con số đó. Về phía dịch vụ được lưu trữ, điều đó có nghĩa là ghi log tổng số của phần suy nghĩ cộng câu trả lời so với mức trần 262.144 token, vì mức nỗ lực suy luận mặc định là cao và một client kiểu OpenAI yêu cầu mức trung bình lại âm thầm nhận mức cao. Cả hai phép đo đều không cần một benchmark, và cả hai đều cung cấp nhiều thông tin hơn chỉ một phép đo.

Điều gì sẽ giải quyết được chuyện đó?

Con số còn thiếu là một lần chạy harness. Nếu Nemotron 3.5 Bolt 74B-A9B 24GB được đưa qua Intelligence Index v5.0.1 ở mức lượng tử hóa như khi xuất xưởng, hai mô hình sẽ trở nên so sánh được trên trục duy nhất mà cả hai bên đều có thể được đo lường, và mọi trang tổng hợp hiện đang ghi "chưa có kết quả benchmark chung" sẽ có thứ để đăng. NVIDIA đã công bố checkpoint, runtime là vLLM, và bộ công cụ đã tồn tại. Cho đến khi điều đó xảy ra, bước đi hữu ích là ngừng coi đây là một cuộc đối đầu và bắt đầu coi đây là quyết định tự xây dựng so với mua sẵn, với chi phí được ghi nhận ở một bên và dấu chân tài nguyên được ghi nhận ở bên kia.

Về phía chúng tôi, nói chính xác về tính sẵn có: OrcaRouter không định tuyến cả hai mô hình này. Nemotron 3.5 Bolt 74B là bản tải về do bạn tự vận hành, còn Qwen4-Max được thuê từ Alibaba hoặc qua các nền tảng đối tác trong cửa sổ miễn phí hiện tại. Thành viên dòng Qwen trong danh mục của chúng tôi là Qwen3.8-Max, với giá $2.00 đầu vào và $6.00 đầu ra mỗi triệu token, ngữ cảnh 1M token, đây là lựa chọn dự phòng tự nhiên nếu bạn muốn một khóa cho toàn bộ hệ thống hỗn hợp và mức giá theo đúng bảng giá của nhà cung cấp thay vì bản bán lại bị đội giá. Với một quyết định như thế này — khi hai ứng viên nằm ở hai đầu đối lập của phổ xây dựng-so-với-mua — điều hữu ích mà một router mang lại không phải là một người thắng cuộc. Đó là khả năng giữ cho hướng hosted vẫn mở trong khi bạn khám phá xem hướng local không làm được gì.

Nếu bạn đang chọn trong tháng này, hãy chọn dựa trên ràng buộc mà bạn không thể thay đổi. Ngữ cảnh, modality và trả tiền theo từng tác vụ là những ràng buộc mà Qwen4-Max đáp ứng. Bộ nhớ, vận hành ngoại tuyến và chi phí biên bằng không trên mỗi yêu cầu là những ràng buộc của Nemotron 3.5 Bolt 74B. Khoảng cách benchmark giữa chúng là có thật, nhưng đó không phải khoảng cách sẽ quyết định kiến trúc của bạn — và dù có lập bao nhiêu bảng so sánh song song thì cũng không thu hẹp được nó trước khi có người chạy harness.

So sánh trong bài viết này1

Phát hiện từ bài viết này · Benchmark: Artificial Analysis · cập nhật hằng ngày