Nemotron 3.5 Bolt 24GB vs Qwen3.8-27B: Cả hai đều vừa vặn trong 24GB — Chỉ một cái cho bạn biết nó tốn bao nhiêu

A neat story circulates about these two models: the N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB fits in 24 gigabytes and Qwen3.8-27B does not. The first half is true and the second half is out of date. A​libaba published Qwen3.8-27B in August 2026 as a dense 27-billion-parameter vision-language model whose 16-bit weights run to roughly 56GB, and within days the community had produced four-bit builds of it at 16.46GB. Both models fit in 24GB today. The difference worth arguing about is that N​VIDIA designed the compression, published what it cost, and shipped it as the product — while the Q​wen side of that comparison is a build someone else made, with a bill nobody has totalled.

Mỗi mô hình thực sự là gì

Bolt is a mixture-of-experts hybrid: 74 billion parameters total, 9 billion active per token, Mamba-2 state-space layers interleaved with experts and attention, plus a C-RADIO v4-H vision encoder. It exists in its 24GB form because N​VIDIA ran a router-guided architecture search against a footprint budget and then quantised the experts to 2.0625 bits per element, repairing the damage with quantisation-aware distillation.

Qwen3.8-27B là mô hình dense. Toàn bộ 27 tỷ tham số đều được đọc cho mỗi token, và phần kiến trúc trong model card mô tả một chồng 64 lớp được sắp xếp thành mười sáu lần lặp của ba khối chú ý tuyến tính có cổng, tiếp theo là một khối chú ý đầy đủ có cổng, với dự đoán đa token được huấn luyện qua nhiều bước và ngữ cảnh gốc 262.144 token có thể mở rộng lên một triệu. Nó hiểu hình ảnh và video theo cách nguyên bản, đồng thời cho phép điều khiển tư duy theo từng yêu cầu thông qua cài đặt mức nỗ lực suy luận và một cờ giữ nguyên ngữ cảnh suy luận qua các lượt.

Triết lý sản xuất khác nhau, và cả hai đều được phát hành dưới dạng trọng số mở theo các giấy phép đủ thoáng — OpenMDW-1.1 cho Bolt, Apache 2.0 cho Qwen3.8-27B.

Hai kiểu nén, một trong số đó đã được tài liệu hóa.

Đây chính là phần quyết định trong sự so sánh.

N​VIDIA's 24GB checkpoint is compressed by N​VIDIA, and the cost is published. The BF16 release of the same model carries a table with both columns side by side, so the price of 2-bit experts is visible line by line:

• GPQA Diamond — 86.43 ở 2-bit so với 88.83 ở 16-bit, mức giảm 2,40 điểm.

• Terminal-Bench 2.1 — 50,98 so với 53,93, mức giảm 2,95.

• BrowseComp — 66,75 so với 70,00, mức giảm 3,25.

• Suy luận ngữ cảnh dài AA-LCR — 64.06 so với 67.38, giảm 3.32.

• HLE không dùng công cụ — 25.30 so với 28.73, mức giảm 3.43.

• Độ chính xác AA-Omniscience — 16,90 so với 21,80, mức giảm 4,90.

Và hai hàng đi theo hướng ngược lại: trên AA-Omniscience non-hallucination, mô hình nén đạt 61.27 so với 56.14 của bản full-precision, còn trên WebArena vision, cặp này ngang bằng trong phạm vi một điểm. Đó là những con số của nhà cung cấp, chưa được tái lập, và chúng vẫn là bản mô tả đầy đủ nhất mà bất kỳ phòng thí nghiệm nào đã công bố về việc nén 24GB đã làm gì với chính mô hình của họ.

Now the Q​wen side. A four-bit build of Qwen3.8-27B at 16.46GB exists, was published by a third party, and comes with no accuracy measurement at all. Not a weak one — none. The same is true of the 9.83GB and 7.27GB builds sitting below it, and of the 21.98GB build above. Whatever a 27B dense vision-language model loses when its weights are squeezed to four bits, nobody has published a number for it, which means the memory arithmetic that makes the fit possible is the easy half and the capability question is entirely open.

Sự bất đối xứng đó chính là phiên bản trung thực của màn so tài này. Bolt cho bạn biết mức giá của nó. Qwen3.8-27B bắt bạn phải trả một mức giá mà bạn phải tự ước lượng.

Hội đồng độc lập, và những gì hội đồng này bao quát cũng như không bao quát

Artificial Analysis đánh giá Qwen3.8-27B ở cấp độ toàn bộ mô hình trong cấu hình suy luận tối đa của nó: Chỉ số Thông minh đạt 34, đứng đầu trong số 141 mô hình của bảng đánh giá; tốc độ khoảng 41 token đầu ra mỗi giây, xếp thứ 51 trong số 63; và chi phí 0,50 USD cho mỗi triệu token đầu vào và 3,00 USD cho mỗi triệu token đầu ra trên tổ hợp nhà cung cấp mà họ theo dõi, mức mà họ nhận xét là đặc biệt đắt đỏ đối với một mô hình trọng số mở có kích thước như vậy. Họ cũng lưu ý rằng mô hình này rất dài dòng, với 200 triệu token được tạo ra trong lần chạy chỉ số.

Cùng một bảng đánh giá chấm Bolt ở Chỉ số Trí tuệ 21, đứng thứ tư trong số 67 mô hình cùng phân khúc, với cả tốc độ lẫn chi phí đều không có sẵn vì không có API công khai nào phục vụ nó. Mười ba điểm là một khoảng cách lớn và nó được đo theo cùng một cách cho cả hai, khiến đây trở thành phát biểu đơn lẻ đáng tin cậy nhất trong bài viết này. Nó cũng đi kèm một lưu ý quan trọng hơn vẻ ngoài của nó: phần tóm tắt so sánh của chính bảng đánh giá gọi Qwen3.8-27B là đặc biệt chậm và rất dài dòng, nên mô hình thắng về trí tuệ lại chính là mô hình mà bạn phải chờ lâu hơn.

On modality the two pages disagree in a way worth noting, since a spec panel is not the same as a product page. The Q​wen vendor card describes native image and video understanding; the analysis panel lists text, image and video input for Qwen3.8-27B on some views and text-and-image for Bolt. Both models see. Neither sees identically, and the difference in how third parties describe the two is a reminder to check a modality claim against the model card rather than a summary row.

The vendor table on Q​wen's side

A​libaba's model card is a long one, and its agentic rows are the reason this model is interesting next to Bolt at all. Terminal Bench 2.1 at 73.0, SWE-bench Pro at 61.7, GPQA Diamond at 89.2, HLE at 30.8, LiveCodeBench v6 at 90.3, OSWorld-Verified at 84.3 and AndroidWorld at 81.9 — all evaluated by A​libaba, in most cases inside the C​laude Code harness, at a 256,000-token context.

Những con số đó không so sánh được với bảng của Bolt. Các harness khác nhau, ngày đánh giá khác nhau, các lựa chọn baseline khác nhau, và trong trường hợp của Bolt, nhóm baseline được chọn một phần để vừa với 24GB ở chế độ bốn-bit. Phát biểu trung thực duy nhất là điểm agent đã công bố của Qwen3.8-27B cao hơn điểm agent đã công bố của Bolt, rằng cả hai bộ số đều đến từ các phòng thí nghiệm đã xây dựng nên các mô hình, và rằng không phòng thí nghiệm nào đã chạy bộ benchmark của bên kia.

One Q​wen number is worth flagging for a different reason. Its own card concedes GPQA Diamond at 89.2 while Bolt's card claims 86.43 — close enough that a harness difference could move either one past the other. That is the scale on which vendor tables settle arguments. It is not a scale on which you should settle one.

Thuê một cái, và độ trễ mà bạn thừa hưởng

Bolt has no endpoint. There is no rate to quote, no provider serving it, and no way to evaluate it on your own traffic without completing N​VIDIA's deployment recipe — the pinned nightly vLLM container, the kernel package fetched at runtime, the reasoning-parser plugin, the b12x backends, the fp8 KV cache and a served concurrency of one sequence.

Qwen3.8-27B có thể tải xuống và có thể gọi được, và chính sự kết hợp đó là lý do cuộc so tài này mới có một câu trả lời thực tiễn. Chúng tôi phục vụ qwen/qwen3.8-27b trên hạ tầng của riêng mình với mức $0,33 mỗi triệu token đầu vào và $2,40 mỗi triệu token đầu ra. Mục trong danh mục liệt kê ngữ cảnh 262.144 token với đầu vào văn bản, hình ảnh và video, và việc công bố ở mức giá đó là khả thi về phía chúng tôi vì OrcaRouter truyền giá niêm yết của nhà cung cấp qua với không thêm phụ phí — nếu một nhà cung cấp cắt giảm giá, thay đổi sẽ có hiệu lực ở đây ngay trong cùng ngày thay vì vào chu kỳ thanh toán tiếp theo.

Tuy nhiên, độ trễ xứng đáng được nêu một cách trung thực thay vì tô hồng. Trong bảy ngày kết thúc vào ngày 16 tháng 10 năm 2026, endpoint của chính chúng tôi cho mô hình này báo cáo thời gian đến token đầu tiên p50 là 10,00 giây và p95 là 10,00 giây, tốc độ đầu ra 515 token mỗi giây, và tỷ lệ lỗi 2,1%. Chuỗi số liệu hằng ngày giải thích số tổng hợp: 1,42 giây vào ngày 10 tháng 10, 1,65 vào ngày 11, 2,83 vào ngày 12, rồi 10,00 vào ngày 13 và ngày 15, 1,91 vào ngày 14. Hai trong số sáu ngày chạm mức trần của cửa sổ đo lường của chúng tôi và ba ngày thì không.

That is not a nice number, and it is the number. It is also the concrete reason automatic failover exists as a routing feature rather than a slogan: a first-token wait that is fine on Monday and ten seconds on Wednesday is exactly the failure mode a fallback chain is for, and the routing DSL exists so that "try this model, fall back to that one if it degrades" is configuration rather than application code. A model you own — Bolt, or a local Q​wen build — has no such problem and no such option. It is as fast as your GPU is, every day, with no third party in the path and no second model to reach for when it stalls.

Điều này thực sự được giải quyết như thế nào

Không có người thắng cuộc nào để bàn giao, vì hai mô hình không cạnh tranh cho cùng một vị trí.

If your constraint is a machine without a network, or work that cannot leave the device, Bolt is the answer and the published compression cost is the price of admission. Nothing about Qwen3.8-27B changes that, because you cannot download your way into a 24GB deployment that N​VIDIA has not already built and documented — you can approximate it with a four-bit build whose quality is unmeasured and whose vision projector you would have to source separately.

Nếu ràng buộc của bạn là năng lực trên mỗi đô-la và mạng đang sẵn có, Qwen3.8-27B dẫn trước mười ba điểm trên chỉ số duy nhất đo lường cả hai, ở một mức giá đã được công bố, dưới một giấy phép mà đội pháp lý của bạn từng thấy trước đây. Bản dựng cục bộ bốn bit là một lựa chọn thứ ba hợp lý, và đó là lựa chọn mà bạn nên tự đánh giá thay vì thừa hưởng bảng của người khác.

Phần mà cả hai mô hình đều để lại cho bạn là như nhau: không bên nào có một phép đo chuẩn độc lập so với bên kia, không phòng thí nghiệm nào đã đo lường mô hình của bên kia, và những ý kiến ngày đầu đang lan truyền về chúng chỉ là những diễn giải từ bảng thông số của nhà cung cấp. Hãy tải cả hai về, chạy thử trên chính các tác vụ của bạn, và giữ lại cái nào chạy xong. Đó là kết quả duy nhất trong so sánh này mà sẽ không do một trong hai phòng thí nghiệm đã tạo ra chúng công bố.

Điều mà những con số không thể cho bạn biết là liệu có bất kỳ phần nào trong đó đã gặp trục trặc trong thực tế hay không: các sự cố AI và lỗi agent được ghi nhận liên quan đến các mô hình thuộc lớp này được tập hợp trong OrcaRouter AI Incident Archive, nơi mỗi mục đều có nguồn riêng, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp.