Nemotron 3.5 Bolt 24GB vs Qwen3.8-27B: Keduanya Muat dalam 24GB — Hanya Satu yang Memberi Tahu Berapa Biayanya

A neat story circulates about these two models: the N​VIDIA Nemotron 3.5 Bolt 74B-A9B 24GB fits in 24 gigabytes and Qwen3.8-27B does not. The first half is true and the second half is out of date. A​libaba published Qwen3.8-27B in August 2026 as a dense 27-billion-parameter vision-language model whose 16-bit weights run to roughly 56GB, and within days the community had produced four-bit builds of it at 16.46GB. Both models fit in 24GB today. The difference worth arguing about is that N​VIDIA designed the compression, published what it cost, and shipped it as the product — while the Q​wen side of that comparison is a build someone else made, with a bill nobody has totalled.

Apa sebenarnya masing-masing model

Bolt is a mixture-of-experts hybrid: 74 billion parameters total, 9 billion active per token, Mamba-2 state-space layers interleaved with experts and attention, plus a C-RADIO v4-H vision encoder. It exists in its 24GB form because N​VIDIA ran a router-guided architecture search against a footprint budget and then quantised the experts to 2.0625 bits per element, repairing the damage with quantisation-aware distillation.

Qwen3.8-27B bersifat dense. Seluruh 27 miliar parameternya dibaca untuk setiap token, dan bagian arsitektur pada kartu model menjelaskan tumpukan 64 lapis yang disusun sebagai enam belas pengulangan tiga blok gated linear-attention yang diikuti oleh satu blok gated full-attention, dengan prediksi multi-token yang dilatih dalam beberapa langkah serta konteks native 262.144 token yang dapat diperluas hingga satu juta. Model ini secara native memahami gambar dan video, dan menyediakan kontrol thinking per permintaan melalui pengaturan reasoning-effort dan flag yang mempertahankan konteks penalaran antar-giliran.

Filosofi produksi yang berbeda, dan keduanya dirilis sebagai bobot terbuka di bawah lisensi yang cukup permisif — OpenMDW-1.1 untuk Bolt, Apache 2.0 untuk Qwen3.8-27B.

Dua kompresi, salah satunya didokumentasikan

Inilah bagian dari perbandingan yang menentukan segalanya.

N​VIDIA's 24GB checkpoint is compressed by NVIDIA, and the cost is published. The BF16 release of the same model carries a table with both columns side by side, so the price of 2-bit experts is visible line by line:

• GPQA Diamond — 86,43 pada 2-bit dibandingkan 88,83 pada 16-bit, kerugian 2,40 poin.

• Terminal-Bench 2.1 — 50,98 dibandingkan 53,93, kerugian 2,95.

• BrowseComp — 66,75 berbanding 70,00, kerugian sebesar 3,25.

• AA-LCR penalaran konteks panjang — 64,06 dibandingkan 67,38, kerugian sebesar 3,32.

• HLE tanpa alat — 25,30 dibandingkan dengan 28,73, selisih 3,43.

• Akurasi AA-Omniscience — 16,90 dibandingkan dengan 21,80, kerugian sebesar 4,90.

Dan dua baris yang bergerak ke arah sebaliknya: pada non-halusinasi AA-Omniscience, model terkompresi mencetak 61,27 berbanding 56,14 milik presisi penuh, dan pada visi WebArena keduanya setara dalam selisih satu poin. Itu angka vendor, belum direproduksi, dan tetap merupakan catatan paling lengkap yang pernah diterbitkan lab mana pun tentang apa yang dilakukan kompresi 24GB terhadap modelnya sendiri.

Now the Q​wen side. A four-bit build of Qwen3.8-27B at 16.46GB exists, was published by a third party, and comes with no accuracy measurement at all. Not a weak one — none. The same is true of the 9.83GB and 7.27GB builds sitting below it, and of the 21.98GB build above. Whatever a 27B dense vision-language model loses when its weights are squeezed to four bits, nobody has published a number for it, which means the memory arithmetic that makes the fit possible is the easy half and the capability question is entirely open.

Asimetri itu adalah versi jujur dari perbandingan ini. Bolt memberi tahu Anda harganya. Qwen3.8-27B membuat Anda membayar harga yang harus Anda perkirakan sendiri.

Panel independen, serta apa yang dicakup dan tidak dicakupnya

Artificial Analysis mengukur Qwen3.8-27B pada tingkat model penuh dalam konfigurasi penalaran maksimumnya: Intelligence Index sebesar 34, peringkat pertama dari 141 model dalam panel; sekitar 41 token output per detik, yang menempatkannya di peringkat ke-51 dari 63; dan biaya $0,50 per juta input serta $3,00 per juta output pada campuran penyedia yang dilacaknya, yang disebutnya sangat mahal untuk model open-weight sebesar itu. Ia juga mencatat bahwa model ini sangat bertele-tele, dengan 200 juta token yang dihasilkan selama proses indeks.

Panel yang sama memberi skor Bolt pada Intelligence Index sebesar 21, keempat dari 67 model di kelasnya, dengan kecepatan dan biaya keduanya tidak tersedia karena tidak ada API publik yang melayaninya. Tiga belas poin adalah selisih yang lebar dan diukur dengan cara yang sama untuk keduanya, yang menjadikannya pernyataan tunggal paling dapat dipercaya dalam artikel ini. Ini juga datang dengan peringatan yang lebih penting daripada kedengarannya: ringkasan perbandingan panel itu sendiri menyebut Qwen3.8-27B lambat secara mencolok dan sangat bertele-tele, jadi model yang unggul dalam kecerdasan adalah model yang harus Anda tunggu lebih lama.

On modality the two pages disagree in a way worth noting, since a spec panel is not the same as a product page. The Q​wen vendor card describes native image and video understanding; the analysis panel lists text, image and video input for Qwen3.8-27B on some views and text-and-image for Bolt. Both models see. Neither sees identically, and the difference in how third parties describe the two is a reminder to check a modality claim against the model card rather than a summary row.

Tabel vendor di sisi Qwen

A​libaba's model card is a long one, and its agentic rows are the reason this model is interesting next to Bolt at all. Terminal Bench 2.1 at 73.0, SWE-bench Pro at 61.7, GPQA Diamond at 89.2, HLE at 30.8, LiveCodeBench v6 at 90.3, OSWorld-Verified at 84.3 and AndroidWorld at 81.9 — all evaluated by A​libaba, in most cases inside the C​laude Code harness, at a 256,000-token context.

Angka-angka itu tidak sebanding dengan tabel Bolt. Harness berbeda, tanggal evaluasi berbeda, pemilihan baseline berbeda, dan dalam kasus Bolt, kelompok baseline dipilih sebagian agar muat dalam 24GB pada four-bit. Satu-satunya pernyataan jujur adalah bahwa skor agen yang dipublikasikan Qwen3.8-27B lebih tinggi daripada skor agen yang dipublikasikan Bolt, bahwa kedua set angka tersebut berasal dari lab yang membangun model-model itu, dan bahwa tidak ada lab yang menjalankan suite benchmark milik lab lainnya.

One Q​wen number is worth flagging for a different reason. Its own card concedes GPQA Diamond at 89.2 while Bolt's card claims 86.43 — close enough that a harness difference could move either one past the other. That is the scale on which vendor tables settle arguments. It is not a scale on which you should settle one.

Menyewa satu, dan latensi yang Anda warisi

Bolt has no endpoint. There is no rate to quote, no provider serving it, and no way to evaluate it on your own traffic without completing N​VIDIA's deployment recipe — the pinned nightly vLLM container, the kernel package fetched at runtime, the reasoning-parser plugin, the b12x backends, the fp8 KV cache and a served concurrency of one sequence.

Qwen3.8-27B dapat diunduh dan dipanggil, dan kombinasi itulah yang membuat perbandingan ini memiliki jawaban praktis. Kami menyediakan qwen/qwen3.8-27b di infrastruktur kami sendiri dengan harga $0,33 per juta token masukan dan $2,40 per juta keluaran. Entri katalog mencantumkan konteks 262.144 token dengan masukan teks, gambar, dan video, dan menerbitkannya pada tarif tersebut dimungkinkan di sisi kami karena OrcaRouter meneruskan harga daftar penyedia tanpa markup tambahan — jika vendor menurunkan harga, perubahannya langsung berlaku di sini pada hari yang sama, bukan pada siklus penagihan berikutnya.

Latensi, bagaimanapun, layak dikutip secara jujur ketimbang menyanjung. Selama tujuh hari yang berakhir 16 Oktober 2026, endpoint kami sendiri untuk model ini melaporkan p50 waktu ke token pertama sebesar 10,00 detik dan p95 sebesar 10,00 detik, kecepatan keluaran 515 token per detik, dan tingkat kesalahan 2,1%. Rangkaian harian menjelaskan agregatnya: 1,42 detik pada 10 Oktober, 1,65 pada tanggal 11, 2,83 pada tanggal 12, lalu 10,00 pada tanggal 13 dan 15, 1,91 pada tanggal 14. Dua dari enam hari mencapai batas atas jendela pengukuran kami dan tiga hari tidak.

That is not a nice number, and it is the number. It is also the concrete reason automatic failover exists as a routing feature rather than a slogan: a first-token wait that is fine on Monday and ten seconds on Wednesday is exactly the failure mode a fallback chain is for, and the routing DSL exists so that "try this model, fall back to that one if it degrades" is configuration rather than application code. A model you own — Bolt, or a local Q​wen build — has no such problem and no such option. It is as fast as your GPU is, every day, with no third party in the path and no second model to reach for when it stalls.

Bagaimana ini sebenarnya terselesaikan

Tidak ada pemenang untuk diserahkan, karena kedua model tersebut tidak bersaing untuk slot yang sama.

If your constraint is a machine without a network, or work that cannot leave the device, Bolt is the answer and the published compression cost is the price of admission. Nothing about Qwen3.8-27B changes that, because you cannot download your way into a 24GB deployment that N​VIDIA has not already built and documented — you can approximate it with a four-bit build whose quality is unmeasured and whose vision projector you would have to source separately.

Jika batasan Anda adalah kemampuan per dolar dan jaringan tersedia, Qwen3.8-27B unggul tiga belas poin pada satu-satunya indeks yang mengukur keduanya, pada tarif yang dipublikasikan, di bawah lisensi yang pernah dilihat tim hukum Anda sebelumnya. Build lokal empat-bit adalah jalur ketiga yang masuk akal, dan itulah jalur di mana Anda sebaiknya mengharapkan melakukan evaluasi sendiri alih-alih mewarisi tabel orang lain.

Bagian yang kedua model serahkan kepada Anda sama: tidak ada yang memiliki tolok ukur independen terhadap yang lain, tidak ada lab yang mengukur model milik yang lain, dan opini hari pertama yang beredar tentang keduanya adalah pembacaan atas kartu vendor. Unduh keduanya, jalankan tugas Anda sendiri, dan pertahankan yang menyelesaikannya. Itulah satu-satunya hasil dalam perbandingan ini yang tidak akan dipublikasikan oleh salah satu pun dari dua lab yang membuat keduanya.

Yang tidak dapat diberitahukan oleh angka-angka kepada Anda adalah apakah ada di antaranya yang bermasalah di lapangan: insiden AI dan kegagalan agen yang terdokumentasi seputar model di kelas ini dikumpulkan di OrcaRouter AI Incident Archive, tempat setiap entri memuat sumbernya sendiri, tingkat keparahan, tingkat keyakinan, dan penanda sengketa.