Nemotron 3.5 Bolt 74B vs Gemma 4 26B A4B: Delapan Poin Indeks dan Ketidakcocokan Lebar Bit

Sudah ada perbandingan head-to-head antara NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB dan Google Gemma 4 26B A4B, dan NVIDIA menerbitkannya. Perbandingan itu ada di tabel benchmark pada kartu model Bolt, tempat kolom Gemma menjadi baseline yang dipilih perusahaan. Membaca tabel itu dengan saksama adalah cara tercepat untuk memahami apa sebenarnya kedua model ini, karena kedua checkpoint tidak bersaing untuk pekerjaan yang sama, dan framing dari vendor sendiri mengatakannya secara terang-terangan: model pembanding dipilih karena kemampuannya muat dalam memori 24GB dengan kuantisasi 4-bit. Bolt muat dalam 24GB lewat jalur berbeda — 2,0625 bit per bobot pada lapisan expert-nya — dan jarak antara kedua strategi itu adalah keseluruhan ceritanya.

Kedua angka dalam judul itu nyata. Artificial Analysis telah mengukur Bolt sebesar 21 pada Intelligence Index miliknya dan Gemma 4 26B A4B, dalam konfigurasi penalarannya, sebesar 17. Tidak satu pun angka itu berasal dari vendor, dan keduanya tayang di halaman model panel tersebut saat ini ditulis.

Perbandingan yang dijalankan N​VIDIA, dan kolom yang dipilihnya

Tabel N​VIDIA untuk Bolt memiliki empat kolom: Qwen3.6-35B-A3B dalam BF16, Gemma 4 26B-A4B dalam BF16, N​emotron 3.5 Lightning 30B-A3B dalam BF16, dan Bolt dalam IQ2. Setiap angka di dalamnya dilaporkan vendor dan belum direproduksi oleh pihak independen mana pun. Berikut kolom G​emma dibandingkan dengan milik Bolt, benchmark demi benchmark.

• GDPVal-AA-V2 — G​emma 15.33, Bolt 28.47

• Terminal-Bench 2.1 — Gemma 37.22, Bolt 50.98

• Tau3 Banking — G​emma 14.02, Bolt 17.01

• HLE tanpa alat — Gemma 17.42, Bolt 25.30

• SciCode — G​emma 40.28, Bolt 41.02

• GPQA Diamond — G​emma 79.61, Bolt 86.43

• Pengambilan konteks panjang AA-LCR — Gemma 57,56, Bolt 64,06

• PinchBench — G​emma 74.70, Bolt 87.82

• visi WebArena — G​emma 38.2, Bolt 50.86

• Akurasi AA-Omniscience — G​emma 22.17, Bolt 16.90. G​emma menang di baris ini, dan ini satu-satunya di tabel yang melakukannya.

• AA-Omniscience non-halusinasi — G​emma 14.22, Bolt 61.27. Ini adalah kerugian besar dan spesifik bagi lini keluarga G​emma, dan patut direnungkan: metrik non-halusinasi Omniscience memberi penalti kepada model yang menjawab dengan yakin ketika tidak mengetahui sesuatu, dan build G​emma yang tercatat di sini mencetak skor kira-kira seperempat dari angka Bolt.

Ada satu catatan yang berlaku untuk seluruh blok. NVIDIA menjalankan semuanya, termasuk kolom Gemma, pada build BF16 Gemma versus build 2-bit dari modelnya sendiri, lalu melaporkan hasilnya di kartu modelnya sendiri.

Dua pos pemeriksaan, dua rezim kompresi

Gemma 4 26B A4B adalah produk yang telah dirilis dengan pengalaman penggunaan selama setahun. Model ini hadir di Hugging Face pada 11 Maret 2026 di bawah Apache 2.0, dengan total 25,2 miliar parameter dan 3,8 miliar parameter aktif per token, dengan tumpukan atensi hibrida yang menyelipkan lapisan sliding-window lokal dengan lapisan global, konteks 256K, dukungan system prompt native, dan vision pada setiap ukuran dalam keluarga ini. Ini adalah model yang bisa Anda ambil, kuantisasi sendiri ke 4 bit dan jalankan, dan ekosistem besar kuantisasi siap pakai sudah tersedia.

Bolt adalah hasil kompresi yang memakai kartu model. NVIDIA mengambil Nemotron 3.5 Super VL 120B-A12B — checkpoint multimodal dari generasi yang sama — dan menjalankan Star Elastic padanya, pencarian arsitektur yang dipandu router yang harus memenuhi anggaran penerapan yang ketat, dalam hal ini di bawah 24GB pada ukuran batch 1 dan konteks 128K. Top-K pakar turun dari 22 pada model induk menjadi 9. Bobot pakar kemudian dikuantisasi ke IQ2-XXS pada 2,0625 bit per elemen dengan distilasi sadar kuantisasi untuk memulihkan akurasi, lapisan Mamba dibiarkan pada NVFP4, embedding dan lapisan output pada Q8_0, dan menara visi dipasang kembali setelahnya.

Hasilnya adalah 74 miliar parameter dalam file 24GB. Itu bukan kuantisasi dari model yang telah dirilis; itu adalah jaringan dengan bentuk berbeda yang dicari di bawah batasan memori lalu dilatih untuk memulihkan performanya.

Mengapa lebar bit lebih penting daripada jumlah parameter

Letakkan keduanya berdampingan dan pembacaan intuitifnya adalah bahwa model 74B mengalahkan model 26B. Pembacaan itu mungkin benar dalam kasus ini, dan itu juga bukan bagian yang menarik, karena kedua model diminta melakukan hal yang berbeda dengan 24GB yang sama.

• Parameter — Bolt total 74B, 9B aktif per token. Gemma 4 26B A4B: total 25,2B, 3,8B aktif per token.

• Arsitektur — Bolt: LatentMoE hibrida Mamba-2–Transformer dengan encoder visi C-RADIO v4-H. Gemma: MoE atensi lokal/global hibrida dengan tower visi dan, pada ukuran lain dalam keluarga ini, audio.

• Presisi tersimpan — Bolt hadir secara native pada 2,0625 bit per bobot ahli. Repositori Gemma berukuran 16-bit, dengan build 4-bit dan build pelatihan sadar kuantisasi yang diterbitkan secara terpisah.

• Konteks — Bolt hingga 256.000 token. Gemma 4 26B A4B: 256.000 token. Baris ini seri, yang mengejutkan orang-orang yang mengira model 2-bit mengorbankan sesuatu di sini. Ternyata tidak.

• Input — Bolt menerima teks, gambar, dan video. Gemma 4 26B A4B menerima teks dan gambar; video diterima sebagai frame, dan audio terbatas pada anggota keluarga yang lebih kecil.

• Lisensi — Bolt: OpenMDW-1.1. Gemma 4 26B A4B: Apache 2.0, dengan kebijakan penggunaan terlarang Google yang menyertainya.

• Decoding spekulatif — Bolt menyertakan drafter LiLiCorr, yang dihubungkan melalui DFlash dengan tujuh token spekulatif dalam resep referensi NVIDIA. Gemma 4 26B A4B tidak memiliki drafter yang disediakan vendor; prediksi multi-token muncul dalam fine-tune komunitas, bukan dalam rilis dasar.

Konsekuensi praktis dari baris presisi adalah bahwa unduhan Bolt sudah merupakan versi kecilnya. Tidak ada build 2-bit lain yang perlu ditemukan, karena build 2-bit itulah modelnya. Gemma 26B adalah checkpoint 16-bit yang diharapkan untuk Anda kompres, dan versi 4-bit yang akan benar-benar dilayani kebanyakan orang adalah hasil konversi seseorang atas model itu.

Ketika model yang lebih kecil adalah pilihan yang lebih baik

Tabel N​VIDIA sendiri memberi G​emma dua hal yang layak ditanggapi dengan serius. Akurasi AA-Omniscience lebih menguntungkan G​emma pada 22,17 berbanding 16,90, dan tafsir jujurnya adalah bahwa kompresi 2-bit menimbulkan kerugian yang terukur pada daya ingat faktual bahkan setelah distilasi. Siapa pun yang beban kerjanya bersifat ensiklopedis dan bukan agentik harus memberi bobot besar pada baris itu.

Lisensi adalah yang kedua. Apache 2.0 adalah opsi paling tidak terbebani yang tersedia untuk penerapan komersial, dan OpenMDW-1.1, meskipun ditulis untuk bersifat permisif dan secara eksplisit diizinkan oleh N​VIDIA untuk penggunaan komersial, adalah instrumen yang lebih baru dengan lebih sedikit literatur yang membahasnya dan belum ada putusan pengadilan yang menafsirkannya. Tim hukum sudah pernah melihat salah satunya sebelumnya, dan belum pernah melihat yang lainnya.

Ketiga adalah kematangan. Gemma 4 26B A4B telah dapat diunduh sejak Maret dan dapat dipanggil dari endpoint yang dihosting sejak musim semi. Build terkuantisasi, fine-tune, resep serving, dan reproduksi benchmark semuanya sudah ada. Repositori Bolt muncul pada Oktober. Tidak ada yang independen telah diterbitkan tentang latensinya, dan tidak ada kuantisasi komunitas yang bisa dijadikan fallback karena tidak ada yang bisa dikuantisasi.

Keempat, dan mudah terlewat: saudara-saudara G​emma yang berukuran 21B ke bawah mendukung audio secara native. Jika pipeline melibatkan ucapan, 26B A4B adalah anggota yang salah dari keluarganya sendiri, dan tidak ada model N​emotron yang tepat.

Berapa biaya masing-masing untuk benar-benar memegangnya

Bolt tidak memiliki harga, dan ini bukan kelalaian dalam data. Tidak ada endpoint yang dihosting untuknya di mana pun, tidak ada tarif terukur di halaman model Artificial Analysis untuknya, dan tidak ada penyedia yang melayaninya. Menjalankannya berarti memiliki mesinnya, dan resep referensi N​VIDIA adalah pekerjaan akhir pekan, bukan sore hari: image nightly vLLM yang dipin, paket kernel b12x, plugin reasoning-parser yang diambil sebagai file terpisah, lalu pengaturan eksplisit untuk v2 model runner, backend linear dan MoE, backend attention dan Mamba, tipe data cache Mamba, chunked prefill, dan konfigurasi speculative-decoding yang menunjuk ke drafter LiLiCorr.

Gemma 4 26B A4B memiliki harga di dua tempat. Melalui katalog yang kami rutekan, google/gemma-4-26b-a4b-it terdaftar pada $0.06 per juta token masukan dan $0.33 per juta keluaran, pada konteks 262,144 token, dengan p50 waktu ke token pertama sekitar 2.8 detik — itu angka yang kami ukur sendiri selama tujuh hari terakhir, bukan klaim vendor. Artificial Analysis melacak campuran penyedia yang berbeda untuk model yang sama dan mencantumkan $0.10 masuk dan $0.40 keluar, yang merupakan jenis sebaran yang memberi tahu Anda bahwa harga adalah properti endpoint dan bukan properti bobotnya. Kedua angka itu jujur; keduanya adalah harga dari hal yang berbeda.

OrcaRouter menempatkan model yang kami rutekan di balik satu kunci dengan harga daftar penyedia tanpa tambahan markup 0 persen, jadi penurunan harga vendor pada model yang dirutekan langsung berlaku di sisi kami pada hari yang sama, dan failover otomatis antar penyedia berarti masalah kapasitas di hulu akan dicoba ulang, bukan ditampilkan kepada pengguna Anda. Kami tidak menghosting checkpoint N​emotron apa pun — katalognya diperiksa, bukan diasumsikan, dan keluarga model itu tidak ada di dalamnya — jadi di halaman ini jaminan tersebut hanya mencakup bagian G​emma dari perbandingan dan tidak mencakup hal lain. Nilai praktisnya adalah cara untuk mencoba model yang lebih kecil pada lalu lintas nyata tanpa kontrak kedua, sementara Anda memutuskan apakah model yang lebih besar sepadan dengan perangkat kerasnya.

Memilih antara file dan layanan

Perbandingan ini tidak dekat dalam hal kemampuan, dan memang tidak dimaksudkan begitu. Bolt adalah model yang lebih besar dan lebih cakap yang telah dikompresi dengan keras dan tidak dapat disewa. Gemma 4 26B A4B adalah model yang sedikit lebih lemah yang dapat Anda sewa hari ini, dan kelemahannya didokumentasikan oleh orang-orang yang tidak memiliki kepentingan terhadapnya.

Ambil Bolt jika beban kerjanya melibatkan tangkapan layar, PDF, bingkai video, atau peramban, jika harus berjalan tanpa jaringan, dan jika mesin dengan akselerator kelas Blackwell sudah ada di ruangan. Terimalah bahwa Andalah yang akan menemukan throughput-nya, karena belum ada yang mempublikasikannya. Ambil Gemma 4 26B A4B jika Anda menginginkan model teks-dan-gambar yang dapat Anda bayar per juta token sore ini, jika Anda memerlukan Apache 2.0, atau jika ingatan faktual pada kumpulan pertanyaan yang luas lebih penting daripada penyelesaian tugas agentik.

Pengukuran yang akan menyelesaikan persoalan ini adalah pengukuran yang belum pernah dilakukan siapa pun: uji throughput dan latensi independen pada checkpoint 24GB, serta pengujian ulang independen atas tabel NVIDIA dengan Gemma yang dikuantisasi ke 4 bit yang sama yang menurut vendor dipilih untuknya. Sampai pengukuran itu ada, argumen untuk Bolt bertumpu pada tabel vendor dan jumlah parameter, sedangkan argumen untuk Gemma bertumpu pada hasil orang lain selama setahun.

Perbandingan seperti ini juga menjadi tempat munculnya mode kegagalan: insiden AI dan kegagalan agen yang terdokumentasi di balik model di kelas ini dikumpulkan dalam the OrcaRouter AI Incident Archive, di mana setiap entri membawa sumbernya sendiri, tingkat keparahan, nilai keyakinan, dan tanda perdebatan.