Nemotron 3.5 Bolt 74B vs Kimi K3: File 24GB Melawan Flagship 2,8 Triliun Parameter

Dua model dalam perbandingan ini tidak bersaing untuk slot yang sama, dan angka-angkanya sudah memperjelas hal itu sebelum vendor mana pun mengucapkan sepatah kata pun. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB adalah model visi-bahasa dengan 74 miliar parameter yang dikompresi N​VIDIA menjadi checkpoint 2-bit yang cukup kecil untuk muat dalam memori 24 gigabyte bersama sistem operasi. Kimi K3 adalah model unggulan 2,8 triliun parameter milik M​oonshot AI, sebuah model dengan bobot terbuka yang penerapan layak terkecilnya adalah satu rak server. Yang pertama adalah file yang bisa Anda salin ke laptop, yang mulai dikirimkan N​VIDIA pada 15 Oktober 2026. Yang kedua adalah beban kerja yang Anda sewa per token. Membaca skor keduanya secara berdampingan berguna justru karena kesenjangannya begitu besar sehingga tidak ada yang bisa berpura-pura bahwa yang lebih kecil adalah pengganti.

Yang sungguh layak dilakukan di halaman ini adalah mencari tahu ke mana 22 poin Intelligence Index itu pergi, dan apakah ada di antaranya yang mendarat pada tugas-tugas yang benar-benar dijalankan oleh agen lokal.

Apa yang dirilis, dan kapan

Repositori Bolt muncul di Hugging Face pada 7 Oktober 2026; postingan peluncuran N​VIDIA sendiri yang menyebutnya, "Open From Data Center to Desktop: N​VIDIA Expands N​emotron Family With Highest Efficiency Super VL and Bolt Models," bertanggal 15 Oktober. Kartu model itu sendiri mencantumkan tanggal rilis 10/15/2026. Urutan itu — bobot lebih dulu, pengumuman delapan hari kemudian — penting bagi siapa pun yang membaca liputan tentang model ini, karena selama sepekan catatan publik terdiri dari checkpoint yang dapat diunduh dan kartu model tanpa siaran pers yang menyertainya.

Di luar itu, kedua model tersebut berbeda dalam segala hal. Kimi K3 diperkenalkan pada 16 Juli 2026 dengan bobotnya menyusul pada 27 Juli, sehingga menjadikannya sekitar tiga bulan lebih tua dan jauh lebih baik didokumentasikan oleh pihak ketiga.

• Arsitektur — N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB adalah LatentMoE hibrida Mamba-2–Transformer dengan encoder visi C-RADIO v4-H. Kimi K3 adalah sparse mixture-of-experts 2,8 triliun parameter yang mengaktifkan 104B parameter per token di 16 dari 896 expert, dibangun di atas K​imi Delta Attention milik M​oonshot.

• Parameter — total 74B, 9B aktif untuk model N​VIDIA; total 2,8T, 104B aktif untuk Kimi K3. Model yang lebih kecil mengaktifkan kurang dari sepersepuluh komputasi per token model yang lebih besar.

• Jejak memori — 24GB pada kuantisasi 2-bit (IQ2-XXS pada 2,0625 bit per elemen untuk bobot expert, NVFP4 untuk lapisan Mamba, Q8_0 untuk embedding dan output) dibandingkan dengan berapa pun biaya deployment 2,8T parameter, yang bukan angka yang dapat dinyatakan halaman ini dalam gigabyte.

• Konteks — 262.144 token untuk model N​VIDIA; 1.048.576 untuk Kimi K3, dengan harga tetap tanpa memandang panjangnya.

• Input — teks, gambar, dan video masuk, teks keluar untuk keduanya.

• Lisensi — OpenMDW-1.1 untuk checkpoint N​VIDIA; Lisensi Kimi K3 untuk bobot M​oonshot, permisif untuk sebagian besar penggunaan dengan perjanjian terpisah yang diwajibkan jika pendapatan tahunan melebihi $20 juta.

Bilangan-bilangan independen, dan yang tidak ada

Artificial Analysis telah menjalankan kedua model, dan itulah yang membuat perbandingan ini bisa dijawab sama sekali. Tidak semua yang ada di papan peringkat diukur untuk keduanya, dan celah-celahnya sama informatifnya dengan skornya.

• Intelligence Index — NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB mencetak skor 21,4, keempat dari 67 model di kelas ukurannya pada set perbandingan milik panel itu sendiri. Kimi K3 mencetak skor 43,6 dalam mode penalaran maksimumnya dan 30,1 dalam mode rendahnya. Kedua angka tersebut diukur secara independen, bukan dilaporkan vendor.

• Biaya per tugas Intelligence Index — model NVIDIA tidak memiliki angkanya karena tidak memiliki harga terukur: Artificial Analysis sama sekali tidak mencantumkan tarif input atau output untuknya. Kimi K3 membutuhkan pengeluaran API sebesar $2,00 per tugas indeks pada $3,00 per juta token input dan $15,00 per juta output, dibandingkan $0,30 untuk input yang di-cache.

• Kecepatan keluaran — Kimi K3 menghasilkan 43,8 token per detik dengan 3,6 detik ke token pertama pada rig panel. Tidak ada angka throughput independen untuk model NVIDIA; halaman riset NVIDIA sendiri memublikasikan 83,99 token per detik pada AIPerf SPEED-Bench-Coding dengan drafter LiLiCorr yang diaktifkan, yang merupakan pengukuran vendor pada benchmark dan mesin yang berbeda.

• Terminal-Bench 2.1 — 85,0 untuk Kimi K3, dijalankan secara independen, dibandingkan dengan klaim Moonshot sendiri sebesar 88,3. NVIDIA melaporkan 50,98 untuk model Bolt di kartu modelnya, jadi keduanya tidak berada pada posisi yang setara: satu angka telah direproduksi di luar laboratorium dan yang lainnya belum.

• GPQA Diamond — 93.5 untuk Kimi K3 secara independen; 86.43 untuk model N​VIDIA sebagaimana dipublikasikan oleh N​VIDIA, tanpa angka independen di panel.

• Pengambilan konteks panjang (AA-LCR) — 88,7 untuk Kimi K3 dibandingkan dengan 69,7 untuk model NVIDIA, keduanya diukur.

• Pengodean ilmiah (SciCode) — 59,5 untuk Kimi K3 dibandingkan 39,7 untuk model NVIDIA, keduanya diukur.

• Akurasi pengetahuan dan halusinasi — pada AA-Omniscience, Kimi K3 mencapai akurasi 47,6 persen dengan tingkat non-halusinasi 46,8 persen; model NVIDIA mencapai akurasi 17,1 persen dengan tingkat non-halusinasi 56,3 persen. Pasangan itu adalah baris paling menarik di papan dan paling tidak menyanjung bagi pembacaan indeks yang sederhana: model terkompresi mengetahui lebih sedikit dan lebih sering mengakuinya.

Pengukuran yang hilang justru yang paling diinginkan pembeli. Tidak ada seorang pun di luar NVIDIA yang mempublikasikan uji throughput atau latensi pada checkpoint 24GB, padahal itulah inti dari merilis checkpoint 24GB.

Ke mana 22 poin itu sebenarnya pergi

Kesenjangan indeks sebesar 22 poin terdengar seperti perbedaan kategori, dan pada beberapa tugas memang begitu. Kimi K3 lebih unggul dalam pengodean ilmiah sebesar dua puluh poin, lebih unggul dalam pengambilan konteks panjang sebesar sembilan belas, dan lebih unggul dalam pertanyaan sains tingkat pascasarjana lebih dari tujuh. Itu bukan kesalahan pembulatan dan bukan artefak dari kumpulan perbandingan.

Tapi kisah kompresi di balik model N​VIDIA cukup spesifik untuk menjelaskan bentuk defisitnya. Checkpoint tersebut dihasilkan oleh Star Elastic, pencarian arsitektur terpandu router milik N​VIDIA, yang mengambil induk 120B-A12B Super VL dan mencari jumlah expert serta lebar MoE per lapisan yang muat di bawah 24GB pada ukuran batch satu dan konteks 128K, menurunkan top-K expert dari 22 menjadi 9 lalu mengkuantisasi expert menjadi 2,0625 bit per elemen dengan distilasi sadar kuantisasi untuk memulihkan akurasi. Itu adalah pertukaran yang disengaja antara pengetahuan tersimpan dan jejak penyimpanan. Model yang telah diperas menjadi 2 bit per bobot expert mempertahankan prosedurnya dan kehilangan fakta-faktanya, itulah sebabnya baris halusinasi membaik sementara baris akurasi runtuh.

Tabel benchmark milik NVIDIA sendiri mengajukan argumen yang sama dari arah sebaliknya. Perusahaan ini mempublikasikan model Bolt yang mengalahkan Qwen3.6-35B-A3B, Gemma4 26B-A4B, dan Nemotron 3.5 Lightning 30B-A3B miliknya sendiri pada Terminal-Bench 2.1, GPQA Diamond, BrowseComp, dan WebArena vision — yaitu, pada tugas agentik dan penggunaan alat — tetapi kalah dari Gemma4 pada akurasi AA-Omniscience dan dari Qwen3.6 pada PinchBench. Eksekusi agentik-lah yang dipertahankan oleh kompresi.

Keduanya berbobot terbuka, yang membuat pilihannya soal listrik

Inilah bagian yang membedakan pertarungan ini dari perbandingan dengan API tertutup. Bobot Kimi K3 dapat diunduh. Jika Anda memiliki perangkat kerasnya, Anda dapat menjalankan sendiri model 2,8T tersebut dan tidak membayar apa pun per token — proposisi yang sama seperti file 24GB, pada skala yang sama sekali berbeda. Tidak ada model di sini yang dikunci di balik vendor yang dapat berubah pikiran tentang akses.

Pembagian praktisnya adalah geografi deployment. Checkpoint IQ2 24GB berjalan di bawah vLLM pada satu unit A100, H100, atau Blackwell, dan resep referensi NVIDIA sendiri juga menyebut llama.cpp dan konversi GGUF, yang membuatnya berakhir di dalam harness agen lokal pada mesin RTX dan DGX Spark. Perintah serving yang direkomendasikan bukan toggle satu baris: perintah itu mematok build nightly vLLM, memerlukan plugin reasoning-parser yang diunduh, membutuhkan kernel b12x untuk backend linear dan MoE, menetapkan backend Mamba dan attention secara eksplisit, serta mengaktifkan speculative decoding dengan tujuh token draf LiLiCorr. Itu adalah resep untuk seseorang yang berniat memiliki mesinnya, bukan untuk seseorang yang menginginkan transkrip.

Kimi K3 mengambil arah sebaliknya. Seluruh desainnya mengasumsikan Anda menyewa inferensi, dan harganya ditetapkan sesuai itu — $3.00 masuk dan $15.00 keluar per juta token adalah posisi yang sengaja diambil di puncak pasar open-weight.

Menjalankan perbandingan alih-alih membacanya

Jika Anda ingin mengetahui apakah selisih indeks 22 poin penting bagi beban kerja Anda, eksperimen murahnya adalah memanggil separuh yang mahal. Kimi K3 ada di katalog OrcaRouter sebagai kimi/kimi-k3, pada kunci yang sama dengan 200+ model lainnya yang kami rutekan, ditagih dengan harga daftar penyedia M​oonshot tanpa tambahan markup — jadi perubahan harga M​oonshot berlaku langsung di sisi kami pada hari yang sama, bukan pada siklus penagihan berikutnya. Arahkan kumpulan prompt yang menyerupai trafik nyata Anda ke sana dan ukur perbedaannya terhadap apa pun yang Anda jalankan secara lokal. OrcaRouter tidak meng-host model N​VIDIA apa pun dan tidak memiliki endpoint Bolt untuk ditawarkan; keluarga N​emotron tidak ada dalam katalog kami, dan bagian lokal dari perbandingan ini tetap menjadi pertanyaan perangkat keras dalam hal apa pun.

Di sinilah routing benar-benar berguna, yakni pada jalur fallback. Kimi K3 adalah komitmen model tunggal pada titik harga yang tinggi, dan mode kegagalan agen produksi yang terhubung ke satu model berkapabilitas tinggi adalah masalah kapasitas di sisi hulu yang berubah menjadi insiden. Failover otomatis lintas penyedia di balik satu endpoint mengubahnya menjadi percobaan ulang.

Cara memutuskan

Aturan itu lebih pendek daripada yang disiratkan oleh celah tersebut.

Jika kebutuhan Anda mencakup kata-kata offline, privat, di perangkat, atau tanpa biaya per token, Kimi K3 bukan kandidat dan perbandingannya sudah selesai — model dengan 2,8 triliun parameter tidak akan berjalan di mesin yang Anda gunakan untuk membaca ini, sedangkan checkpoint 24GB akan berjalan. Belilah laptopnya, terima 21,4 pada indeks, dan arahkan ke penggunaan alat alih-alih ke pertanyaan tentang biokimia.

Jika kebutuhan Anda adalah ketepatan pada penalaran sulit, pekerjaan konteks panjang di ratusan ribu token, atau pengodean berskala repositori, model 24GB adalah alat yang salah dan kesenjangan indeks memberi tahu Anda kebenarannya. Bayar untuk Kimi K3.

Apa yang belum disepakati oleh kedua vendor adalah kasus menengah, karena hal itu bergantung pada angka yang belum dipublikasikan siapa pun: seberapa cepat checkpoint 2-bit benar-benar berjalan pada perangkat keras yang dapat Anda beli. Sampai ada uji throughput independen, jawaban jujur untuk "dapatkah file 24GB menggantikan model unggulan 2.8T untuk loop agen saya" adalah bahwa kesenjangan kecerdasannya terukur dan kasus latensinya belum.

Untuk model yang mode kegagalannya masih belum terdokumentasi, padanan yang berguna adalah catatan tentang apa yang sudah pernah gagal di tempat lain: insiden AI dan kegagalan agen yang terdokumentasi pada model di kelas ini dihimpun dalam the OrcaRouter AI Incident Archive, di mana setiap entri memuat sumbernya sendiri, tingkat keparahan, peringkat keyakinan, dan penanda status disengketakan.