Nemotron 3.5 Bolt vs Kimi K3: Unduhan 24GB versus Pembaca 2,8 Triliun Parameter

Jawaban singkat yang jujur adalah bahwa kedua model ini tidak bersaing untuk pekerjaan yang sama, dan alasannya dapat diukur dalam satu angka. Kimi K3 memiliki 1.048.576 token konteks. NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB memiliki 262.144. Jika tugas Anda adalah "baca seluruh korpus ini dan jawab dalam satu kali proses", checkpoint 24GB itu gugur sebelum hal lain tentangnya menjadi relevan — dan jika tugas Anda adalah "jalankan di workstation tanpa jaringan, tanpa meter, dan tanpa vendor yang terlibat", Kimi K3 juga tidak masuk dalam pembicaraan. Kimi K3 adalah model mixture-of-experts berparameter 2,8 triliun yang dirilis oleh Moonshot AI pada 15 Juli 2026 di bawah API hosted proprietary. Nemotron 3.5 Bolt 74B-A9B 24GB adalah file open-weight yang menggunakan 9 miliar dari 74 miliar parameternya untuk token mana pun dan muat dalam memori 24GB.

Checkpoint Bolt diunggah ke Hugging Face pada 7 Oktober 2026 tanpa pengumuman yang menyertainya. Postingan NVIDIA sendiri yang menyebutkan nama model itu — dan saudaranya berukuran 4GB, Nemotron 3.5 Bolt E4B — baru muncul pada 15 Oktober, delapan hari kemudian. Urutan itu layak diketahui karena menentukan apa yang dapat diperiksa: delapan hari catatan publik terdiri dari sebuah file yang dapat diunduh dan kartu model, sedangkan prosa yang menjelaskannya datang setelahnya.

Apa yang dirancang untuk dilakukan oleh setiap model

Kimi K3 adalah produk andalan Moonshot dan rilisnya yang paling mumpuni hingga saat ini: sparse mixture-of-experts dengan 2,8 triliun parameter dan sekitar 104 miliar parameter aktif per token, dibangun untuk pengodean jangka panjang dan pekerjaan pengetahuan end-to-end, menerima teks dan gambar serta mengembalikan teks. Ini dijalankan sebagai layanan, bukan dikirimkan. Tidak ada unduhan, tidak ada build terkuantisasi untuk dijalankan secara lokal, dan tidak ada versinya yang cukup kecil untuk laptop.

Nemotron 3.5 Bolt adalah konstruksi yang berlawanan. NVIDIA mengambil model 120B-A12B Nemotron 3.5 Super VL miliknya, menerapkan kompresi yang dipandu router yang disebutnya Star Elastic untuk mencapai 74B-A9B, lalu mengkuantisasi hasilnya menjadi 2,0625 bit per elemen pakar — format IQ2_XXS — dengan distilasi sadar kuantisasi untuk memulihkan akurasi yang dikorbankan oleh penetapan harga. Tulang punggungnya adalah hibrida Mamba-2 dan Transformer yang oleh vendor disebut LatentMoE, dengan encoder visi C-RADIO v4-H untuk masukan gambar dan video. Ini berjalan di bawah vLLM pada komponen Ampere, Hopper, dan Blackwell, serta pada perangkat keras RTX Spark dan DGX Spark melalui llama.cpp, di bawah lisensi OpenMDW-1.1 yang mengizinkan penggunaan komersial.

Membaca korpus panjang, diberi harga

Inilah saat perbandingan menjadi aritmetika ketimbang preferensi. Kimi K3 dirutekan di OrcaRouter dengan harga daftar Moonshot tanpa tambahan apa pun: $3,00 per juta token masukan, $15,00 per juta token keluaran, dan pembacaan cache sebesar $0,30. Waktu p50 menuju token pertama pada katalog kami adalah 7,02 detik dengan p95 10,00 detik, dan ia membawa 990,6 juta token lalu lintas yang dirutekan di seluruh katalog kami dalam tujuh hari terakhir — pembacaan konteks panjang dalam skala besar adalah beban kerja nyata, bukan eksperimen pemikiran.

Nemotron 3.5 Bolt tidak memiliki harga, karena tidak ada yang bisa diberi harga. Tidak ada endpoint terkelola untuknya, tidak ada API vendor, tidak ada daftar tarif, dan Artificial Analysis mencantumkan baik kecepatannya maupun biaya per tugas Intelligence Index sebagai N/A justru karena alasan itu. Yang dimilikinya sebagai gantinya adalah plafon memori yang Anda beli sekali, dan biaya marjinal yang jika dibulatkan setara dengan tagihan listrik. Bagi pipeline yang membaca korpus tetap setiap malam, perbedaan antara $3 per juta token masukan dan nol bukanlah diskon — itu adalah model akuntansi yang berbeda, dan titik impasnya adalah pertanyaan belanja modal yang dijawab oleh tim keuangan Anda, bukan artikel ini.

Visi bukanlah penentu akhir seperti yang diasumsikan orang.

Kedua model menerima gambar. Di situlah kesamaannya berakhir.

• Input — Kimi K3 menerima teks dan gambar; Nemotron 3.5 Bolt menerima teks, gambar, dan video. Bagi agen yang menonton rekaman layar atau mengambil sampel frame dari umpan kamera, hanya salah satu dari ini yang dapat langsung diberi file tersebut.

• Presisi jalur visi — Bolt membawa encoder visi C-RADIO v4-H yang dibuat khusus dan mewarisi perilaku multimodalnya dari klien Super VL yang menjadi sumber kompresinya; pemahaman visual Kimi K3 didokumentasikan sebagai native tetapi bukan bagian dari model yang diunggulkan Moonshot. Tabel NVIDIA sendiri mencantumkan skor visi WebArena sebesar 50.86 untuk Bolt; anggap itu sebagai laporan vendor.

• Kontrol penalaran — Kimi K3 tidak mengekspos temperature, top_p, maupun seed, dengan kedalaman penalaran yang diatur hanya oleh parameter reasoning-effort; mode penalaran Bolt adalah sakelar chat-template, enable_thinking true atau false, yang diwarisi dari klien Super VL yang sama.

• Spekulasi — Bolt hadir dengan drafter LiLiCorr yang digerakkan melalui DFlash yang mengusulkan tujuh token ke depan per langkah, yang merupakan mekanisme di balik klaim NVIDIA tentang 84 token per detik pada AIPerf SPEED-Bench. Tidak ada tuas yang setara pada endpoint yang dihosting; Anda mendapatkan apa pun yang disediakan operator.

Celah yang terukur, dan dari apa ia terbuat

Artificial Analysis menempatkan Kimi K3 pada 43,6 di Intelligence Index-nya dan Nemotron 3.5 Bolt pada 21. Tidak mungkin menafsirkan itu sebagai berdekatan. Baris-baris pendukung Kimi K3 kuat di tempat-tempat yang dibutuhkan pembaca konteks panjang — AA Coding Index sebesar 76,2 di peringkat kesembilan dari 138 model yang diukur, skor GPQA Diamond sebesar 93,5, dan angka recall konteks panjang sebesar 88,7, yang merupakan angka yang memberi tahu Anda bahwa jendela sejuta token dapat digunakan dan bukan sekadar dinyatakan.

Angka 21 milik Bolt adalah jenis hasil yang berbeda. Ini adalah skor tertinggi keempat di antara 67 model dalam kelasnya yang difilter berdasarkan footprint, dibandingkan median kelas sebesar 8, dan Artificial Analysis menggambarkannya sebagai salah satu model open-weight terdepan dengan ukuran serupa. Cara yang tepat untuk memahami kedua angka tersebut adalah bahwa yang satu mengukur apa yang bisa dilakukan lab frontier tanpa batasan memori dan yang lain mengukur apa yang bisa ditampung oleh 24GB. Dua puluh dua poin indeks adalah harga dari batasan tersebut, bukan bukti bahwa model yang lebih kecil dibuat dengan buruk.

Yang tidak ada di sisi Bolt adalah pengukuran independen atas seberapa cepat performanya. NVIDIA melaporkan setidaknya 80 token per detik untuk decoding sebagai target desain dan 84 pada tolok ukurnya sendiri, dengan 83,99 token per detik dalam pengujian llama.cpp pada Surface Laptop Ultra dengan 128GB. Hingga saat penulisan ini, belum ada pihak ketiga yang menerbitkan angka throughput atau latensi untuk bobot 24GB. Latensi Kimi K3, sebaliknya, diukur dan dipublikasikan — 7,02 detik p50 ke token pertama, 10,00 detik p95 — dan angka-angka itulah yang harus menjadi acuan perencanaan, bukan angka dari vendor.

Di mana lapisan routing mengubah jawabannya

Kimi K3 ada di katalog kami sebagai kimi/kimi-k3 dengan harga daftar Moonshot tanpa tambahan markup 0%, berada di belakang kunci yang sama dengan 200+ model lainnya, dengan failover otomatis di antara penyedia upstream saat salah satunya mengalami penurunan kinerja. Nemotron 3.5 Bolt tidak ada di katalog kami — kami tidak menghosting checkpoint NVIDIA mana pun dan tidak ada endpoint Bolt yang bisa dipanggil — jadi pertanyaan routing di sini bukanlah mana dari keduanya yang kami layani. Melainkan bagaimana kedua bagian dari pipeline nyata saling berkomunikasi.

Pola yang berhasil adalah pembaca lokal dan penalar yang dihosting. Bolt berada di perangkat keras Anda dan menangani proses berfrekuensi tinggi ketika data tidak boleh meninggalkan gedung dan volumenya akan membuat penagihan per token terasa menyakitkan. Kimi K3 menangani permintaan yang membutuhkan jendela satu juta token atau penalaran berskala terdepan, dengan biaya $3 dan $15 per juta token. Tempatkan aturan perutean di depan keduanya dan pembagiannya menjadi satu baris konfigurasi, bukan refaktor: permintaan yang melampaui anggaran konteks lokal dikirim ke Kimi K3, sedangkan sisanya tetap di stasiun kerja. Fusi model adalah varian yang perlu diketahui jika panggilan mahal adalah panggilan yang penting — beberapa model menjawab prompt yang sama secara bersamaan dan Anda mengambil kesepakatannya.

Apa yang harus ditonton

Bukti spesifik yang akan menyelesaikan perbandingan berpasangan ini terbatas dan sudah di depan mata. Uji throughput dan latensi independen pertama pada bobot Bolt 24GB akan entah mengonfirmasi angka 84 token per detik milik NVIDIA atau menurunkannya; harga hosted yang dipublikasikan untuk Bolt akan mengubah separuh bagian biaya dari perbandingan ini menjadi aritmetika; dan pengukuran recall konteks panjang kedua untuk Kimi K3 akan mengonfirmasi bahwa 88,7-nya adalah properti model, bukan properti dari satu harness.

Sampai saat itu, ringkasannya lebih sempit daripada pembingkaian masing-masing vendor. Kimi K3 adalah model yang lebih baik pada setiap sumbu yang dapat diukur oleh tolok ukur, dan ini satu-satunya dari keduanya yang bisa Anda panggil sore ini. Nemotron 3.5 Bolt adalah satu-satunya dari keduanya yang tetap bekerja ketika jaringan tidak, dan satu-satunya yang biaya marginal per tokennya nol. Pilih yang kedua untuk pekerjaan yang seharusnya tidak pernah dikirim ke mana pun, dan yang pertama untuk pekerjaan yang butuh jangkauan.