Nemotron 3.5 Bolt 74B vs Nemotron 3 Ultra: 1,5 Poin Indeks, Tujuh Kali Lipat Parameter

Angka paling mengejutkan dalam keluarga N​VIDIA N​emotron 3.5 bukanlah ukuran model unggulannya. Yang mengejutkan adalah bahwa N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB, sebuah checkpoint 74 miliar parameter yang dipadatkan ke dalam 24 gigabita pada dua bit per bobot, hanya terpaut 1,5 poin dari N​emotron 3 Ultra, model 550 miliar parameter yang menjadi sumber distilasi bagi anggota keluarga lainnya, pada Intelligence Index yang dijalankan secara independen oleh Artificial Analysis — 21,4 berbanding 22,9. Tujuh kali lipat jumlah parameter, enam kali lipat komputasi aktif per token, dan selisih yang bisa hilang di dalam batas galat sebuah tolok ukur. Bobot Bolt muncul di Hugging Face pada 7 Oktober 2026, dengan pengumuman N​VIDIA menyusul pada 15 Oktober; Ultra dirilis pada 4 Juni 2026.

Kedua model tersebut tidak dapat dipertukarkan, dan titik-titik perbedaannya lebih memberi pelajaran daripada skor utamanya. Apa yang dipertahankan oleh kompresi dan apa yang dibuangnya sama-sama terlihat dalam angka-angka yang dipublikasikan, dan keduanya bukan baris yang sama.

Apa itu masing-masing

Ultra adalah andalan generasi sebelumnya dan guru di pusat pipeline distilasi NVIDIA. Ia adalah hibrida Mamba-2 dengan total 550B, 55B aktif, dan Prediksi Multi-Token, dirilis di bawah OpenMDW-1.1 bersama data pelatihan dan resepnya, dibangun untuk pekerjaan agentic berdurasi panjang dengan konteks hingga satu juta token dan batas keluaran 65.000 token per permintaan. Klaim NVIDIA sendiri untuknya adalah model bobot terbuka AS dengan kecerdasan tertinggi pada jendela rilisnya, dan catatan independen sebagian besar mendukung hal itu: panel menilainya 22,9 dalam konfigurasi penalarannya, dengan 156 token keluaran per detik yang terukur, 1,29 detik ke token pertama, dan median 19 detik waktu respons end-to-end.

Bolt adalah tier edge dari generasi yang lebih baru, dan ini bukan distilled-Ultra dalam arti langsung. Induknya adalah N​emotron 3.5 Super VL 120B-A12B, model multimodal 120 miliar parameter yang diluncurkan N​VIDIA bersamanya. Kompresi dilakukan oleh Star Elastic, pencarian arsitektur terpandu router milik N​VIDIA, yang mengoptimalkan loss distilasi pengetahuan terendah yang memenuhi batas ketat di bawah 24GB pada ukuran batch 1 dan konteks 128K — menurunkan top-K pakar dari 22 menjadi 9 dan mengkuantisasi bobot pakar ke IQ2-XXS pada 2,0625 bit per elemen, dengan distilasi sadar kuantisasi untuk memulihkan akurasi. Ia membawa encoder visi C-RADIO v4-H karena induknya multimodal.

Baris independen, kedua sisi

Semua yang ada di bawah ini berasal dari Artificial Analysis kecuali ditandai sebaliknya, itulah yang membuat perbandingan ini berguna: kedua model dijalankan oleh evaluator yang sama dengan harness yang sama.

• Indeks Kecerdasan — Bolt 21,4; Ultra 22,9. Diukur secara independen untuk keduanya.

• GDPval-AA (dinormalisasi) — Bolt 0,240; Ultra 0,257. Selisih 1,7 poin pada tolok ukur yang dibangun dari luaran pekerjaan nyata.

• SciCode — Bolt 0.397; Ultra 0.403. Secara efektif setara.

• Humanity's Last Exam, tanpa alat — Bolt 24,7 persen; Ultra 28,4 persen. Selisih empat poin di sini adalah yang terbesar dalam daftar ini secara relatif.

• AA-LCR pengambilan konteks panjang — Bolt 69,7 persen; Ultra 79,3 persen. Sepuluh poin, dan bukti paling jelas tentang harga yang harus dibayar dari kompresi 2-bit.

• AA-Omniscience — Bolt memiliki akurasi 17,1 persen dengan non-halusinasi 56,3 persen; Ultra memiliki akurasi 22,6 persen dengan non-halusinasi 70,3 persen. Produk unggulan ini lebih berpengetahuan sekaligus lebih terkalibrasi, yang merupakan hasil paling tidak mengejutkan di halaman ini.

• Terminal-Bench 4.0 (set yang lebih sulit) — keduanya mendapat skor nol. Tidak ada model yang menyelesaikan tingkat itu, termasuk yang unggulan.

• Jendela konteks — Bolt: hingga 256.000 token menurut kartu model, dan 262.144 pada catatan panel. Ultra: hingga 1.000.000 menurut N​VIDIA, dengan output maksimum 65.000 token.

• Masukan — Bolt: teks, gambar, dan video masuk, teks keluar. Ultra: teks masuk, teks keluar. Tidak ada apa pun dalam materi peluncuran produk unggulan itu yang mengklaim adanya menara visi.

• Harga — Bolt: tidak ada. Tidak ada tarif terukur yang dipublikasikan untuk checkpoint 24GB, dan panel tidak mencantumkan angka input atau output untuknya. Ultra: $0.60 per juta token input dan $2.50 per juta output, dengan input yang di-cache sebesar $0.16, dan pengeluaran terukur sebesar $0.60 per tugas Intelligence Index.

• Kecepatan — Bolt: tidak ada pengukuran independen. Ultra: 156,1 token keluaran per detik, 1,29 detik ke token pertama, median 14,6 detik waktu penalaran per respons.

• Jejak — Bolt: 24GB pada IQ2, dapat di-deploy pada satu A100, H100, atau unit Blackwell. Ultra: deployment multi-akselerator; resep NVIDIA sendiri untuk checkpoint guru dalam keluarga ini menyebut empat B200 atau delapan H100 sebagai batas minimum, dan Ultra adalah anggota terbesar.

Mengapa selisih indeks lebih kecil daripada selisih ukuran, dan apa artinya

Ada dua penjelasan yang jujur dan keduanya mungkin benar sebagian.

Yang pertama adalah bahwa Intelligence Index adalah komposit yang lebih menghargai prosedur daripada daya ingat. Bolt kehilangan fakta-fakta tersimpannya akibat kuantisasi 2-bit — Anda dapat melihatnya di baris akurasi — tetapi masih mempertahankan cukup perilaku rantai pemikiran, pemanggilan alat, dan keluaran terstruktur untuk mendapat skor pada tugas-tugas komposit. Perhatikan bahwa keunggulan Ultra terkonsentrasi tepat di tempat memori berperan: pengambilan konteks panjang, akurasi omniscience, tingkat halusinasi, pertanyaan sains sulit yang memerlukan fakta alih-alih metode.

Yang kedua adalah bahwa pencarian arsitektur pada induk yang kuat merupakan penggunaan anggaran tetap yang lebih baik daripada melatih model kecil dari awal, yang merupakan argumen eksplisit N​VIDIA dalam dokumentasi Bolt. Mengambil guru multimodal 120B dan mencari siswa paling lebar yang muat dalam 24GB adalah latihan yang berbeda dari pra-pelatihan model 30B, dan checkpoint 74B/9B yang dihasilkan berada di posisi yang akan ditempati oleh model 74B yang luar biasa efisien.

Yang tidak dimaksudkan oleh hal itu adalah bahwa Bolt menggantikan Ultra. Model yang lebih sering mengakui ketidakpastian (56,3 versus 70,3 persen tingkat non-halusinasi, ke arah yang salah) dan kurang andal mengambil dari konteks panjang adalah asisten yang lebih buruk untuk pertanyaan yang sebenarnya diajukan orang. Model itu lebih baik sebagai asisten untuk tugas-tugas yang sebagian besar berupa prosedur: memanggil alat, mengisi formulir, menyunting berkas, membaca tangkapan layar, dan mengklik hal yang tepat.

Dua hal yang tidak dapat dilakukan Ultra

Keunggulan Bolt terbatas, dan keduanya bersifat struktural, bukan numerik.

Ini cocok. Checkpoint 24GB berjalan pada perangkat keras yang dimiliki seseorang, tanpa jaringan, tanpa meteran per token, dan tanpa negosiasi kapasitas. Kecerdasan Ultra hanya dapat dijangkau melalui API, dengan biaya $0,60 untuk input dan $2,50 untuk output per juta token serta sekitar $0,60 pengeluaran per tugas indeks. Harga itu benar-benar rendah untuk model sekelasnya, itulah sebabnya jalur hosted adalah opsi nyata, bukan kompromi — tetapi itu tetap jalur yang memerlukan konektivitas dan kepercayaan pada uptime pihak lain.

Ia dapat melihat. Encoder visi C-RADIO v4-H milik Bolt memberinya input gambar dan video, dan kartu model N​VIDIA melaporkan 50,86 pada WebArena vision dan 66,75 pada BrowseComp. Ultra adalah model teks. Jika pekerjaan agen melibatkan tangkapan layar, PDF, pembacaan dasbor, atau otomatisasi browser dengan status visual, model unggulan dari generasi lama tidak dapat digantikan dengan harga berapa pun.

Cara memilih

Gunakan Ultra jika beban kerjanya berat pada penalaran dan hanya berupa teks: analisis multi-langkah, kumpulan dokumen panjang, coding pada repositori besar, atau apa pun yang mahal jika salah. Skor independennya mengalahkan Bolt hampir di semua aspek, harganya termasuk yang terendah di kelas kecerdasan tinggi, dan throughput-nya diukur, bukan diasumsikan.

Ambil Bolt jika beban kerja berjalan pada perangkat keras yang Anda kendalikan, perlu bisa melihat, atau harus tetap berjalan saat jaringan tidak tersedia. Selisih indeks 1,5 poin itu nyata dan cukup sempit sehingga keputusan biasanya dibuat berdasarkan deployment, bukan kualitas — dan fakta bahwa NVIDIA merilis file 24GB yang skornya hanya terpaut dua poin dari model andalan 550B miliknya sendiri adalah fakta yang lebih layak diberitakan di antara kedua rilis tersebut.

Ada jalur tengah yang layak disebut, karena begitulah N​VIDIA memosisikan keluarga ini, bukan seperti yang akan dilakukan pembeli model tunggal: eksekutor lokal kecil yang melakukan pemanggilan alat dan pembacaan layar, dengan model hosted yang lebih besar menangani perencanaan dan penalaran sulit. Arsitektur itu memerlukan cara andal untuk menjangkau separuh yang dihosting di lebih dari satu penyedia, yang menjadi tujuan failover OrcaRouter — percobaan ulang otomatis lintas penyedia di balik satu endpoint, pada satu kunci yang juga menjangkau 200+ model dengan harga daftar penyedia dengan tambahan markup 0 persen. Kami tidak menghosting model N​VIDIA apa pun; keluarga N​emotron tidak ada dalam katalog kami, dan tidak ada apa pun di sini yang merupakan klaim untuk menyajikannya. Intinya hanyalah bahwa desain agen dua tingkat memerlukan tingkat kedua agar dapat dirutekan, dan endpoint vendor tunggal yang di-hardcode adalah cara umum desain itu gagal.

Apa yang akan mengubah halaman ini

Dua pengukuran. Yang pertama adalah uji throughput dan latensi independen pada checkpoint 24GB, yang akan mengonfirmasi atau menggugurkan argumen untuk menggunakannya sebagai eksekutor lokal pada kecepatan interaktif; saat ini satu-satunya angka yang tersedia adalah 83,99 token per detik milik NVIDIA sendiri pada AIPerf SPEED-Bench-Coding, yang diukur pada mesin kelas laptop dan tidak sebanding dengan rig panel. Yang kedua adalah pengujian ulang independen atas benchmark agentik pada bobot 2-bit pada kuantisasi yang dikendalikan pihak ketiga — tabel vendor menunjukkan Bolt mengalahkan Ultra pada Terminal-Bench 2.1 dengan selisih hampir 27 poin, dan klaim itu memikul beban yang sangat besar tanpa konfirmasi dari luar.

Tidak satu pun dari ini menjadi alasan untuk menghindari model tersebut, hanya alasan untuk mengetahui riwayatnya: insiden AI dan kegagalan agen yang terdokumentasi di balik model di kelas ini dikumpulkan dalam OrcaRouter AI Incident Archive, yang tiap entrinya memuat sumbernya sendiri, tingkat keparahan, nilai keyakinan, dan tanda diperdebatkan.