Nemotron 3.5 Bolt vs Nemotron 3 Ultra: Apa yang Bertahan dari Kompresi 7,4 Kali

Dua model dari vendor yang sama, dengan perbedaan faktor 7,4 dalam jumlah parameter dan sekitar dua orde besaran dalam perangkat keras yang dibutuhkan untuk menjalankannya. NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB dirilis pada 15 Oktober 2026 sebagai berkas 24GB yang berjalan berdampingan dengan aplikasi Anda yang lain pada perangkat Spark atau GPU Blackwell. NVIDIA Nemotron 3 Ultra 550B-A55B telah ada di Hugging Face sejak 3 Juni 2026 dan meminta enam belas H100 pada konfigurasi minimum dalam BF16.

Pertanyaan yang menarik bukanlah mana yang lebih kuat — jawabannya sudah jelas dan tidak perlu diperdebatkan. Yang menjadi pertanyaan adalah apa yang secara spesifik tetap bertahan ketika Anda memadatkan model besar ke dalam anggaran memori yang kecil, karena hal itu memberi tahu Anda beban kerja mana yang dapat diserap oleh model kecil dan mana yang akan membuatnya kewalahan. Catatan riset NVIDIA sendiri menjawab sebagian pertanyaan itu secara langsung, dan bagian yang tidak dijawabnya justru menjadi tempat keputusan sesungguhnya berada.

Mereka bukan induk dan anak, apa pun yang disiratkan oleh penamaannya

Asumsi yang jelas adalah bahwa Bolt adalah Ultra yang diperkecil. Tidak demikian, dan memahami hal ini dengan benar mengubah apa yang Anda harapkan dari file tersebut. Nemotron 3.5 Lightning, tingkat 30B-A3B dari 11 Agustus 2026, didistilasi dari Ultra. Bolt tidak. Bolt dikompresi dari Nemotron 3.5 Super VL, model visi-bahasa 120B-A12B, menggunakan pencarian terpandu router yang oleh NVIDIA disebut Star Elastic, diikuti oleh distilasi sadar kuantisasi hingga 2,0625 bit per bobot ahli dalam format IQ2_XXS.

Silsilah itu menjelaskan satu perbedaan yang lebih penting daripada baris benchmark mana pun: Bolt memiliki encoder visi C-RADIO v4-H dan menerima gambar serta video. Ultra adalah teks masuk, teks keluar, dan itu bukan kesenjangan pelaporan — checkpoint-nya tidak memiliki tower visi untuk dinilai. Model yang lebih kecil, lebih baru, dan sangat terkuantisasi dapat melihat; model penalaran terbesar dalam keluarga ini tidak bisa.

Apa yang dipertahankan oleh kompresi

Bolt membawa 74 miliar parameter dengan 9 miliar yang aktif per token pada tulang punggung hibrida Mamba-2 dan Transformer. Ultra membawa 550 miliar dengan 55 miliar yang aktif. Rasio parameter aktif adalah 6,1 berbanding 1, dan rasio parameter total adalah 7,4 berbanding 1, yang berarti kompresi menghilangkan kapasitas total secara proporsional lebih banyak daripada komputasi per token — model menjadi lebih sempit lebih cepat daripada menjadi lebih dangkal.

Apa yang dihasilkan oleh hal itu, berdasarkan bukti yang tersedia:

• Intelijen independen — Artificial Analysis memberi Nemotron 3.5 Bolt skor 21 pada Intelligence Index-nya, keempat dari 67 di kelasnya yang difilter berdasarkan footprint, dibandingkan median kelas sebesar 8. Ultra tidak berada di kelas yang sama dan mendapat skor jauh lebih tinggi pada versi indeks yang sama. Inilah biaya terukur dari kompresi tersebut.

• Kecepatan independen — Artificial Analysis mengukur Ultra pada 156,1 token keluaran per detik, peringkat kesepuluh dari 74 model di halaman itu dan berada dalam rentang kecepatan teratasnya. Untuk Bolt, bidang yang sama terbaca N/A, karena tidak ada endpoint yang dihosting untuk dipanggil. Angka NVIDIA sendiri — 84 token per detik pada AIPerf SPEED-Bench di RTX Spark, 83,99 di llama.cpp pada Surface Laptop Ultra — dilaporkan vendor dan belum direproduksi.

• Kepatuhan terhadap instruksi — Ultra mencatat 82,9 pada IFBench. Ini adalah baris yang perlu diperhatikan pada agen yang harus mematuhi kebijakan alat yang panjang, dan ini adalah jenis kemampuan yang dipertahankan secara tidak merata oleh distilasi sadar kuantisasi.

• Penalaran konteks panjang — Ultra mencatat 75,2 pada AA-LCR terhadap spesifikasi 1 juta token. Jendela terpublikasi Bolt adalah 262.144 token, berbagi 24GB dengan cache KV, gambar, dan percakapan. Jendela yang dideklarasikan luas dan kemampuan untuk menggunakannya adalah dua properti yang terpisah; di sini model yang lebih besar memiliki lebih banyak dari keduanya.

• Pengekangan faktual — Ultra mencatat 22,1 pada halusinasi AA-Omniscience dengan 77,91 non-halusinasi. Kartu milik Bolt sendiri mencatat 61,27 pada non-halusinasi, satu-satunya baris di mana ia kalah dari Nemotron 3.5 Lightning yang jauh lebih kecil. Dua tanda independen yang menunjuk ke arah yang sama: di sinilah kompresi 2-bit yang agresif paling merugikan, dan tidak ada trik perutean yang dapat memperbaiki model yang lebih banyak mengarang.

Envelope penyebaran, yang merupakan titik di mana keduanya benar-benar terpisah

Inilah bagian dari perbandingan yang tidak dapat direduksi menjadi skor.

• Memori — Bolt adalah artefak tunggal 24GB, sudah terkuantisasi, dimaksudkan untuk hidup berdampingan dengan peramban dan IDE di satu mesin. Ultra dalam BF16 meminta enam belas H100, delapan H200, atau delapan node kelas GB200 menurut kartu modelnya sendiri; build NVFP4 mempersempitnya menjadi delapan H100 sebagai batas bawah. Perbedaan antara kedua kalimat itu adalah perbedaan antara pesanan pembelian dan program pengadaan.

• Konfigurasi konteks — Bolt menyediakan 262,144 token secara langsung dalam resep vLLM yang dipublikasikannya. Resep Ultra secara default 256K dan memerlukan flag lingkungan untuk mencapai penuh 1,048,576, itulah sebabnya panel mencatat 262K untuk Ultra meskipun spesifikasi 1M. Baca spesifikasi, lalu baca resep.

Stack penyajian — Bolt berjalan di bawah vLLM pada Ampere, Hopper, dan Blackwell, atau di bawah llama.cpp pada perangkat keras RTX Spark dan DGX Spark, dengan lisensi OpenMDW-1.1 yang mengizinkan penggunaan komersial. Ultra berjalan di bawah lisensi yang sama pada paralelisme kelas pusat data. Keduanya merupakan bobot terbuka; hanya salah satunya yang portabel.

• Biaya prompt — Ultra dikenai tarif $0,60 per juta token input dan $2,50 per juta token output dengan diskon cache 73%, yang berarti sekitar $0,60 untuk menjalankan satu tugas Intelligence Index — benar-benar murah untuk model sebesar itu, dan tersedia karena pihak lain mengoperasikan klaster tersebut. Bolt sama sekali tidak punya harga: tidak ada endpoint yang dihosting, tidak ada API vendor, tidak ada daftar tarif, dan N/A di kolom kecepatan maupun biaya pada satu-satunya panel independen yang mencantumkannya.

Membaca pengumuman itu untuk memahami apa yang dinyatakan dan tidak dinyatakan

Checkpoint Bolt sudah ada di Hugging Face sejak 7 Oktober 2026 dengan hanya kartu model yang dilampirkan. Pengumuman vendor yang menyebut namanya — bersama saudara 4GB-nya, Nemotron 3.5 Bolt E4B, yang ditujukan untuk karakter game dan bertanggal 23 Oktober — hadir pada 15 Oktober. Merilis bobot delapan hari sebelum teks pengumuman bukan hal yang aneh, tetapi itu berarti selama sepekan catatan publik tidak memuat penjelasan apa pun tentang model tersebut, dan bahwa setiap laporan yang ditulis pada rentang waktu itu hanya berbekal kartu model.

Pengumuman itu juga tempat untuk mencari apa yang tidak ada. Tidak ada endpoint yang dihosting, tidak ada API, tidak ada daftar tarif, tidak ada platform pihak ketiga yang melakukan metering pada Bolt — dan tidak ada benchmark independen yang dijalankan pada bobot 24GB oleh siapa pun. Angka-angka vendor itu nyata dan spesifik, diambil dengan llama.cpp pada Surface Laptop Ultra dengan 128GB; angka-angka itu hanya saja belum direproduksi di luar NVIDIA.

Di mana setiap model seharusnya berada, dan di mana sebuah router seharusnya berada

Tidak satu pun dari model ini ada di katalog OrcaRouter. Kami tidak menghosting checkpoint NVIDIA apa pun, tidak ada endpoint Bolt dan tidak ada endpoint Ultra, dan tidak ada apa pun di sini yang merupakan penawaran untuk melayani salah satu dari keduanya. Yang memang Anda dapatkan dengan satu endpoint, jika Anda menjalankan salah satu atau keduanya sendiri, adalah cara untuk menjaga separuh lokal dan separuh hosted dari sebuah alur kerja di bawah satu kunci — lebih dari 200 model di katalog kami berada di balik satu kunci API dan satu tagihan, pada harga daftar masing-masing penyedia yang diteruskan dengan tambahan markup 0%, sehingga perubahan harga vendor langsung berlaku di sisi kami pada hari yang sama alih-alih pada perpanjangan berikutnya. Permintaan yang membutuhkan jendela satu juta token penuh atau reasoner berskala frontend dikirim ke model hosted; berkas lokal menangani pekerjaan bervolume tinggi dan sensitif privasi yang seharusnya tidak pernah keluar dari gedung ini. Failover otomatis berarti upstream yang menurun memindahkan permintaan alih-alih menggagalkannya.

Penempatan berasal dari perhitungan penerapan, bukan dari skor. Bolt seharusnya berada di stasiun kerja ketika data tidak dapat berpindah, ketika beban kerja membawa video, atau ketika volume membuat penagihan per token menjadi pos biaya dominan — dan ketika jendela 262K serta celah pengekangan faktual yang sudah terlihat dapat diterima. Ultra seharusnya berada di endpoint berbayar ketika pekerjaan membutuhkan jangkauan satu juta token, kemampuan mengikuti instruksi terkuat di keluarga ini, dan tingkat halusinasi terendah yang saat ini dipublikasikan NVIDIA.

Siapa yang harus bertindak, dan siapa yang harus menunggu

Bertindaklah sekarang jika beban kerjanya lokal dan membawa video: Bolt adalah satu-satunya model dalam keluarga ini yang sekaligus muat di 24GB dan dapat melihat, dan tidak ada checkpoint terbuka lain pada ukuran itu yang mencetak skor 21 pada indeks independen. Bertindaklah sekarang jika beban kerjanya adalah penalaran teks konteks panjang dalam volume besar: Ultra dihitung pemakaiannya, terukur, dan lebih murah per tugas Intelligence Index daripada yang seharusnya dimiliki model seukurannya.

Tunggu, jika keputusan Anda bergantung pada throughput. Kecepatan Bolt adalah satu-satunya dimensi yang tidak memiliki pengukuran independen di mana pun, dan untuk model yang diterapkan secara lokal, kecepatan adalah yang Anda rasakan setiap detik setiap hari. Satu uji latensi pihak ketiga pada bobot 24GB akan menyelesaikan lebih banyak daripada sepuluh baris benchmark vendor berikutnya — dan sampai itu ada, perencanaan kapasitas untuk Bolt adalah merencanakan berdasarkan sebuah klaim.