Nemotron 3.5 Bolt 74B vs Nemotron 3.5 Lightning 30B-A3B: Resep yang Sama, Dua Plafon Memori

Ini adalah satu-satunya perbandingan dalam silsilah keluarga N​VIDIA N​emotron 3.5 di mana kedua sisi dibuat oleh tim yang sama untuk pekerjaan yang sama pada dua ukuran berbeda, dan vendor telah menjalankan adu langsung itu sendiri. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB dan N​VIDIA N​emotron 3.5 Lightning 30B-A3B keduanya adalah checkpoint campuran-pakar hibrida Mamba-2 dengan kepala speculative decoding, keduanya dirilis di bawah OpenMDW-1.1 untuk penggunaan komersial, keduanya dimaksudkan untuk dijalankan oleh orang yang membacanya daripada disewa dari pusat data. Lightning dirilis pada 11 Agustus 2026. Bobot Bolt dipublikasikan pada 7 Oktober 2026 dan N​VIDIA mengumumkannya pada 15 Oktober.

Perbedaannya adalah plafon memori: 24GB untuk yang satu, kira-kira 16GB untuk yang lain dalam bentuk terkuantisasinya, dan delapan poin Artificial Analysis Intelligence Index di antara keduanya adalah apa yang dibeli oleh plafon tersebut.

Satu resep, dijalankan dalam dua ukuran

Lightning hadir lebih dulu, dan ini menetapkan bentuk yang diikuti seluruh generasi 3.5: tumpukan hibrida yang menyelang-seling blok state-space Mamba-2 dengan lapisan mixture-of-experts dan attention, head Multi-Token Prediction agar model dapat membuat draf beberapa token sekaligus dan memverifikasinya secara paralel, serta drafter pendamping terpisah — DSpark untuk penerapan pusat data dengan konkurensi rendah, DFlash, dan kemudian drafter LiLiCorr — yang menjadikan speculative decoding sebagai konfigurasi yang didukung, bukan trik riset. Distilasi dari guru Nemotron 3 Ultra adalah separuh resep lainnya.

Bolt adalah resep yang sama yang diarahkan pada anggaran yang jauh lebih ketat. Parameternya yang berjumlah 74B dikompresi menjadi 24GB oleh Star Elastic, pencarian arsitektur yang dipandu router dari NVIDIA, yang mengambil checkpoint induk dan mencari jumlah pakar per lapisan serta lebar intermediate MoE yang memenuhi jejak penerapan yang ketat sekaligus meminimalkan kerugian distilasi pengetahuan. Dalam kasus Bolt, pencarian dibatasi pada di bawah 24GB dengan ukuran batch 1 dan konteks 128K, top-K pakar turun dari 22 pada induknya menjadi 9, dan bobot pakar kemudian dikuantisasi ke IQ2-XXS pada 2,0625 bit per elemen dengan distilasi sadar kuantisasi untuk memulihkan akurasi. Lapisan Mamba berada pada NVFP4, embedding dan lapisan output pada Q8_0.

Induk untuk Bolt bukanlah Lightning. Induknya adalah N​emotron 3.5 Super VL 120B-A12B, model multimodal berparameter 120 miliar yang diluncurkan N​VIDIA pada hari yang sama, itulah sebabnya Bolt hadir dengan encoder visi C-RADIO v4-H sedangkan Lightning tidak.

Kontras spesifikasi, kedua sisi dalam satu baris

• Total dan parameter aktif — Bolt: 74B total, 9B aktif per token. Lightning: 30B total, sekitar 3B aktif per token.

• Arsitektur — Bolt: LatentMoE hibrida Mamba-2–Transformer ditambah encoder visi C-RADIO v4-H. Lightning: MoE hibrida Mamba-2 dengan atensi, tanpa menara visi.

• Presisi dan jejak — Bolt: IQ2 pada 2,0625 bit per elemen, dikemas hingga di bawah 24GB. Lightning: BF16, NVFP4, dan build terkuantisasi lainnya diterbitkan secara terpisah.

• Konteks — Bolt: hingga 256.000 token, dengan resep deployment individual bebas menggunakan lebih sedikit. Lightning: hingga 1.000.000 token secara prinsip, dengan sekitar 256.000 sebagai batas praktis pada satu H100.

• Masukan dan keluaran — Bolt: teks, gambar, dan video masuk, teks keluar. Lightning: teks masuk, teks keluar.

• Lisensi — OpenMDW-1.1 untuk keduanya, telah mendapat izin dari NVIDIA untuk penggunaan komersial dan non-komersial.

• Decoding spekulatif — Bolt: drafter LiLiCorr melalui DFlash, tujuh token spekulatif dalam resep referensi. Lightning: kepala MTP plus drafter DFlash dan DSpark.

• Intelligence Index — Bolt: 21,4, keempat dari 67 di kelas ukurannya, diukur secara independen oleh Artificial Analysis. Lightning: 12,9, diukur secara independen.

• Harga — Bolt: tidak ada tarif per penggunaan di mana pun; Artificial Analysis tidak mencantumkan harga masukan maupun keluaran dan tidak ada endpoint hosted yang dipublikasikan. Lightning: $0.06 per juta token masukan dan $0.20 per juta token keluaran seperti yang dilacak oleh Artificial Analysis, dengan masukan yang di-cache sekitar $0.006.

• Kecepatan output — Bolt: tidak ada pengukuran independen yang dipublikasikan. Lightning: 305 token output per detik dengan 0,57 detik ke token pertama, keduanya diukur secara independen, yang termasuk angka tercepat di papan panel.

Perbandingan langsung dari vendor sendiri, baca dengan cermat.

Kartu model NVIDIA untuk Bolt menerbitkan sebuah tabel yang di dalamnya Lightning menjadi salah satu dari tiga baseline, dan tabel itu layak dibaca sebagai argumen ketimbang papan skor, karena perusahaan memilih tolok ukur yang membuat model barunya menang.

• Terminal-Bench 2.1 — Bolt 50,98 melawan 23,46 milik Lightning. Keduanya dijalankan oleh vendor, keduanya pada build Lightning BF16.

• GPQA Diamond — Bolt 86.43 dibandingkan dengan Lightning 75.57.

• BrowseComp — Bolt 66,75 dibandingkan dengan 36,81 milik Lightning.

• HLE tanpa alat — Bolt 25.30 versus Lightning 10.47.

• PinchBench — Bolt 87,82 berbanding 83,43 milik Lightning, selisih yang jauh lebih sempit daripada yang lain dan konsisten dengan klaim NVIDIA bahwa Bolt adalah model terbuka nomor satu di kelasnya pada tolok ukur tersebut.

• AA-Omniscience non-halusinasi — Bolt 61,27 melawan Lightning 68,81. Lightning menang dalam hal ini, dan itu adalah baris yang tetap dipilih NVIDIA untuk dipublikasikan, yang menjadi nilai plus bagi tabel tersebut.

• Akurasi AA-Omniscience — Bolt 16,90 versus Lightning 16,63. Praktis imbang, dan pasangan angka terlemah di tabel secara absolut.

Setiap angka dalam daftar itu dilaporkan vendor pada kartu model dan tidak direproduksi. Artificial Analysis sejak itu telah mengukur kedua skor indeks tersebut secara independen — 21,4 dan 12,9 — dan arahnya sejalan, dan sejauh itulah yang dapat dikatakan saat ini.

Ketika model yang lebih kecil adalah jawaban yang lebih baik

Kesenjangan indeks itu nyata, dan itu bukan satu-satunya sumbu. Lightning menang pada tiga baris yang penting untuk deployment tertentu.

Ini lebih cepat dengan faktor yang belum pernah diukur siapa pun di sisi Bolt. 305 token keluaran per detik dengan waktu ke token pertama di bawah satu detik adalah kelas responsivitas yang berbeda dari apa pun yang saat ini dapat diasumsikan mampu dicapai oleh checkpoint 2-bit 74B yang belum diukur, dan ini terukur. Throughput Bolt sendiri yang dipublikasikan, 83,99 token per detik pada AIPerf SPEED-Bench-Coding dengan drafter LiLiCorr aktif, berasal dari halaman riset N​VIDIA pada mesin kelas laptop dan tidak sebanding dengan rig panel.

Konteksnya empat kali lipat. Satu juta token versus 256.000, dan perbedaannya terlihat pada skor pengambilan konteks panjang yang independen: Lightning mencatat 49,19 pada AA-LCR dalam tabel N​VIDIA, Bolt 64,06 — Bolt lebih baik dalam memanfaatkan konteks panjang, tetapi Lightning adalah satu-satunya di antara keduanya yang mengiklankan jendela satu juta token, jadi jika beban kerjanya adalah "baca seluruh repositori", batas maksimumnya mungkin lebih penting daripada kualitas pengambilan di dalamnya.

Ini satu-satunya dari keduanya yang memiliki harga. Lightning tersedia dengan tarif $0.06 untuk input dan $0.20 untuk output per juta token, yang menjadikannya infrastruktur yang dapat dipanggil, bukan proyek perangkat keras. Tidak ada yang menerbitkan tarif hosted untuk Bolt, jadi satu-satunya cara untuk menjalankannya adalah dengan memiliki mesinnya.

Yang tidak dapat dilakukan Lightning adalah melihat. Lightning hanya teks, sedangkan Bolt menerima gambar dan video melalui encoder C-RADIO v4-H, dengan skor 50,86 pada WebArena vision tempat Lightning tidak memiliki entri. Jika agen membaca tangkapan layar, membuka PDF, atau menjalankan browser, baris itu sendirilah yang menentukan pilihan — dan baris itulah yang berasal dari keturunan Super VL milik Bolt, bukan dari jumlah parameternya.

Berapa biaya untuk benar-benar menjalankan Bolt

Resep serving referensi NVIDIA untuk checkpoint 24GB bukan satu perintah yang Anda tempelkan. Resep ini menyematkan image nightly vLLM tertentu, memasang paket kernel b12x dan mengunduh kernel-kernelnya, mengambil file plugin reasoning-parser secara terpisah, lalu menetapkan runner model v2, backend linear dan MoE ke b12x, backend attention dan Mamba ke FlashInfer, dtype cache Mamba eksplisit, flag chunked-prefill, dan konfigurasi speculative-decoding yang menunjuk ke drafter LiLiCorr dengan tujuh token draft. Parser tool-call dan reasoning disebutkan secara eksplisit, dan batas media membatasi permintaan pada satu gambar dan satu video dengan laju pemangkasan video 0,5.

Kisah penerapan Lightning adalah sebuah kontainer Docker, endpoint yang kompatibel dengan OpenAI, dan nama model yang juga bisa Anda dapatkan dari penyedia terkelola dengan harga enam sen per juta token. Dalam praktiknya, perbedaan itulah yang menjadi keseluruhan perbandingannya: Bolt adalah pekerjaan akhir pekan dan mesin yang Anda miliki sendiri, sedangkan Lightning adalah satu sore dan sebuah tagihan.

Bagaimana memilih, dan apa yang akan memutuskannya

Ambil Lightning jika beban kerja Anda berupa teks, anggaran latensi Anda ketat, dan kebutuhan konteks Anda besar atau Anda lebih memilih membayar per token daripada membeli perangkat keras. Profil independennya — kecepatan output terukur tercepat di kelasnya, token pertama di bawah satu detik, harga yang dipublikasikan — menjadikannya opsi paling rendah risiko dalam keluarga ini, dan skor kecerdasan yang lebih rendah dihargai sesuai dengan itu. Ini juga default yang tepat jika Anda berencana memasangkan eksekutor lokal kecil dengan perencana hosted yang lebih besar, yang persis seperti cara NVIDIA memposisikannya.

Gunakan Bolt jika agen Anda menyentuh piksel atau berjalan tanpa jaringan. Baris visi eksklusif untuknya, penalaran skala 74B unggul delapan poin indeks, dan selubung 24GB adalah satu-satunya di keluarga ini yang mampu memuat checkpoint hasil distilasi guru 74B ke satu akselerator kelas konsumen. Terimalah bahwa Anda menjalankan perencana yang dihosting GPU secara lokal dan membayarnya dengan latensi yang belum dapat Anda prediksi.

Untuk bagian hosted dari salah satu arsitektur, OrcaRouter menempatkan model yang kami rutekan di balik satu kunci pada harga daftar penyedia dengan penambahan markup 0 persen, dan failover otomatis antar penyedia berarti masalah kapasitas di hulu akan dicoba ulang alih-alih dimunculkan. Kami tidak menghosting model Nemotron apa pun — katalognya diperiksa, bukan diasumsikan, dan keluarga tersebut tidak ada di dalamnya — jadi sisi lokal dari perbandingan ini tidak terpengaruh oleh apa pun yang kami lakukan. Yang diperoleh dari penyiapan yang dirutekan adalah rencana B bagi perencana selagi Anda mengevaluasi, yang penting di sini karena tidak satu pun dari dua checkpoint ini memiliki profil latensi independen yang dipublikasikan yang dapat Anda jadikan acuan untuk merancang jalur produksi.

Yang akan menentukan pilihan adalah satu angka yang belum ada: uji throughput dan latensi independen pada checkpoint 24GB dengan ukuran batch satu. Sampai seseorang menerbitkannya, argumen untuk Bolt sepenuhnya bergantung pada dua hal yang tidak dapat ditandingi Lightning — skala parameter dan penglihatan — dan argumen untuk Lightning bergantung pada empat angka yang diukur secara independen.

Yang tidak dapat diberitahukan oleh angka-angka kepada Anda adalah apakah ada di antaranya yang bermasalah di lapangan: insiden AI dan kegagalan agen yang terdokumentasi seputar model di kelas ini dikumpulkan di OrcaRouter AI Incident Archive, tempat setiap entri memuat sumbernya sendiri, tingkat keparahan, tingkat keyakinan, dan penanda sengketa.