Nemotron 3.5 Bolt vs Nemotron 3.5 Lightning: Apa yang Dikatakan Tabel NVIDIA Sendiri Saat Anda Membaca Kedua Kolom

NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB dan NVIDIA Nemotron 3.5 Lightning 30B-A3B adalah dua tingkatan dari keluarga yang sama, dirilis dengan jarak sepuluh minggu, dan vendor telah menerbitkan tabel yang mempertemukan keduanya secara head to head. Itu tidak biasa dan berguna: sebagian besar tabel head to head yang Anda baca disusun oleh jurnalis atau vendor yang memilih perbandingan yang menguntungkan, dan yang ini adalah lab yang melakukan benchmark pada model barunya sendiri terhadap model lamanya sendiri, di depan publik, dengan yang lama disebut sebagai baseline. Ini masih dilaporkan oleh vendor dan tidak ada orang di luar NVIDIA yang mereproduksi satu baris pun darinya — tetapi maksud di baliknya tidak diragukan, dan begitu pula arah hasilnya. Bolt memenangkan dua belas dari tiga belas baris. Ada baiknya memahami dengan tepat baris mana yang kalah dan mengapa baris itu yang menarik.

Struktur keluarga menjadi penting sebelum angka-angkanya. Nemotron 3.5 Lightning dirilis pada 11 Agustus 2026 sebagai lapisan eksekusi dari stack agen — hibrida dengan total 30B dan 3B aktif yang disuling NVIDIA dari Nemotron 3 Ultra yang jauh lebih besar secara khusus agar model frontier dapat melakukan perencanaan sementara Lightning memproses panggilan alat di satu GPU. Bolt berasal dari garis keturunan yang sama sekali berbeda: ia dikompresi dari model 120B-A12B Nemotron 3.5 Super VL, bukan dari Ultra, dan hadir untuk menjadi generalis visi-bahasa yang muat dalam 24GB. Keduanya open-weight di bawah OpenMDW-1.1, keduanya merupakan campuran pakar sparse pada tulang punggung hibrida Mamba-2, dan keduanya menyertakan decoding spekulatif — Lightning dengan kepala Multi-Token Prediction plus drafter DFlash dan DSpark, Bolt dengan drafter LiLiCorr yang digerakkan melalui DFlash yang mengusulkan tujuh token ke depan.

Silsilah bersama tidak lagi berguna pada titik ketika Anda harus memutuskan, karena kedua model menjawab pertanyaan yang berbeda. Yang satu adalah eksekutor murah. Yang lain adalah generalis lokal.

Membaca tabel berdasarkan peran, bukan berdasarkan skor

Setiap angka di bawah ini berasal dari kartu model NVIDIA sendiri untuk checkpoint Bolt 24GB, yang mencantumkan Lightning sebagai baseline. Kolom Bolt adalah IQ2, artefak terkuantisasi 2-bit. Kolom Lightning adalah BF16, tanpa kuantisasi. Asimetri itu adalah hal paling penting yang perlu diketahui tentang tabel tersebut, dan justru menguntungkan Bolt — ia memenangkan baris-baris itu sementara dikompresi sekitar delapan kali lipat relatif terhadap induknya.

• Penalaran agentik umum — GDPVal-AA-V2: Bolt 28.47, Lightning 18.26. Selisih sepuluh poin, dan baris yang paling dekat dengan "seberapa baik ini dalam pekerjaan sehari-hari bergaya kantor yang menjadi tujuan model ini dibuat."

• Pekerjaan terminal — Terminal-Bench 2.1: Bolt 50,98, Lightning 23,46. Ini adalah selisih terlebar di papan peringkat dan bukanlah kejutan, karena panduan NVIDIA sendiri untuk Lightning adalah bahwa ia tidak boleh menjadi agen utama. Evaluasi independen mencatat sekitar 24,6 untuk Lightning pada tolok ukur yang sama, yang cukup dekat dengan 23,46 dari vendor untuk menunjukkan bahwa angka itu nyata.

• Penalaran ilmiah dan pengetahuan — GPQA Diamond: Bolt 86,43, Lightning 75,57. SciCode: Bolt 41,02, Lightning 31,38. Humanity's Last Exam tanpa alat: Bolt 25,30, Lightning 10,47. Konsistensi di tiga bentuk pertanyaan sulit yang berbeda.

• Penalaran konteks panjang — AA-LCR: Bolt 64,06, Lightning 49,19. Selisih lima belas poin, dan di sini kendala memori bukan faktor pembatas bagi kedua model tersebut.

• Agensi web dan penjelajahan — BrowseComp: Bolt 66,75, Lightning 36,81. Tiga puluh poin. Celah tunggal terbesar dalam tabel, dan yang paling langsung bertentangan dengan gagasan Lightning sebagai eksekutor otonom.

• Kepadatan penggunaan alat — MCP-Atlas: Bolt 52,20, Lightning 46,4. PinchBench: Bolt 87,82, Lightning 83,43. Keduanya lebih berdekatan daripada selisih di atas, yang konsisten dengan brief desain aktual Lightning: langkah-langkah alat yang singkat dan berfrekuensi tinggi.

• Visi — visi WebArena: Bolt 50,86, Lightning tidak memiliki entri. Ini bukan celah pelaporan. Lightning adalah teks masuk, teks keluar; tidak ada encoder visi untuk dinilai.

Satu-satunya baris yang dimenangkan Lightning, dan mengapa itu bukan noise

Non-halusinasi AA-Omniscience: Nemotron 3.5 Lightning 68,81, Nemotron 3.5 Bolt 61,27. Pada separuh akurasi dari evaluasi yang sama, keduanya hanya terpaut kurang dari sepertiga poin — 16,90 untuk Bolt versus 16,63 untuk Lightning — sehingga selisih pada separuh non-halusinasi menjadi inti persoalan, bukan artefak pembulatan. Model yang lebih kecil, lebih tua, dan tanpa kuantisasi tersebut secara terukur lebih menahan diri dalam mengatakan hal-hal yang tidak diketahuinya.

Itu adalah temuan nyata dan memiliki mekanisme yang masuk akal. Bolt mencapai ukuran kompaknya melalui kuantisasi 2-bit yang agresif dengan distilasi sadar kuantisasi; bagian lossy dari pipeline itu justru bagian yang mengatur ketidakpastian terkalibrasi. Lightning lebih kecil tetapi berada pada presisi BF16 penuh, dan target distilasinya adalah model penalaran, bukan rasio kompresi. Jika mode kegagalan agen Anda adalah jawaban salah yang percaya diri dan menyebar ke suatu tindakan, inilah baris yang bobotnya harus paling besar — dan sebesar apa pun kecerdikan routing tidak akan memperbaiki model yang lebih banyak mengarang.

Vendor jarang menerbitkan tabel yang memuat baris di mana model baru mereka justru kalah. Bahwa yang ini memuatnya menjadi sedikit bukti bahwa tabel tersebut tidak semata-mata bertujuan promosi.

Biaya penyajian adalah sumbu kedua yang sebenarnya

Skor di atas bukanlah keseluruhan keputusan, karena biaya menjalankan kedua model ini tidak sama.

• Parameter aktif — Bolt mengaktifkan 9B per token; Lightning mengaktifkan sekitar 3B. Tiga kali lipat komputasi per token untuk model yang lebih besar, pada setiap token, selamanya.

• Rentang memori — Bolt adalah file 24GB dengan semuanya sudah dikompresi; Lightning adalah checkpoint BF16 30B yang menginginkan satu GPU dan muat dengan nyaman di RTX 5090, DGX Spark, atau perangkat Jetson.

• Konteks — keduanya dispesifikasikan hingga 1 juta token, dan keduanya secara praktis lebih sempit. Lightning melayani 256K pada satu H100 sebelum perhitungan memori menjadi rumit; jendela yang dipublikasikan Bolt adalah 262.144, dan jendela tersebut berbagi 24GB yang sama dengan cache KV, gambar, dan hasil alat.

• Klaim kecepatan — NVIDIA mengklaim kecepatan output hingga 4x dibandingkan model berukuran serupa untuk Lightning melalui drafter MTP dan DFlash/DSpark-nya, dan setidaknya 80 token per detik untuk decoding sebagai target desain bagi Bolt, dengan 84 terukur pada AIPerf SPEED-Bench di RTX Spark dan 83,99 dalam eksekusi llama.cpp pada Surface Laptop Ultra dengan 128GB. Keduanya adalah angka vendor. Tidak satu pun telah direproduksi oleh pihak mana pun di luar NVIDIA.

• Pengukuran — tidak satu pun memiliki harga hosted dari kami atau dari platform mana pun yang dapat kami tunjukkan kepada Anda. Biayanya adalah perangkat keras Anda dalam kedua kasus, dan itulah tepatnya sebabnya jumlah parameter aktif lebih penting daripada dalam perbandingan hosted.

Apa yang dapat dan tidak dapat diukur oleh panel

Artificial Analysis memiliki entri untuk Nemotron 3.5 Bolt 74B-A9B dan memberinya skor 21 pada Intelligence Index, keempat dari 67 di kelas footprint-nya terhadap median kelas sebesar 8. Kolom kecepatan dan biaya per tugasnya bertuliskan N/A, karena tidak ada endpoint yang dihosting untuk dipanggil. Dua bagian kosong itu adalah keadaan jujur dari model ini: batas bawah kecerdasannya diverifikasi secara independen dan batas atas performanya tidak.

Tidak ada entri Artificial Analysis untuk Nemotron 3.5 Lightning pada saat penulisan ini, sehingga seluruh perbandingan hanya bertumpu pada kartu milik NVIDIA sendiri. Titik data independen yang memang ada — verifikasi LLM Stats sekitar 24,6 pada Terminal-Bench 2.1, konsisten dengan angka 23,46 dari vendor — mendukung angka-angka vendor tersebut, bukan membantahnya. Hal itu melegakan mengenai tabel tersebut, tetapi bukan pengganti untuk harness kedua.

Cara benar-benar memilih

Maksud desain menentukan sebagian besar kasus sebelum benchmark melakukannya. Lightning adalah eksekutor secara rancangan: panduan NVIDIA sendiri adalah membiarkan model terdepan merencanakan dan Lightning menjalankan siklusnya, dan baris terbaiknya dalam tabel adalah yang berisi panggilan alat frekuensi tinggi, bukan yang berupa agen otonom. Bolt adalah generalis secara rancangan: tabel yang sama menunjukkan ia jauh lebih unggul dalam agensi penjelajahan dan pekerjaan terminal, yang merupakan tugas-tugas yang cenderung bersifat perencana dan memang tidak pernah dimaksudkan untuk ditangani Lightning — dan ia adalah satu-satunya dari keduanya yang bisa melihat.

Komposisi yang menjadi tujuan pembuatan kedua model adalah perencana, eksekutor, dan spesialis lokal. Karena tidak ada checkpoint yang memiliki harga hosted, pembagiannya jatuh ke perangkat keras Anda sendiri dan satu endpoint di depannya melakukan pekerjaan yang berguna: aturan perutean yang mengirimkan loop pemanggilan alat pendek ke deployment Lightning, permintaan yang membawa visi dan menggerakkan browser ke Bolt, serta apa pun yang membutuhkan penalaran frontier sejati ke model hosted — semuanya di balik satu kunci, dengan failover lintas penyedia upstream saat jalur hosted menurun kinerjanya. Aturan tersebut berada dalam konfigurasi, bukan di setiap layanan, yang merupakan perbedaan antara lapisan perutean dan penulisan ulang.

Pertanyaan terbuka adalah satu run independen. Jika pihak ketiga mereproduksi kesenjangan Terminal-Bench dan BrowseComp pada Bolt, checkpoint 24GB benar-benar merupakan generalis yang lebih kuat dan argumen untuk tier 30B menyempit menjadi ekonomi throughput murni. Jika tidak, pembacaan yang jujur adalah bahwa 74B terkuantisasi 2-bit dan 30B BF16 lebih berdekatan daripada yang tersirat dalam tabel satu vendor — dan bahwa baris non-halusinasi, baris yang dimenangkan Lightning, pantas mendapat bobot lebih besar daripada yang disiratkan oleh posisinya di bagian bawah kartu.