Nemotron 3.5 Bolt 24GB vs Nemotron 3.5 Lightning 30B-A3B: Satu Keluarga, Deployment yang Bertolak Belakang

Two models from one family, released four months apart, built to opposite ends of the same question. N​VIDIA Nemotron 3.5 Lightning 30B-A3B shipped in August 2026 as a high-throughput text model for data-centre serving. N​VIDIA Nemotron 3.5 Bolt 74B-A9B 24GB shipped on 15 October 2026 as a multimodal agent that fits on a laptop. Bolt has double the total parameters and three times the active parameters of Lightning, and it runs on hardware Lightning cannot start on. This is what actually separates them, and where the family resemblance is misleading.

Keduanya dihasilkan dari resep pelatihan yang sama

N​VIDIA's technical report for the pair is explicit that both models begin with the same two stages: a 100-billion-token warm-up for multi-token-prediction heads, then a trillion tokens of distillation from the next-larger Nemotron 3 model. Lightning distils from Nemotron 3 Super Base; Bolt distils from the Nemotron 3.5 Super VL line, which is why Bolt can see and Lightning cannot.

Setelah itu jalur-jalurnya berpisah, dan perpisahan itulah keseluruhan ceritanya.

Lightning menjalani fase konteks panjang 21 miliar token yang memperpanjangnya menjadi satu juta token, lalu pipeline pasca-pelatihan SFT-dan-RLVR, dan dirilis sebagai model teks 30B total / 3B aktif dengan opsi spekulatif DSpark, DFlash, dan MTP serta target deployment GPU tunggal satu H100 atau satu DGX Spark dengan bobot NVFP4.

Bolt dikompresi dari induk berparameter 120 miliar melalui pencarian arsitektur Star Elastic, dipasang kembali ke menara visinya, dilatih ulang melalui tahap terawasi yang didominasi visi, lalu menjalani pembelajaran penguatan end-to-end di lingkungan agentik, dan akhirnya dikuantisasi menjadi 2,0625 bit per bobot pakar dengan distilasi sadar kuantisasi. Bolt hadir dengan satu drafter, LiLiCorr, dan satu bentuk penerapan: sesuatu dengan memori 24GB dan kemampuan untuk menjalankannya bersama aplikasi lain.

Kontras spesifikasi, berdampingan

• Parameter — Bolt: total 74B, 9B aktif. Lightning: total 30B, 3B aktif.

• Presisi sebagaimana dikirim — Bolt: expert IQ2_XXS pada 2,0625 bit per elemen, lapisan Mamba NVFP4, embedding dan attention Q8_0. Lightning: NVFP4 secara menyeluruh untuk checkpoint penerapan, dengan rilis referensi BF16 untuk kustomisasi.

• Konteks — Bolt: 262.144 token. Lightning: satu juta token, hasil dari fase pelatihan konteks panjang yang dikhususkan.

• Modalitas — Bolt: teks, gambar, dan video masuk. Lightning: hanya teks. Entri Artificial Analysis untuk masing-masing model menyatakan hal itu pada panel yang sama dengan kata-kata yang sama, yang menjadikannya salah satu dari sedikit baris di mana keduanya dapat dibandingkan secara langsung tanpa catatan tambahan.

• Perangkat keras host — Bolt: laptop RTX Spark, PC GeForce RTX, DGX Spark, DGX Station, workstation RTX PRO. Lightning: DGX Spark atau H100, atau Blackwell dan Ampere melalui W4A16.

• Decoding spekulatif — Bolt: LiLiCorr, drafter 1,13B, tujuh token draf per langkah. Lightning: DSpark untuk pekerjaan dengan konkurensi rendah, dengan DFlash dan MTP yang juga telah dipublikasikan.

• Lisensi — OpenMDW-1.1 untuk keduanya, dan keduanya diizinkan untuk penggunaan komersial.

Satu-satunya tempat di mana keduanya diukur oleh orang lain

These two models have something most of the N​emotron family lacks: entries on the same independent panel, measured the same way. That makes the comparison unusually clean for a family-internal matchup.

Artificial Analysis memberi skor Nemotron 3.5 Lightning sebesar 13 pada Intelligence Index-nya, berada di peringkat ke-28 dari 141 model, dan Nemotron 3.5 Bolt 74B-A9B sebesar 21, berada di peringkat keempat dari 67 model di kelasnya sendiri. Kelas-kelas tersebut tidak identik — Bolt adalah model open-weights ukuran menengah, Lightning adalah model kecil — sehingga peringkatnya tidak dapat dibandingkan secara langsung, tetapi skor indeksnya dihasilkan oleh metodologi yang sama pada evaluasi yang sama.

Speed is where the gap inverts, and this is the single most decision-relevant fact about the pair. The panel measures Lightning at 307 output tokens per second, first of 63 models on that dimension. It reports Bolt's speed as unavailable, because there is no public API serving it and the panel's speed measurement requires one. The only throughput figure that exists for Bolt is N​VIDIA's own: 83.99 tokens per second on AIPerf SPEED-Bench-Coding, on a Surface Laptop Ultra with 128GB of memory, with the drafter attached.

Jika dibaca bersama, kisah keluarga ini menjadi konkret. Lightning kira-kira tiga setengah kali lebih cepat daripada Bolt berdasarkan angka yang kita miliki, dalam bentuk yang dapat Anda sewa per token; Bolt secara signifikan lebih pintar pada indeks yang sama dan berjalan di mesin yang tidak bisa disewa siapa pun sama sekali.

Tiga cara pilihan itu terselesaikan

Jika beban kerjanya bervolume tinggi dan hanya berupa teks, Lightning bukanlah sebuah kompromi, melainkan alat yang lebih baik. Konteks sejuta token pada 307 token per detik dengan tarif yang dipublikasikan sebesar enam sen per juta token masukan dan dua puluh sen per juta token keluaran adalah hal yang spesifik dan berguna, dan Bolt tidak dapat menandingi kecepatan maupun konteks tersebut pada perangkat keras jenis apa pun.

If the workload is visual, there is no decision to make. Bolt accepts images and video and Lightning does not, and no amount of context or throughput substitutes for a modality that is absent. The WebArena vision row in N​VIDIA's own table — 50.86 for Bolt, with Lightning not listed at all — is what that looks like when it moves from a spec sheet into a benchmark.

Jika beban kerja harus dijalankan tanpa jaringan, Bolt adalah satu-satunya dari keduanya yang telah dipaketkan untuk itu. Target penerapan Lightning adalah satu H100 atau DGX Spark dengan checkpoint NVFP4, yang merupakan server; milik Bolt adalah file 24GB di laptop yang juga menjalankan browser. Perbedaannya bukan soal kemampuan, melainkan tentang di mana mesin itu berada.

Apa yang keluarga dapatkan dari mengirimkan keduanya

The interesting thing about this pair is not that one beats the other. It is that N​VIDIA built the cheap one first, then spent four months building the expensive one to fit somewhere the cheap one could not go.

Lightning adalah strategi throughput: sedikit parameter aktif, konteks sangat besar, dirancang untuk dilayani berkali-kali di satu GPU. Bolt adalah strategi kepadatan: jumlah parameter yang sangat besar dikompresi ke dalam anggaran memori tetap sehingga satu pengguna di satu mesin mendapatkan sesuatu yang lebih mendekati perilaku agen terdepan secara lokal. Keduanya mengoptimalkan rasio yang berbeda — token per detik per GPU versus kecerdasan per gigabyte per perangkat — dan fakta bahwa Bolt mencetak 21 melawan 13 milik Lightning bukanlah kekalahan bagi Lightning, karena Lightning tidak akan muat pada mesin yang Bolt dirancang untuknya dalam bentuk Bolt yang ada.

There is also a data point for the compression argument itself. Bolt's vendor table includes Lightning as one of its baselines, and Bolt beats it on nearly every agentic row: 50.98 against 23.46 on Terminal-Bench 2.1, 66.75 against 36.81 on BrowseComp, 17.01 against 9.48 on Tau3 Banking, 28.47 against 18.26 on GDPVal-AA-V2. Those are N​VIDIA's own numbers comparing two of its own models in the same table, and the honest reading is that compressing a 120B parent beats training a 30B model from scratch at the same target size. That is precisely the claim Star Elastic was invented to support.

Apa implikasinya bagi siapa pun yang membangun agen

The pairing suggests a shape rather than a winner. Lightning handles the high-volume, long-context, text-only middle of an agent's work where throughput and context are the binding constraints. Bolt handles the local, visual, latency-tolerant work that cannot leave the machine. Neither is a replacement for the other, and N​VIDIA's own framing of the family — Ultra for the hardest reasoning, Lightning for throughput, Bolt for the edge — is an admission that the boundary is real.

What neither model solves is the part of the stack that is not local and not N​VIDIA's. We do not host either checkpoint; the OrcaRouter catalogue has no N​emotron entry, so there is no endpoint or rate to quote for these two. What a gateway contributes to a mixed stack is the other side: one key across 200-plus hosted models, provider list price passed through with no markup added, automatic failover when a provider degrades, and a routing DSL for describing escalation across models as configuration. The choice between Bolt and Lightning is made on your hardware and in your harness. What happens when the task exceeds both, or when a request has to reach a model neither of them can be, is the part that lives behind an endpoint.

Yang mana yang harus dicoba dulu

Jika Anda memiliki GPU dengan 24GB dan koneksi jaringan yang kadang ada, kadang hilang, Bolt adalah unduhan yang lebih menarik: ia lebih baru, ia multimodal, dan ia melakukan sesuatu yang tidak bisa dilakukan rilis lain di keluarga ini.

If you have a DGX Spark, an H100, or an application where latency is the product, Lightning has been generally available since August, has an independent speed measurement that puts it first in its class, has a published price, and has had two months for the ecosystem to find its sharp edges. Bolt has had one day, its drafter is a mandatory third download, and nobody outside N​VIDIA has measured its latency.

Kedua pernyataan itu bisa benar sekaligus. Itulah gunanya keluarga.

Kesenjangan antara apa yang diukur oleh papan skor dan apa yang dihadapi oleh suatu deployment adalah alasan catatan ini penting: kegagalan AI dan insiden agen yang terdokumentasi seputar model di kelas ini dikumpulkan dalam OrcaRouter AI Incident Archive, di mana setiap entri mencantumkan sumbernya sendiri, tingkat keparahan, tingkat keyakinan, dan penanda disengketakan.