Nemotron 3.5 Bolt Telah Rilis: Apa Sebenarnya yang Terkandung dalam Checkpoint 2-Bit 24GB Milik NVIDIA

Repositori untuk N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB muncul di Hugging Face pada 7 Oktober 2026 dan tergeletak di sana, diam-diam, selama delapan hari. Pada 15 Oktober N​VIDIA mengumumkannya — sebuah pos blog, rilis ruang berita, dan halaman riset yang bertanggal demikian — yang berarti bagian menarik dari kisah ini bukanlah peluncurannya. Melainkan jedanya. Selama delapan hari, satu-satunya hal yang bisa diketahui siapa pun tentang N​emotron 3.5 Bolt adalah apa yang dikatakan oleh kartu model dan sekumpulan safetensors, dan segala hal lainnya hanyalah inferensi. Jeda itu kini telah tertutup, dan ada baiknya bersikap tepat tentang apa yang sebenarnya diselesaikan oleh penutupan itu, karena banyak dari apa yang orang ulangi tentang model ini berasal dari repositori alih-alih dari pengumuman, dan keduanya bukanlah dokumen yang sama.

Yang pasti sekarang, dalam satu paragraf, adalah ini. N​emotron 3.5 Bolt 74B-A9B 24GB adalah model vision-language mixture-of-experts dengan 74 miliar parameter dengan 9 miliar parameter aktif per token, dirilis pada 15 Oktober 2026 di bawah lisensi OpenMDW-1.1, menyimpan bobot expert-nya pada 2,0625 bit per elemen sehingga seluruhnya muat dalam 24GB. Model ini dirancang untuk menjalankan pekerjaan agentik lokal — pemanggilan tool, penjelajahan, penggunaan terminal — pada perangkat keras RTX dan DGX Spark. Model ini ada di Ollama sebagai tag 25GB dengan jendela konteks 256K. Model ini tidak ada di API terhosting mana pun, dan tidak memiliki harga. Satu bagian dari kalimat itu diukur secara independen dan sisanya adalah klaim vendor sendiri.

Dua tanggal, dan mana yang harus dikutip

Ada perbedaan nyata antara kedua tanggal tersebut dan itu menentukan bagaimana Anda harus membaca sisa artikel ini.

Repositori Hugging Face dibuat pada 7 Oktober 2026 pukul 17:50 UTC. Kartu model di dalamnya memuat bidang Tanggal Rilis yang berbunyi Hugging Face 10/15/2026. Halaman riset N​VIDIA sendiri untuk checkpoint tersebut bertanda Diterbitkan: 15 Oktober 2026. Posting blog vendor yang mengumumkan tier Bolt bertanggal 15 Oktober 2026 dan mengatakan, secara eksplisit, bahwa Super VL dan Bolt 74B-A9B "sudah tersedia sekarang".

Jadi pembacaan yang jujur adalah 15 Oktober adalah tanggal rilisnya dan 7 Oktober adalah saat folder itu muncul. Siapa pun yang menyebut 7 Oktober sebagai peluncuran sedang mengutip stempel waktu berkas; siapa pun yang menyebut 15 Oktober sedang mengutip vendor. Namun, selisih delapan hari itu penting karena alasan yang berbeda dari soal tanggal. Artinya, selama lebih dari sepekan model itu berada dalam keadaan di mana repositori menjadi satu-satunya wajah publiknya — tidak ada pengumuman, tidak ada halaman harga, tidak ada entri papan peringkat, tidak ada orang dari NVIDIA yang mengatakan untuk apa model itu. Setiap deskripsi awal tentang Bolt yang ditulis dalam rentang waktu itu, termasuk yang sekarang beredar, dibangun dari kartu tersebut. Kartu itu ternyata akurat. Itu layak dikatakan secara gamblang, karena hasil yang lazim dari situasi semacam ini adalah kartu itu tidak akurat.

Apa yang dibuktikan oleh repositori saja

Semua yang ada di bagian ini sudah dapat dibaca dari kartu model dan file konfigurasi sebelum N​VIDIA mengatakan sepatah kata pun, dan semuanya masih benar.

• Parameter — total 74 miliar, 9 miliar aktif per token. Campuran ahli (mixture-of-experts) yang jarang, bukan model padat.

• Arsitektur — hibrida Mamba-2 dan Transformer dengan tulang punggung LatentMoE dan encoder visi C-RADIO v4-H. Konfigurasi mendaftarkan kelas tersebut sebagai NemotronH_Omni_Reasoning_V3.

• Presisi tersimpan — IQ2_XXS pada 2,0625 bit per elemen pada lapisan FC1 dan FC2 expert routed dan shared, tempat sebagian besar bobot berada. Lapisan linear Mamba berada pada NVFP4, sedangkan bobot embedding, output head, attention, dan LatentMoE berada pada Q8_0.

• Konteks — hingga 256K token, atau 262.144 dalam resep deployment.

• Masukan dan keluaran — teks, gambar, dan video masuk; teks keluar.

• Lisensi — OpenMDW-1.1, dan kartu tersebut menyatakannya secara gamblang: "siap untuk penggunaan komersial atau nonkomersial."

• Basis dan asal-usul — kartu ini menyatakan model dasarnya sebagai checkpoint BF16 dengan nama yang sama dan hubungannya dengan model tersebut sebagai terkuantisasi, dan tag dataset mengarah ke koleksi pra-pelatihan dan pasca-pelatihan Nemotron milik NVIDIA.

• Tanggal model — Desember 2025 hingga Mei 2026, dengan batas akhir data pasca-pelatihan pada Mei 2026. Baca itu dengan cermat jika kebaruan penting bagi Anda: model ini adalah rilis 2026 yang dibangun di atas data yang berhenti empat setengah bulan sebelum diluncurkan.

• Runtime — vLLM pada N​VIDIA Ampere, Hopper dan Blackwell, serta llama.cpp untuk RTX Spark dan DGX Spark. Daftar Ollama lebih blak-blakan tentang batasannya: deployment CUDA didokumentasikan, dan Apple Silicon serta Metal saat ini tidak didukung.

Apa yang ditambahkan oleh pengumuman itu

Materi vendor menambahkan tiga hal yang tidak dapat diberitahukan oleh repositori kepada Anda.

Pertama, pembingkaian keluarga. Bolt diposisikan sebagai tingkat edge dari keluarga Nemotron, di bawah Nemotron 3.5 Super VL pada 120B untuk agen server yang selalu aktif dan di atas tidak ada yang khusus — kalimat NVIDIA sendiri mengurutkannya: Super VL dan Bolt "mencakup seluruh rentang penerapan agen, dari server perusahaan besar hingga perangkat edge dan perangkat keras lokal." Nemotron 3.5 Bolt E4B 4GB, model 4 miliar parameter untuk agen percakapan dan fisik, hadir pada 23 Oktober.

Kedua, kisah kompresi, yang merupakan klaim rekayasa yang benar-benar baru di sini. Bolt bukanlah model yang dilatih dalam ukuran kecil lalu dikuantisasi. Ini adalah N​emotron 3.5 Super VL — total 120B, aktif 12B — yang dijalankan melalui Star Elastic, pencarian arsitektur berpemandu router milik N​VIDIA, di bawah kendala ketat agar muat di bawah 24GB memori pada ukuran batch satu dan konteks 128K. Top-K pakar turun dari 22 pada model induk menjadi 9 pada Bolt, lebar intermediate MoE dicari per lapisan, lalu jaringan terkompresi dikuantisasi dan menjalani distilasi sadar kuantisasi untuk merebut kembali akurasi. Kesimpulan yang dinyatakan N​VIDIA adalah bagian yang menarik dan itu adalah posisi yang nyata, bukan bualan: untuk anggaran memori tetap, memampatkan model besar menjadi lebih kecil lebih unggul daripada melatih model kecil dari awal. Itu klaim yang bisa Anda uji, dan belum ada orang di luar N​VIDIA yang mengujinya.

Ketiga, dua posisi di papan peringkat yang dinyatakan oleh vendor: model terbuka #1 di kelasnya pada PinchBench, dan model terbuka #2 pada BrowseComp. Keduanya adalah karakterisasi N​VIDIA terhadap modelnya sendiri dibandingkan dengan kelas yang didefinisikannya.

Yang tidak ditambahkan oleh pengumuman tersebut adalah endpoint yang dilayani. Tidak ada API yang dihosting, tidak ada harga per token, dan tidak ada cara untuk memanggil N​emotron 3.5 Bolt tanpa memperoleh perangkat keras yang menjalankannya. Artificial Analysis, yang telah memberi skor pada model tersebut, mencantumkan kolom kecepatan dan biayanya sebagai tidak tersedia tepat karena alasan itu: tidak ada API yang tersedia untuk publik untuk mengukurnya.

Bagian yang belum pernah dijalankan oleh siapa pun di luar N​VIDIA

Di sinilah artikelnya harus melambat, karena jarak antara apa yang telah diukur dan apa yang telah dinyatakan sangatlah lebar untuk model sebesar ini.

Di sisi terukur ada satu angka, dan angka itu bagus: Artificial Analysis menempatkan Nemotron 3.5 Bolt 74B-A9B di posisi 21 pada Intelligence Index-nya, yang menempatkannya di peringkat keempat dari 67 model di kelas pembandingnya. Itu adalah pengukuran independen dari checkpoint 2-bit yang sebenarnya, bukan dari build referensi BF16, dan itu adalah angka tunggal paling berguna yang tersedia untuk model ini saat ini.

Di sisi yang diklaim, ada segala hal lainnya. Kartu model memuat tabel tiga belas benchmark dengan empat kolom — Qwen3.6-35B-A3B dalam BF16, Gemma 4 26B-A4B dalam BF16, Nemotron 3.5 Lightning 30B-A3B dalam BF16, dan Bolt dalam IQ2 — dan setiap barisnya dihasilkan oleh NVIDIA, termasuk tiga kolom baseline, yang dipilih NVIDIA karena muat dalam 24GB dengan kuantisasi 4-bit. Bolt adalah pemenang yang dicetak tebal pada sepuluh baris dan bukan pemenang pada tiga baris: akurasi AA-Omniscience, di mana Gemma 4 26B-A4B mencetak 22.17 berbanding 16.90 milik Bolt; non-halusinasi AA-Omniscience, di mana Nemotron 3.5 Lightning 30B-A3B mencetak 68.81 berbanding 61.27 milik Bolt; dan PinchBench, di mana Qwen3.6-35B-A3B mencetak 88.07 berbanding 87.82 milik Bolt. Menerbitkan tiga baris tempat Anda kalah adalah poin yang menguntungkan vendor dan tidak mengubah apa tabel itu: belum direproduksi.

Angka kecepatannya layak mendapat paragraf tersendiri karena bertentangan dengan pemasaran. Tabel pengukuran NVIDIA sendiri, yang diambil dengan llama.cpp di Windows 11 ARM64 pada Surface Laptop Ultra dengan 128GB, menunjukkan Bolt pada 83,99 token per detik di AIPerf SPEED-Bench-Coding — di belakang Qwen3.6-35B-A3B pada 96,63 dan Gemma 4 26B-A4B pada 100,56. Di halaman yang sama, durasi pemutaran ulang end-to-end di seluruh trajektori agen yang realistis adalah 600,80 detik untuk Bolt berbanding 453,97 untuk Qwen3.6 dan 480,68 untuk Gemma. Pesan jualannya adalah kecerdasan per gigabyte, bukan kecepatan, dan tabel milik vendor sendiri konsisten dengan pesan jualan itu, bukan dengan klaim sebagai yang tercepat.

Jadi bentuk buktinya adalah: satu skor komposit independen yang cukup terhormat, satu tabel benchmark vendor yang belum pernah direproduksi oleh siapa pun, satu tabel kecepatan vendor pada laptop yang belum pernah dijalankan oleh siapa pun di luar NVIDIA, dan nol pengukuran latensi independen. Anggap tidak dapat diandalkan artikel apa pun yang melaporkan angka PinchBench milik Bolt tanpa menyebutkan siapa yang menghasilkannya, termasuk artikel apa pun yang setuju dengan artikel ini.

Apa yang tiba bersamanya

Perilisan model jarang hanya soal bobotnya, dan deretan pendukung Bolt lebih besar daripada biasanya untuk sesuatu yang tidak memiliki API.

Drafter spekulatif LiLiCorr disertakan bersamanya — 1,13 miliar parameter tidak termasuk embedding bersama dan head output, dilatih bersama target, dan NVIDIA melaporkan panjang penerimaan rata-rata 4,68 pada decoding greedy dan 4,25 pada pengambilan sampel probabilistik dengan tujuh token yang di-draft pada konkurensi 64 di vLLM. Drafter ini adalah checkpoint terpisah yang dapat diunduh, bukan flag runtime, dan merupakan mekanisme di balik angka 84 TPS yang dikutip untuk RTX Spark.

Dukungan framework hadir dengan cepat. Ollama mencantumkan nemotron-3.5-bolt dalam tiga tag — default, tag 74B-A9B, dan tag IQ2 — masing-masing 25GB dengan konteks 256K serta input teks plus gambar, dengan peluncur satu baris untuk Claude Code, OpenCode, Hermes Agent, dan OpenClaw. Selain itu ada build GGUF dari NVIDIA, rangkaian kuantisasi komunitas pada 4-bit dan 8-bit, serta konversi MLX yang muncul dalam sehari setelah pengumuman. Untuk checkpoint yang berjalan di satu perangkat 24GB, ekosistem yang hadir dalam empat puluh delapan jam itu adalah sinyal nyata bahwa ini adalah artefak yang dapat digunakan, bukan sekadar demonstrator.

Peringatan praktis bagi siapa pun yang berencana menggunakannya: angka 24GB adalah batas bawah untuk bobot, bukan batas atas untuk beban kerja. Gambar, bingkai video, riwayat percakapan, dan hasil tool semuanya berbagi anggaran konteks, dan catatan Ollama sendiri menyatakan konteks yang dapat digunakan bergantung pada memori yang tersedia. Unduhan 25GB yang muat dengan nyaman tidak sama dengan sesi 256K token yang muat dengan nyaman.

Di mana hal ini menempatkan Anda, dan di mana tidak

Jika beban kerja Anda bersifat lokal dan agentic — penggunaan terminal, penjelajahan, pemanggilan alat, debugging kode pada perangkat yang Anda miliki — N​emotron 3.5 Bolt 74B-A9B 24GB kini menjadi pilihan yang dapat dipertahankan dengan satu skor independen dan sekumpulan bobot yang dapat Anda periksa. Argumen kompresi di baliknya sungguh menarik, lisensinya mengizinkan penggunaan komersial, dan peralatannya muncul dalam sehari.

Jika beban kerja Anda perlu dipanggil dari kode yang berjalan di tempat yang bukan milik Anda, model ini bukan pilihan saat ini, dan jawaban jujur untuk "bagaimana saya menggunakannya" adalah Anda menjalankannya sendiri di perangkat keras NVIDIA atau Anda menunggu. Kami memeriksa katalog kami sendiri alih-alih berasumsi, dan tidak ada model NVIDIA di dalamnya — jadi tidak ada apa pun di sini untuk kami rutekan, dan mengatakan sebaliknya berarti berbohong. Yang ditawarkan OrcaRouter adalah separuh lainnya dari deployment campuran: model-model yang akan Anda panggil ketika suatu permintaan terlalu sulit, terlalu panjang, atau terlalu asing bagi checkpoint lokal 2-bit, di balik satu kunci untuk 200 lebih model dengan harga daftar penyedia tanpa tambahan markup, dengan failover otomatis saat penyedia goyah. Memasangkan Bolt lokal dengan API yang dirutekan adalah arsitektur yang masuk akal. Berpura-pura bahwa Bolt ada di sisi yang dirutekan tidaklah demikian.

Yang perlu diperhatikan bukanlah tabel benchmark berikutnya. Melainkan apakah ada pihak di luar N​VIDIA yang menerbitkan uji latensi pada checkpoint 24GB di perangkat keras yang benar-benar dimiliki pembaca, dan apakah endpoint yang dihosting muncul sama sekali. Sampai salah satu dari hal itu terjadi, spesifikasi hanyalah janji dan satu skor indeks adalah satu-satunya yang menopangnya.

Hasil seperti ini juga menjadi pengingat bahwa kesalahan model sudah terdokumentasi: insiden AI dan kegagalan agen di balik model di kelas ini dikumpulkan dalam the OrcaRouter AI Incident Archive, dengan setiap entri mencantumkan sumbernya sendiri, tingkat keparahan, peringkat keyakinan, dan penanda yang disengketakan.