Nemotron 3.5 Bolt E4B 4GB vs Nemotron 3.5 Bolt 74B-A9B 24GB: Nama Sama, Mesin yang Bertolak Belakang

NVIDIA merilis dua model bernama Bolt dengan selisih delapan hari. NVIDIA-Nemotron-3.5-Bolt-E4B-4GBhadir pada 23 Oktober 2026: model percakapan khusus teks dengan total 8B yang dilatih pasca dari Gemma-4-E4B-it. NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB— model yang dimaksud kebanyakan orang ketika menyebut Nemotron 3.5 Bolt — hadir pada 15 Oktober: agen multimodal dengan total 74B dan 9B aktif yang dikompresi menjadi dua bit per bobot pakar.

Mereka berbagi lencana, lisensi, dan jendela peluncuran. Mereka tidak berbagi arsitektur induk, modalitas, jendela konteks, rangkaian tolok ukur, atau pekerjaan. Membaca "Bolt" sebagai tangga ukuran adalah kesalahan yang ingin dicegah oleh perbandingan ini.

Yang satu adalah turunan Gemma. Yang lainnya adalah agen 120B yang dipadatkan.

Silsilah itu menjelaskan hampir semua hal lainnya.

E4B awalnya adalah Gemma-4-E4B-it, model kecil Google yang disetel untuk instruksi, dan NVIDIA melatihnya lebih lanjut dengan reinforcement learning dari verifiable rewards dan umpan balik manusia melalui NeMo-RL dan NeMo-Gym. Arsitekturnya adalah arsitektur Gemma: total 8B parameter dengan 4B efektif, jalur input dan output hanya teks, serta jendela konteks 64K. Kontribusi NVIDIA adalah perilaku, bukan backbone.

Model {{1}}74B{{/1}} dimulai dari {{2}}Nemotron 3.5 Super VL 120B-A12B{{/2}}, induk multimodal milik {{3}}NVIDIA{{/3}} sendiri. {{3}}NVIDIA{{/3}} menjalankan pencarian arsitektur yang dipandu router bernama {{4}}Star Elastic{{/4}} terhadap anggaran memori {{5}}24GB{{/5}} dan menghasilkan hibrida dengan {{6}}74 miliar parameter{{/6}} dan {{7}}9 miliar parameter aktif per token{{/7}}, menggabungkan lapisan {{8}}Mamba-2{{/8}} dan {{9}}Transformer{{/9}} dalam desain {{10}}LatentMoE{{/10}}, dengan encoder visi {{11}}C-RADIO v4-H{{/11}}. Model ini menerima teks, gambar, dan video, serta menangani konteks {{12}}256K token{{/12}}.

Secara sederhana: E4B adalah model percakapan yang telah disetel oleh NVIDIA. 74B adalah model agen yang dikompresi oleh NVIDIA. Nama "Bolt" menggambarkan tujuan penerapannya — kecerdasan per gigabyte — bukan arsitektur yang sama.

Spesifikasi, berdampingan

• Total dan parameter aktif — total 8B dengan 4B efektif untuk E4B; total 74B dengan 9B aktif untuk 74B.

• Arsitektur — Gemma-4-E4B untuk model kecil; Mamba-2 plus Transformer hybrid LatentMoE untuk model besar, dengan kompresi Star Elastic dari induk Super VL.

• Modalitas — teks masuk, teks keluar untuk E4B; teks, gambar, dan video masuk, teks keluar untuk 74B.

• Jendela konteks — 64K token masuk dan 64K token keluar untuk E4B; hingga 256K token untuk 74B.

• Presisi — Q4_K_M untuk GGUF bawaan E4B; IQ2 pada sekitar 2,0625 bit per bobot expert untuk 74B, dengan NVFP4 pada beberapa lapisan Mamba dan embedding Q8_0.

• Bobot yang dipublikasikan — 6.18GB Q4_K_M dan 15.88GB BF16 untuk E4B; 23.75GB bobot GGUF plus proyektor visi, 24.12GB safetensors siap vLLM, dan 149.8GB pada BF16 untuk 74B.

• Lisensi — OpenMDW-1.1 untuk keduanya, dengan komponen Gemma 4 di bawah Apache 2.0 dalam stack E4B.

• Tanggal rilis — 23 Oktober 2026 untuk E4B; 15 Oktober 2026 untuk 74B.

• Runtime — llama.cpp untuk E4B, dengan kartu yang menandai resep sebagai "tertunda" meskipun menyertakan perintah mulai cepat; vLLM untuk 74B, dengan resep referensi yang menyematkan container nightly berdasarkan hash commit.

Satu jebakan metadata perlu ditandai sebelum menyebabkan kesalahan pembelian. Widget file Hugging Face pada repositori 74B menampilkan "22B params" sementara kartu model menyebutkan total 74B dan 9B aktif. Kartu model benar: 22B adalah kolom sidebar yang sudah usang, bukan varian ketiga, dan siapa pun yang menentukan ukuran perangkat keras dari widget alih-alih kartu model akan salah besar ke arah sebaliknya.

Tabel benchmark tidak memiliki satu baris pun yang sama.

Ini adalah hal terpenting yang perlu dipahami sebelum membandingkan keduanya, dan inilah hal yang paling sering dilewatkan dalam liputan.

NVIDIA mengevaluasi 74B pada GDPVal-AA-V2, Terminal-Bench 2.1, Tau3 Banking, HLE, AA-Omniscience, SciCode, GPQA Diamond, AA-LCR, PinchBench, MCP-Atlas, BrowseComp, dan WebArena. NVIDIA mengevaluasi E4B pada MultiChallenge, RoleBench, RoleMRC, EQ-Bench v3, Brevity, BFCL-v3, When2Call, ToolSandbox, Tau2-Bench, IHEval, AgentIF, StructEval-T, IFBench, InverseIFEval, RULER, LongMemEval, LongBench v2, SysBench, GaRAGe, RAGTruth, dan RelyToolBench.

Tidak ada tumpang tindih. Tidak ada satu baris pun yang muncul di kedua tabel. Kedua suite bahkan menggunakan versi berbeda dari benchmark agentic — Tau2 untuk E4B, Tau3 Banking untuk 74B — sehingga pasangan yang tampak paling mirip pun tidak dapat dibandingkan.

Itu berarti klaim apa pun yang berbentuk "74B lebih baik X poin daripada E4B" adalah dibuat-buat. NVIDIA tidak menerbitkan harness bersama, dan tidak ada pihak ketiga yang menjalankannya. Yang didukung oleh tabel-tabel tersebut adalah pernyataan tentang niat desain:

• 74B diukur pada tugas-tugas yang tampak seperti pekerjaan — penggunaan terminal, penjelajahan, pengodean ilmiah, pertanyaan tingkat pascasarjana, penalaran konteks panjang. Baris terkuat yang dipublikasikan adalah BrowseComp 66.75, Terminal-Bench 2.1 50.98, GPQA Diamond 86.43, dan AA-LCR 64.06.

• E4B diukur pada tugas-tugas yang tampak seperti percakapan — retensi persona, hierarki instruksi, mengetahui kapan harus memanggil alat, dan berlandaskan pada output alat. Baris terkuatnya adalah IHEval 84,79, RoleBench 67,05, RelyToolBench 63,16, dan When2Call 63,36.

Kedua set dilaporkan vendor dan belum direproduksi. Kartu 74B menyimpan satu hal tambahan yang perlu dicatat: NVIDIA mendeskripsikan model tersebut sebagai model terbuka teratas di kelasnya pada PinchBench, tetapi tabelnya sendiri menunjukkan Qwen3.6-35B-A3B pada 88,07 berbanding Bolt 87,82. Itu selisih 0,25 poin dan klaim yang tidak sepenuhnya bertahan terhadap catatan kakinya sendiri.

Klaim kecepatan, dengan perangkat keras yang disertakan

Throughput adalah satu-satunya hal di mana kedua kartu sama-sama menerbitkan angka, dan tetap saja keduanya tidak bisa disandingkan.

• E4B pada RTX 5070 12GB — 106,2 hingga 133,4 token per detik, 548 hingga 1.238 ms ke token pertama, VRAM 3,5 hingga 4,3 GB, diukur dengan llama.cpp dan CUDA pada batch 1.

• E4B pada Jetson Orin Nano 8GB — 13,0 hingga 15,5 token per detik dan 5,8 hingga 6,3 detik untuk token pertama. Model yang sama, pada perangkat keras yang sebenarnya menjadi sasaran promosi "4GB".

• 74B pada RTX Spark — 83,99 token per detik pada AIPerf SPEED-Bench-Coding, dengan drafter LiLiCorr terpasang dan tujuh token spekulatif per langkah.

Angka 74B mengasumsikan checkpoint drafter 1,13B terpisah, benchmark tertentu, dan perangkat keras yang berbeda dari kedua run E4B. Angka E4B mengasumsikan tanpa drafter. Membandingkan 133 dengan 84 dan menyimpulkan bahwa model kecil lebih cepat secara teknis benar tetapi secara praktis tidak bermakna: yang satu adalah model dengan empat miliar parameter efektif di GPU desktop, yang lain adalah model dengan sembilan miliar parameter aktif di mesin berbeda dengan decoder spekulatif yang dipasang tambahan.

Yang memang ditetapkan oleh angka-angka itu adalah bentuk pertukarannya. E4B dirancang untuk waktu ke token pertama; 74B dirancang untuk kerja agentic berkelanjutan, yang mana 84 token per detik sudah cukup. Baris Orin Nano adalah peringatannya: model 4GB pada perangkat keras tertanam tidak otomatis menjadi pengobrol real-time.

Memori: 4GB dan 24GB adalah amplop, bukan file

Kedua nama tersebut menggunakan target memori, dan tidak ada dari kedua angka itu yang merupakan unduhan.

• E4B — GGUF Q4_K_M berukuran 6.18GB. NVIDIA mengukur 3.1 hingga 4.3GB VRAM dalam pengujian batch-1 miliknya sendiri pada perangkat keras RTX. Kartu tersebut tidak menerbitkan file 4GB.

• 74B — bobot GGUF sebesar 22,02GB ditambah proyektor visi terpisah sebesar 1,73GB, sehingga totalnya 23,75GB, atau 24,12GB pada build safetensors yang siap vLLM. Kuantisasi pakar 2,0625-bit inilah yang membuat anggaran 24GB dapat tercapai.

• Build BF16 — 15.88GB untuk E4B, 149.8GB di 63 shard untuk 74B. Varian presisi penuh ditujukan untuk pasca-pelatihan, bukan penerapan, dan kartu 74B menyatakannya secara eksplisit.

Kesenjangan penyimpanan kira-kira empat banding satu pada presisi deployment, dan kira-kira sembilan banding satu pada presisi penuh. Kesenjangan VRAM lebih kecil daripada kesenjangan parameter karena 74B membayar kompresinya dalam bit, bukan dalam ukuran.

Modalitas dan konteks lebih menentukan daripada jumlah parameter.

Jendela teks 64K dan jendela multimodal 256K bukanlah produk yang sama dengan batas yang berbeda.

74B dapat melihat gambar atau video dan bertindak berdasarkan itu. Kartu spesifikasinya menetapkan input RGB JPEG atau PNG, video MP4 hingga dua menit, serta panduan satu bingkai per detik pada 1080p atau dua bingkai per detik pada 720p. Model ini dapat membaca tangkapan layar, bagan, formulir, atau feed kamera lalu memanggil alat berdasarkan apa yang dilihatnya. Kemampuan itulah yang menjadikannya agen untuk penjelajahan dan pekerjaan desktop.

E4B tidak dapat melihat. Ia menerima teks dan mengembalikan teks, dan jendela 64K-nya secara eksplisit lebih lemah daripada rekan-rekannya dalam pengambilan: RULER 86,99 versus 95,15 milik Qwen3.5 4B, LongBench v2 50,50 versus 59,93. Jika aplikasi Anda perlu menjaga dokumen panjang atau tangkapan layar tetap terlihat, E4B adalah model yang salah terlepas dari seberapa bagus skor personanya.

Untuk siapa masing-masing ditujukan

E4B ditujukan untuk lapisan antarmuka. Karakter interaktif, asisten suara, agen perangkat tertanam, robot yang perlu memilih skrip dan berbicara, serta aplikasi apa pun tempat model harus menjawab dalam beberapa ratus milidetik pada perangkat keras yang harganya lebih murah daripada sebuah workstation. Demo NVIDIA membuat maksudnya menjadi konkret: robot Reachy Mini di Jetson Orin Nano yang menggunakan E4B untuk memilih skrip animasi sementara model visi terpisah menangani persepsi, dan NPC pandai besi yang memverifikasi pembayaran, mencari resep, mengumpulkan bahan, dan menyerahkan sebuah item.

74B ditujukan untuk lapisan kerja. Agen personal yang selalu aktif dan menjelajah, menulis kode, menganalisis data, memantau tugas latar belakang, serta memanggil API. Model ini berjalan di RTX Spark, DGX Spark, workstation RTX PRO, dan kartu GeForce RTX dengan memori yang memadai, serta dirancang untuk berjalan berdampingan dengan aplikasi lain dalam anggaran 24GB. Profil benchmark-nya — BrowseComp, Terminal-Bench, GPQA, AA-LCR — adalah profil model yang menyelesaikan tugas, bukan model yang sekadar mengobrol.

Tidak satu pun merupakan pengganti bagi yang lain. Studio game yang menginginkan NPC yang meyakinkan tidak membutuhkan agen multimodal 74B; platform agen yang perlu membaca halaman web dan menjalankan perintah terminal tidak dapat menggunakan model percakapan 4B yang hanya menangani teks.

Apa implikasi keluarga dua model bagi penerapan

Konsekuensi arsitektural yang menarik adalah NVIDIA telah merilis sebuah portofolio, bukan tangga. E4B menangani lapisan refleks, 74B menangani lapisan kerja lokal, dan Super VL 120B-A12B menangani kasus multimodal yang lebih berat. Itu tiga anggaran memori berbeda dan tiga pekerjaan berbeda, semuanya di bawah satu keluarga lisensi.

Sebagian besar aplikasi tetap memerlukan lapisan keempat yang tidak dapat mereka unduh: model frontier untuk permintaan yang melebihi perangkat keras lokal, atau vendor kedua untuk modalitas yang tidak dimiliki model lokal. Merutekan semua itu melalui satu API — 200+ model, markup 0% dari harga daftar penyedia, failover otomatis saat penyedia mengalami penurunan kinerja — memungkinkan Bolt lokal tetap menjadi jalur cepat dan model terkelola tetap menjadi pengecualian. Alternatifnya adalah integrasi, kunci, dan tagihan terpisah untuk setiap model di atas tier lokal.

Apa yang akan menyelesaikan persoalan keluarga

Satu kali uji. Jalankan kedua Bolts melalui harness yang sama pada tugas yang sama — kumpulan percakapan, kumpulan agentik, dan kumpulan multimodal — lalu terbitkan baris-barisnya. NVIDIA memiliki checkpoint, stack evaluasi, dan insentifnya; ia justru memilih menerbitkan dua tabel terpisah.

Sampai hal itu ada, pembacaan yang dapat dipertahankan adalah ini: 74B adalah model yang lebih mumpuni secara desain dan berdasarkan bukti, pada tugas-tugas yang dipilih NVIDIA untuk diukur. E4B adalah model yang lebih tepat untuk banyak kelas antarmuka di mana agen 24GB tidak masuk akal dan model percakapan 4GB justru tepat. Nama di kotaknya sama. Mesin di dalamnya tidak.