Nemotron 3.5 Bolt E4B 4GB: Apa yang Sebenarnya Dirilis, dan Mengapa Namanya Menyesatkan

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB resmi mengudara di Hugging Face pada 23 Oktober 2026, dan hal pertama yang layak disampaikan tentangnya adalah soal aritmetika: ukuran berkasnya 6,18GB. Namanya menyebut 4GB. Kedua angka itu nyata, keduanya mengukur hal yang berbeda, dan selisih di antara keduanya adalah fakta paling berguna dalam rilis ini.

Blog teknis NVIDIA menyebut 4GB sebagai batas memori yang dimaksudkan untuk beban kerja target model — anggaran untuk apa yang seharusnya ditempati model saat aplikasi berjalan di sampingnya. Itu bukan jumlah parameter dan bukan ukuran unduhan. Checkpoint itu sendiri berukuran total 8B dengan 4B parameter efektif, dilatih pasca dari Gemma-4-E4B-it, dan diterbitkan dalam tepat dua presisi: build BF16 15.88GB dan GGUF Q4_K_M 6.18GB. Jika Anda datang mencari file empat gigabyte untuk dimasukkan ke perangkat, tidak ada satu pun di repositori.

Hal itu layak dinyatakan secara gamblang karena bagian lain dari rilis ini luar biasa jelas. Kartu modelnya terperinci, laporan teknisnya bersifat publik, dan tabel latensi terukur mencakup empat perangkat. Yang tidak ada adalah verifikasi independen, dan kartu itu sendiri menyatakannya.

Rilis tersebut, direkonstruksi dari apa yang bersifat publik

Yang ini tidak mendapat peluncuran. Ia hanya mendapat catatan kaki dan kemudian sebuah postingan blog.

• 5 Oktober 2026 — repositori Hugging Face untuk build Q4_K_M dan BF16 telah dibuat. Keduanya belum diisi dengan bobot.

• 15 Oktober 2026 — NVIDIA mengumumkan keluarga Nemotron 3.5: Super VL 120B-A12B dan Bolt 74B-A9B 24GB, keduanya tersedia pada hari itu. E4B hanya mendapat dua kalimat dan satu tanggal: hadir 23 Oktober.

• 23 Oktober 2026 — bobot Q4_K_M dan BF16 diterbitkan, kartu model tayang, dan laboratorium riset NVIDIA menerbitkan blog teknis serta laporan teknis. Tidak ada siaran pers perusahaan, dan liputan peluncuran yang menyusul pengumuman 15 Oktober tidak muncul kembali untuk peluncuran ini.

Jadi "dirilis secara diam-diam" akurat, tetapi "rahasia" tidak. NVIDIA menamai model itu, mencantumkan tanggalnya, lalu mendokumentasikannya dengan benar pada hari itu. Yang tidak dilakukannya adalah menempatkan E4B di hadapan para reporter yang sama yang meliput model-model saudaranya. Konsekuensi praktisnya bagi siapa pun yang membaca ini pada minggu-minggu pertama adalah bahwa hampir semua klaim di bawah ini bermuara pada satu sumber: NVIDIA.

Empat gigabyte adalah anggaran, bukan unduhan

Ukuran file yang dipublikasikan tidak ambigu setelah Anda melihat repositori, bukan namanya.

• {{1}}Q4_K_M GGUF{{/1}} — {{2}}6.180.446.208 byte{{/2}}, atau {{3}}6,18GB{{/3}} dalam hitungan desimal, dalam satu file bernama {{4}}Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf{{/4}}.

• BF16 safetensors — 15.882.494.698 byte, atau 15,88GB, dalam satu shard, ditambah berkas shared-KV bersama yang dibekukan berukuran 110MB.

• Tidak ada artefak 4GB — tidak ada kuantisasi yang lebih kecil di repositori, dan kartu tersebut tidak menerbitkan berkas yang sesuai dengan angka pada namanya.

Yang dipublikasikan NVIDIA adalah pengukuran llama.cpp batch-1 pada empat perangkat, dan tabel itulah yang membuat klaim 4GB menjadi konkret:

• RTX 5070 12GB — VRAM 3,5 hingga 4,3GB, waktu hingga token pertama 548 hingga 1.238ms, 106,2 hingga 133,4 token per detik.

• RTX Spark 32GB — VRAM 3,1 hingga 4,2GB, 930 hingga 1.988ms ke token pertama, 52,0 hingga 67,0 token per detik.

• Jetson Orin Nano 8GB — VRAM 4,2 hingga 4,9GB, 5.785 hingga 6.259ms ke token pertama, 13,0 hingga 15,5 token per detik.

• Jetson AGX Orin 32GB — VRAM 4,2 hingga 5,0GB, 3.687 hingga 4.091ms ke token pertama, 20,3 hingga 24,0 token per detik.

Angka VRAM berada di bawah ukuran file 6,18GB, yang berarti runtime tidak menyimpan seluruh file tetap berada di GPU dalam proses tersebut. Kartu grafis tidak menjelaskan mekanismenya, dan ini adalah tempat yang tepat untuk menahan diri dari mengarang satu: bobot yang dipetakan memori, offload parsial, dan penetapan ukuran cache KV semuanya saling berinteraksi, dan NVIDIA belum menerbitkan pembagiannya. Yang dapat dikatakan adalah bahwa batas 4GB merupakan hasil terukur pada perangkat keras tertentu di bawah runtime tertentu, bukan properti dari unduhan.

Baris Orin Nano adalah yang perlu dibaca dua kali jika tawarannya adalah bantuan suara. Tiga belas hingga lima belas token per detik dengan hampir enam detik ke token pertama adalah agen tertanam yang bisa dipakai dan mitra percakapan real-time yang buruk. Baris RTX 5070 justru sebaliknya: cukup cepat untuk penggunaan interaktif, pada GPU desktop.

Apa yang sebenarnya diubah NVIDIA di Gemma 4 E4B

Arsitektur diwarisi sepenuhnya. Ini adalah Gemma-4-E4B, campuran total 8B dengan parameter efektif 4B, dan kontribusi NVIDIA adalah pasca-pelatihan, bukan backbone baru. Kartu tersebut mencantumkan pekerjaan sebagai pembelajaran penguatan dari imbalan yang dapat diverifikasi dan umpan balik manusia melalui NeMo-RL dan NeMo-Gym, di seluruh pemanggilan alat dan skema, pengikutan instruksi dan hierarki, output terstruktur, pemformatan bentuk bebas, dan pemodelan imbalan generatif. Batch pelatihan memiliki rasio 2:1 sampel non-penalaran terhadap penalaran, dan NVIDIA meningkatkan penalti panjang untuk mengendalikan verbositas — detail yang muncul kemudian di tabel benchmark.

Build Q4_K_M dihasilkan dengan llama.cpp menggunakan kalibrasi imatrix pada sekitar satu juta token dari rollout RL. Ada juga drafter DFlash untuk speculative decoding, yang menurut NVIDIA memberikan throughput hingga 21% lebih tinggi daripada drafter multi-token-prediction asli Gemma-4-E4B. Drafter tersebut adalah repositori terpisah, dan saat pemeriksaan, ia mengembalikan HTTP 401 untuk permintaan anonim, jadi perlakukan itu sebagai langkah akses tambahan alih-alih unduhan pada hari yang sama.

Dua sakelar templat chat melakukan sebagian besar kerja perilaku. enable_thinking menyalakan atau mematikan penalaran dan menerima anggaran pemikiran saat runtime; conversational_mode menambahkan instruksi sistem percakapan lisan untuk balasan singkat dengan sedikit pemformatan. Sakelar kedua itulah petunjuknya. Model ini dirancang untuk berbicara, bukan untuk mengisi jendela konteks dengan analisis.

Konteksnya 64K masuk dan 64K keluar. Cakupan bahasanya 34 dalam metadata Hugging Face dan 35 dalam blog teknis — inkonsistensi kecil, bukan perbedaan substantif, dan kartu pasca-pelatihan menyebut bahasa Inggris, Prancis, Jerman, Italia, Jepang, Spanyol, dan Tionghoa sebagai bahasa utama.

Lisensinya berlapis, bukan satu dokumen tunggal: OpenMDW-1.1 untuk kontribusi NVIDIA, Apache 2.0 untuk komponen Gemma 4. Kartu tersebut menyatakan bahwa model siap digunakan untuk komersial maupun nonkomersial. OpenMDW bersifat permisif tetapi tidak disetujui OSI, yang lebih penting bagi tim hukum daripada bagi pengembang.

Tabel benchmark, dibaca terhadap model-model yang disebutkan.

NVIDIA mengevaluasi model tersebut terhadap Gemma4 E4B-it, Qwen3.5 4B, dan Nemotron 3 Nano-4B miliknya sendiri, dengan harness NeMo-Gym yang konsisten. Setiap angka di bawah ini dilaporkan vendor dan belum direproduksi. Kartu tersebut menyatakan bahwa angka-angka itu "mungkin berbeda dari angka yang dilaporkan sendiri oleh vendor," yang merupakan catatan jujur sekaligus pengingat bahwa himpunan pembanding adalah pilihan NVIDIA.

Kemenangan terkonsentrasi pada percakapan dan kontrol:

• RoleBench Custom — 67,05 untuk Bolt E4B dibandingkan dengan 53,66 untuk Qwen3.5 4B, 49,95 untuk Gemma4 E4B-it, dan 12,02 untuk Nano-4B. Ini adalah benchmark persona, dan selisihnya adalah yang paling lebar dalam tabel.

• IHEval, hierarki instruksi — 84.79 dibandingkan dengan 60.57, 67.04, dan 51.31. Keunggulan 17 poin atas pesaing terdekat tidak biasa pada ukuran ini.

• When2Call Multi-Turn — 63,36 dibandingkan dengan 37,85 untuk Qwen3.5 4B, 62,90 untuk Gemma4, dan 27,70 untuk Nano-4B. Mengetahui kapan tidak boleh memanggil alat adalah keterampilan percakapan sama seperti keterampilan agentik.

• RelyToolBench — 63.16 dibandingkan dengan 43.35, 61.60, dan 41.20. Grounding dalam output alat, sekali lagi merupakan keterampilan yang berdekatan dengan percakapan.

• MultiChallenge — 53,10 berbanding 51,76, 42,08, dan 35,30. Kemenangan tipis dalam penanganan tantangan multi-putaran.

Kerugiannya sama jelasnya, dan itulah yang penting jika Anda menginginkan agen, bukan karakter:

• Tau2-Bench — 55,10 berbanding 75,06 untuk Qwen3.5 4B. Ini adalah kekurangan 20 poin dalam penyelesaian tugas agentik multi-putaran, dan tidak ada kualitas persona sebesar apa pun yang dapat menutupinya.

• RULER pada 64K — 86,99 dibandingkan 95,15 untuk Qwen3.5 4B dan 91,51 untuk Nano-4B. Model ini menerima konteks 64K; namun tidak mengambil informasi di seluruh konteks tersebut seandal rekan-rekannya.

• LongBench v2 pada 48K — 50,50 dibandingkan dengan 59,93 untuk Qwen3.5 4B. Hal yang sama terjadi pada penalaran dokumen panjang.

• BFCL-v3 — 68.51 dibandingkan dengan 70.95 untuk Qwen3.5 4B. Sedikit kekurangan pada function calling, dan unggul atas 66.39 milik Gemma4.

• EQ-Bench v3 — 39.40 versus 41.17 untuk Gemma4 E4B-it. Satu-satunya baris kecerdasan emosional di mana induk mengalahkan anak.

Kolom Q4_K_M lebih menarik daripada tabel kuantisasi biasanya. Kompresi tidak menurunkan akurasi secara merata: MultiChallenge naik dari 53,10 menjadi 55,60, RoleBench dari 67,05 menjadi 71,21, ToolSandbox dari 68,77 menjadi 74,13, dan RelyToolBench dari 63,16 menjadi 69,29. Nilainya turun pada Tau2 dari 55,10 menjadi 52,32, pada LongMemEval dari 72,10 menjadi 69,92, dan pada RULER dari 86,99 menjadi 85,76. Build empat-bit yang meningkatkan beberapa skor percakapan masuk akal ketika data kalibrasi berasal dari rollout RL model itu sendiri, tetapi ini tetap pengukuran vendor, dan noise tingkat benchmark pada model 4B cukup besar sehingga delta ini tidak boleh dibaca sebagai tangga presisi.

Dua baris mendapat sorotan tersendiri. Brevity Bench dan When2Call Multi-Turn adalah evaluasi yang menurut NVIDIA menjawab kesenjangan dalam tolok ukur yang ada, dan blog tersebut menyatakan keduanya akan dirilis pada tanggal yang lebih baru. Keduanya belum dapat direproduksi secara independen saat ini — hal ini paling penting bagi Brevity, karena baris itulah yang menjadi dasar narasi tentang lebih sedikit token keluaran.

Klaim utama NVIDIA adalah bahwa model ini rata-rata sekitar 40% lebih baik daripada Nemotron 3 Nano-4B dan kira-kira 10% lebih baik daripada model sebanding, dengan hingga 80% lebih sedikit token keluaran dalam perbandingan yang mengaktifkan penalaran. Angka 80% itu adalah klaim tentang keringkasan, bukan klaim tentang akurasi, dan itu sejalan dengan skor Brevity Benchmark sebesar 82,52 — yang NVIDIA bangun ke dalam rangkaian pengujiannya sendiri. Anggap arahnya serius dan persentase tepatnya jangan terlalu dipegang.

Apa yang tidak akan diberitahukan repositori kepada Anda

Kartu ini jujur tentang celah-celahnya sendiri, dan celah-celah itu layak disebutkan karena menentukan seberapa besar keyakinan yang dapat ditopang oleh rilis ini.

• Tidak ada evaluasi independen. Artificial Analysis tidak memiliki halaman model untuk E4B pada saat penulisan, dan tidak ada pihak ketiga yang telah menerbitkan reproduksi tabel benchmark 21 baris.

• Tidak ada harga hosted. Kartu tersebut mencantumkan listing Build.NVIDIA.com pada 23 Oktober, tetapi tidak ada harga per token yang dipublikasikan di sana maupun di dalam kartu. Jika Anda ingin menggunakan API, Anda sedang bernegosiasi atau memakai tier gratis, bukan membaca kartu tarif.

• Deployment ditandai sebagai "llama.cpp (resep tertunda)" meskipun panduan cepat berisi perintah llama.cpp yang berfungsi. Itu adalah kontradiksi dokumentasi, bukan kontradiksi teknis, tetapi hal semacam itulah yang membuat pipeline deployment otomatis tersandung.

• Target 4GB tidak dibuktikan sebagai file. Batas VRAM yang terukur adalah buktinya; ukuran unduhannya 6.18GB.

• Subkartu keselamatan, bias, keterjelasan, dan privasi tersedia sebagai file terpisah. Artikel ini tidak mengauditnya, dan belum ada badan independen yang melakukannya.

Tidak ada dari semua itu yang membuat rilis ini tidak dapat dipercaya. Itu justru membuatnya terlalu dini. Kartu model yang ditulis oleh tim yang melatih model tersebut adalah deskripsi terbaik yang tersedia tentang untuk apa model itu ditujukan; itu bukan bukti bahwa model tersebut benar-benar melakukannya.

Di mana model 4B lokal berhenti, dan apa yang harus diletakkan di belakangnya

Arsitektur yang jujur untuk kelas model ini adalah arsitektur yang terpisah. Checkpoint percakapan 4B di Jetson atau kartu RTX sangat baik pada lapisan refleks: respons kata pemicu, dialog persona, pemanggilan alat singkat, grounding input, bagian-bagian antarmuka yang tidak bisa menanggung perjalanan bolak-balik jaringan. Model itu bukan hal yang Anda inginkan untuk menjawab pertanyaan yang membutuhkan konteks 200K atau rencana agentik sepuluh langkah, dan tabel benchmark-nya sendiri mengatakan demikian.

Itu menyisakan setiap deployment dengan pertanyaan kedua: apa yang menangani permintaan yang seharusnya tidak ditangani oleh model lokal. Menempatkan model hosted di belakang aplikasi yang sama melalui OrcaRouter berarti satu API untuk 200+ model, markup 0% atas harga daftar penyedia, dan failover otomatis saat penyedia mengalami penurunan kinerja — sehingga jalur eskalasi menjadi keputusan perutean, bukan SDK kedua, kunci kedua, dan hubungan penagihan kedua. Model lokal tetap menjadi jalur cepat; model hosted menjadi fallback untuk kasus-kasus yang tidak pernah dilatihkan pada E4B.

Apa yang akan mengubah gambaran ini?

Tiga hal, sesuai urutan kegunaannya. Benchmark independen yang dijalankan pada harness yang sama akan menjawab apakah profil yang berat percakapan itu bertahan di luar evaluasi NVIDIA. Artefak terbitan berukuran 4GB atau lebih kecil akan membuat namanya menjadi harfiah. Dan harga pada endpoint Build akan mengubah model ini dari sekadar unduhan menjadi layanan yang bisa dibandingkan.

Sampai saat itu, pembacaan yang tepat bersifat sempit dan berguna: NVIDIA melatih-pasca Gemma 4 E4B menjadi model percakapan kecil yang terbukti lebih baik, menerbitkan bukti dan celahnya dalam dokumen yang sama, lalu merilisnya seminggu setelah peluncuran keluarga tersebut dengan nyaris tanpa gembar-gembor. Angka 4GB dalam nama adalah target yang dipenuhi runtime terukur tetapi tidak dipenuhi oleh unduhan. Rencanakan penyimpanan Anda sekitar 6.18GB dan ekspektasi Anda sekitar 13 hingga 133 token per detik, bergantung pada perangkat yang benar-benar Anda miliki.