Nemotron 3.5 Bolt 24GB vs Nemotron 3.5 Bolt 74B: Satu Model, Dua Artefak

Ini adalah perbandingan antara sebuah model dengan dirinya sendiri. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB dan N​VIDIA N​emotron 3.5 Bolt 74B-A9B BF16 adalah arsitektur yang sama dengan jumlah parameter yang sama, diproduksi pada minggu yang sama, dari induk yang sama — dan dokumentasi N​VIDIA sendiri menyatakan dengan jelas bahwa yang satu untuk menjalankan dan yang lain untuk mengubah. Menganggap keduanya sebagai saingan adalah kesalahan kategori; menganggap keduanya dapat dipertukarkan adalah kesalahan yang mahal. Inilah perbedaannya, diukur dalam byte dan dalam poin benchmark.

Apa sebenarnya kedua artefak itu

Nama-nama itu menjelaskan pipeline, bukan dua desain. N​VIDIA mengambil N​emotron 3.5 Super VL 120B-A12B, menjalankan pencarian arsitektur yang dipandu router bernama Star Elastic terhadap anggaran memori, dan menghasilkan model 74 miliar parameter dengan 9 miliar parameter aktif. Hasil itu ada dalam dua bentuk yang dipublikasikan: bobot BF16 sebagaimana yang dihasilkan dari pasca-pelatihan, dan bobot yang sama dengan lapisan expert dikuantisasi ke 2,0625 bit per elemen dan diperbaiki dengan distilasi sadar kuantisasi.

Keduanya bertanggal 15 Oktober 2026 pada kartu modelnya. Keduanya membawa lisensi OpenMDW-1.1 yang sama, jendela konteks 256.000 token yang sama, tulang punggung LatentMoE hibrida Mamba-2 yang sama, dan encoder visi C-RADIO v4-H yang sama. Metadata repositori membuat hubungan tersebut eksplisit dalam satu bidang: kartu checkpoint 24GB mencantumkan base_model_relation: quantized terhadap rilis BF16.

Yang berbeda adalah untuk apa masing-masing ditujukan. Kartu 24GB menyebut kasus penggunaannya sebagai harness agen lokal — pemanggilan alat, penjelajahan, pekerjaan terminal — dan penerapannya sebagai vLLM di Ampere, Hopper, atau Blackwell. Kartu BF16 menyebut kasus penggunaannya sebagai pasca-pelatihan dengan NeMo RL dan NeMo Gym, adaptasi domain, distilasi, dan menghasilkan varian terkuantisasi Anda sendiri, serta memperingatkan dalam paragraf yang sama bahwa untuk inferensi yang dioptimalkan untuk latensi dan throughput, Anda sebaiknya menggunakan versi 24GB. Pernyataan vendor yang memberi tahu Anda untuk tidak menjalankan checkpoint yang baru saja Anda unduh patut dibaca secara harfiah.

Perbedaan ukuran, dibaca dari daftar file

• BF16 — total 149,8GB tersebar di 63 shard safetensors, shard terbesar 3,71GB, ditambah menara visi 228MB.

• 24GB safetensors — 24,12GB tersebar di 90 shard dalam build siap vLLM, yang sedikit di atas angka pada nama model.

• 24GB GGUF — 22,02GB dalam satu file, ditambah proyektor visi terpisah berukuran 1,73GB, dengan total 23,75GB.

• Rasio — kira-kira enam banding satu dalam byte, dari expert 16-bit ke expert 2-bit plus penanganan presisi campuran untuk semua hal lainnya.

Enam puluh tiga shard versus sembilan puluh juga merupakan perbedaan bentuk, bukan hanya perbedaan ukuran. Rilis BF16 dibuat untuk dimuat oleh kerangka kerja pelatihan di seluruh tata letak paralel apa pun yang Anda miliki; rilis 24GB dibuat untuk dimuat oleh satu GPU, atau oleh llama.cpp pada satu mesin, dan jumlah shard mencerminkan pekerjaan yang berbeda.

Tiga gigabyte dari sebaran 24GB itu layak dipahami sebelum Anda merencanakan penyimpanan. Proyektor visi adalah file terpisah dalam build GGUF karena begitulah cara llama.cpp menangani input multimodal, dan siapa pun yang hanya mengunduh bobot lalu bertanya-tanya mengapa gambar tidak berfungsi telah melewatkannya. Dalam build safetensors, menara visi berada di dalam shard dan totalnya melewati batas 24GB.

Berapa biaya kuantisasinya, menurut angka NVIDIA sendiri

Kartu BF16 menerbitkan kedua kolom secara berdampingan, yang tergolong sangat terbuka: tabel tolok ukur yang sama memuat angka IQ2 24GB dan angka BF16 untuk tiga belas evaluasi yang sama. Dilaporkan oleh vendor, belum direproduksi, dan tetap merupakan bukti paling langsung yang tersedia tentang berapa biaya dua bit per pakar.

• Terminal-Bench 2.1 — 50,98 pada IQ2 dibandingkan 53,93 pada BF16, kerugian 2,95 poin.

• BrowseComp — 66,75 berbanding 70,00, kerugian sebesar 3,25.

• GPQA Diamond — 86,43 dibandingkan 88,83, penurunan sebesar 2,40.

• AA-LCR penalaran konteks panjang — 64,06 dibandingkan 67,38, kerugian sebesar 3,32.

• HLE tanpa alat — 25,30 dibandingkan dengan 28,73, selisih 3,43.

• Akurasi AA-Omniscience — 16,90 dibandingkan 21,80, selisih 4,90, yang terbesar dalam tabel.

• PinchBench — 87,82 berbanding 90,35, kerugian sebesar 2,53.

• GDPVal-AA-V2 — 28,47 dibandingkan 31,13, kalah 2,66.

Dua baris memecahkan pola, dan justru keduanya yang menarik. Pada non-halusinasi AA-Omniscience, model terkuantisasi memperoleh skor lebih tinggi, 61,27 berbanding 56,14 — memampatkan para pakar membuat model lebih kecil kemungkinannya untuk menjawab dengan percaya diri ketika tidak tahu, dan itulah jenis temuan yang membuat sebuah tabel layak diterbitkan secara utuh. Pada WebArena vision keduanya setara, 50,86 berbanding 50,25, yang menunjukkan jalur vision bertahan dari pemampatan secara kurang lebih utuh, dan pelatihan ulang adaptor vision yang dijelaskan di kartu model agaknya menjadi penyebabnya.

Dibaca bersama-sama: pajak dua hingga lima poin pada sebagian besar baris kemampuan, hampir nol pada visual grounding, dan peningkatan pada satu metrik kalibrasi. Itu hasil yang menguntungkan untuk kompresi enam-ke-satu, dan itu tetap merupakan pajak yang harus Anda perhitungkan, bukan diabaikan.

Yang mana yang benar-benar bisa kamu layani?

Artefak 24GB memiliki cerita runtime dan yang BF16 memiliki cerita pelatihan, dan keduanya bukanlah cerita yang sama dengan flag yang berbeda.

GGUF 24GB terdaftar untuk llama.cpp, dan NVIDIA mengarahkan model yang sama ke Ollama, LM Studio, dan Unsloth. Jalur vLLM lebih ketat daripada kedengarannya: resep referensi menyematkan container nightly berdasarkan hash commit, memerlukan paket kernel terpisah yang diambil saat runtime, menetapkan runner model v2 secara eksplisit, menamai b12x untuk backend linear dan MoE dengan FlashInfer untuk attention dan Mamba, menyematkan cache KV ke fp8, dan menetapkan max-num-seqs 1. Flag terakhir itulah yang perlu diperhatikan — konfigurasi serving yang dipublikasikan adalah satu sekuens konkuren, yang merupakan konfigurasi berbentuk laptop, bukan konfigurasi berbentuk serving.

Drafter adalah unduhan ketiga. LiLiCorr adalah checkpoint pendamping 1,13B yang kartunya menyatakan secara eksplisit bahwa model tersebut bukan model bahasa mandiri, bahwa model itu mengusulkan token draf dan target 24GB memverifikasinya, dan bahwa target menghasilkan teks yang terlihat. Angka 83,99 token per detik yang dilaporkan NVIDIA pada AIPerf SPEED-Bench-Coding mengasumsikan model itu terpasang, dengan tujuh token draf per langkah dan panjang penerimaan rata-rata 4,68 pada decoding greedy serta 4,25 dengan sampling pada konkurensi 64.

Urusan serving dari checkpoint BF16 adalah masalah yang harus Anda selesaikan. Checkpoint ini membutuhkan sekitar enam kali memori build terkuantisasi sebelum KV cache apa pun, yang membuat satu akselerator 80GB tidak dapat menampungnya dan menjadikan multi-GPU atau multi-node sebagai asumsi default. Itu trade-off yang tepat untuk pasca-pelatihan dan trade-off yang salah untuk inferensi, yang persis seperti yang dikatakan kartu tersebut.

Keputusan itu, dinyatakan secara gamblang.

Jika Anda ingin menjalankan agen hari ini di perangkat keras yang Anda miliki, unduh build 24GB, terima pajak dua hingga lima poin, dan anggarkan untuk drafter serta proyektor, juga bobotnya.

Jika Anda ingin mengubah model — fine-tune dengan data Anda sendiri, distilasi menjadi sesuatu yang lebih kecil, atau mengompresnya secara berbeda untuk perangkat keras yang tidak dioptimalkan oleh N​VIDIA — unduh build BF16 dan anggap rilis 24GB sebagai dokumentasi dari salah satu kemungkinan hasil.

Kasus tengah yang menarik adalah kasus yang secara eksplisit diundang oleh kartu BF16: menghasilkan varian terkuantisasi Anda sendiri. Seseorang dengan akselerator berbeda, atau selera untuk bobot empat-bit, atau beban kerja yang membutuhkan konkurensi lebih besar daripada yang diizinkan resep referensi, dapat mengambil bobot presisi penuh dan membangun artefak yang tidak dibuat NVIDIA. Pajak kuantisasi di atas kemudian menjadi angka yang harus dikalahkan, dan sekarang menjadi target yang dipublikasikan alih-alih misteri.

Di mana gateway masuk ke dalam stack lokal

Tidak satu pun dari checkpoint ini dihosting di mana pun, termasuk oleh kami — katalog OrcaRouter tidak memuat model Nemotron, jadi tidak ada endpoint dan tidak ada harga yang bisa dikutip untuk salah satu pun. Inferensi lokal juga selalu hanya separuh dari arsitektur agen: mesin yang menjalankan Bolt tetap perlu mengakses model yang tidak dapat diunduhnya, baik itu model frontier untuk kasus-kasus sulit, model visi untuk sesuatu yang ditangani Bolt dengan buruk, atau pendapat kedua tentang keputusan yang penting.

Itulah lapisan yang kami operasikan. Satu kunci di lebih dari 200 model yang dihosting dengan harga daftar penyedia tanpa markup tambahan; failover otomatis saat penyedia menurun di tengah permintaan; sebuah DSL perutean yang mengubah "coba Bolt secara lokal, naikkan ke model yang dihosting ketika tugas melampauinya" menjadi konfigurasi alih-alih kode. Separuh tumpukan berukuran 24GB ditentukan oleh perangkat keras Anda dan toleransi Anda terhadap kontainer yang berjalan setiap malam. Separuh lagi di sisi lain eskalasi ditentukan oleh siapa pun yang memegang kunci.

Apa yang akan mengubah gambaran ini?

Dua hal, dan keduanya bisa diprediksi.

Yang pertama adalah build Bolt empat-bit atau FP4 dari N​VIDIA atau dari komunitas, mengingat keluarga induknya sudah menyediakan checkpoint NVFP4 dan rilis BF16 ada justru supaya varian semacam itu dapat dibuat. Bolt empat-bit yang memulihkan setengah selisih di atas sekaligus tetap muat dalam batas 24GB akan membuat argumen pajak kuantisasi jauh lebih tidak menarik.

Yang kedua adalah evaluasi independen apa pun atas salah satu artefak. Panel Artificial Analysis telah mengukur model 24GB pada angka 21 di Intelligence Index-nya tanpa kecepatan maupun biaya yang dipublikasikan, karena tidak ada acuan untuk mengukur harga. Sama sekali tidak ada yang mempublikasikan eksekusi yang dapat direproduksi dari checkpoint BF16, yang tidak mengherankan untuk unduhan 150GB yang ditujukan untuk pelatihan. Sampai seseorang melakukannya, selisih antara dua kolom di atas adalah keterangan vendor tentang kompresinya sendiri, dan cara jujur untuk membacanya adalah sebagai klaim yang kebetulan didukung secara luar biasa baik oleh bentuk buktinya.

Hasil seperti ini juga menjadi pengingat bahwa kesalahan model sudah terdokumentasi: insiden AI dan kegagalan agen di balik model di kelas ini dikumpulkan dalam the OrcaRouter AI Incident Archive, dengan setiap entri mencantumkan sumbernya sendiri, tingkat keparahan, peringkat keyakinan, dan penanda yang disengketakan.