Nanbeige4.3-33B vs Nemotron 3.5 Lightning 30B A3B: Seorang Guru Melawan Seorang Eksekutor

NVIDIA Nemotron 3.5 Lightning 30B A3B berjalan pada 294,9 token keluaran per detik. Nanbeige4.3-33B tidak memiliki kecepatan yang dipublikasikan sama sekali, karena tidak ada yang menyajikannya. Kedua fakta itu memberi tahu Anda lebih banyak tentang perbandingan ini daripada baris benchmark mana pun: satu model adalah produk throughput yang direkayasa dengan daftar harga dan narasi penerapan GPU tunggal, dan yang lainnya adalah checkpoint dense dengan 33 miliar parameter yang mendarat di Hugging Face pada 24 Oktober 2026 dengan kartu model dan tanpa penyedia inferensi. Keduanya sama-sama “kelas 30B.” Keduanya bukan jenis objek yang sama.

Perbandingan ini layak dilakukan karena keduanya ditargetkan pada pembeli yang sama — seseorang yang membangun agen berjalan lama yang perlu mengeksekusi banyak langkah kecil tanpa tagihan model frontier. Jawaban NVIDIA adalah memperkecil komputasi per token. Jawaban Nanbeige adalah membuat model yang lebih besar dan lebih padat cukup baik dalam pekerjaan agentic sehingga Anda hanya perlu satu. Itu adalah taruhan yang berlawanan, dan bukti untuk masing-masing sangat berbeda jenisnya.

3,6 miliar parameter aktif adalah seluruh argumennya

Nemotron 3.5 Lightning 30B A3B adalah model campuran pakar hibrida: 31,6 miliar parameter total, 3,6 miliar aktif per token, tersebar di 52 lapisan — 23 Mamba-2, 23 MoE, dan 6 attention. Model ini merutekan ke 128 pakar dan mengaktifkan 6 di antaranya plus satu pakar bersama. Arsitektur itulah sebabnya model ini dapat mempertahankan sekitar 295 token per detik pada endpoint terkelola, sementara model padat kelas 30B biasanya berada di kisaran 40–80.

Nanbeige4.3-33B bersifat dense. Seluruh 33,1 miliar parameternya aktif pada setiap token. Tidak ada routing, tidak ada sparsitas pakar, tidak ada lapisan Mamba. Ini adalah pilihan yang disengaja dengan konsekuensi yang jelas: setiap token membutuhkan sekitar sembilan kali komputasi aktif milik Lightning, dan model ini memerlukan sekitar 66GB bobot dalam BF16 — atau sekitar 20GB pada 4-bit — yang harus tersimpan di memori sebelum model menghasilkan apa pun.

Tidak ada rancangan yang lebih baik secara abstrak. Model dense cenderung lebih sederhana untuk di-fine-tune dan kualitasnya lebih dapat diprediksi; model sparse cenderung lebih murah dan lebih cepat untuk dijalankan pada ukuran nominal yang sama. Pertanyaannya adalah properti mana yang masih kurang pada beban kerja Anda.

Untuk apa setiap model dibuat

NVIDIA memposisikan Lightning sebagai lapisan eksekusi dari agen yang selalu aktif — model yang mengambil rencana dari sistem yang lebih besar dan mengolah panggilan alat, penyuntingan berkas, dan langkah browser dengan biaya rendah. Model ini didistilasi dari Nemotron 3 Ultra, hadir dengan speculative decoding multi-token-prediction yang tertanam dalam pra-pelatihan plus model draft terpisah, dan disetel untuk harness alih-alih chat. Kumpulan benchmark yang dipublikasikan mencerminkan hal itu: PinchBench 85,4–86, BrowseComp 36,8–36,97, SWE-bench Verified 51,56–52,8, Terminal-Bench 2.1 sekitar 23,5–24,6.

Nanbeige4.3-33B diposisikan sebagai guru. Kartu model tersebut menyatakannya secara langsung: model ini adalah unggulan dari seri 4.3, yang dimaksudkan untuk didistilasi ke model-model yang lebih kecil seperti Nanbeige4.3-3B yang belum dirilis. Kumpulan benchmark-nya pun luas secara proporsional — 20 baris yang mencakup coding agentik, cowork agentik, dan penalaran — dan pengaturan yang direkomendasikan adalah pengaturan model yang Anda jalankan sendiri: ukuran tensor-parallel 4, panggilan alat XML, preserve_thinking=true untuk penggunaan alat multi-turn.

Yang satu adalah komponen dalam sistem milik orang lain. Yang lainnya adalah model sumber untuk sebuah keluarga. Cara memandang itu menjelaskan hampir semua perbedaan di bawah ini.

Satu-satunya tolok ukur yang mereka miliki bersama tidak dapat dikurangkan.

Kedua kartu melaporkan Terminal-Bench 2.1. Nanbeige mengklaim 80.9. Rentang yang dipublikasikan NVIDIA untuk Lightning kira-kira 23.5–24.6. Secara sekilas itu adalah selisih 56 poin, dan itulah angka yang akan dikutip.

Seharusnya tidak. Terminal-Bench mengukur model di dalam scaffold agen, dan kedua vendor tidak menjelaskan scaffold yang sama. Kartu Nanbeige menyatakan bahwa uji Terminal-Bench 2.1-nya menggunakan Terminus 2 dan bahwa model-modelnya dievaluasi pada upaya berpikir tertinggi dengan harness bersama dan parameter inferensi bersama. Angka NVIDIA berasal dari harness internal mereka sendiri, yang oleh perusahaan itu sendiri ditandai sebagai berpotensi berbeda dari hasil pihak ketiga. Model dense 33B yang diberi loop menguntungkan dan model dengan 3.6B aktif yang diberi harness standar dapat berbeda puluhan poin tanpa ada model yang disalahrepresentasikan.

Pembacaan yang jujur bersifat terarah, bukan numerik: Nanbeige mengklaim kinerja terminal agentik yang jauh lebih kuat, dan klaim itu belum terverifikasi di kedua sisi. Kehati-hatian yang sama berlaku untuk GPQA Diamond (Nanbeige 89,5, Lightning 74,3–75,6) dan AA-LCR (Nanbeige 84,0, Lightning 52,0–60,3). Celah tersebut cukup besar sehingga sebagian perbedaannya mungkin merupakan kemampuan nyata, bukan sekadar harness. Namun, “mungkin” memikul banyak beban dalam kalimat itu, dan belum ada pihak ketiga yang menjalankan perbandingan tersebut.

Yang tidak ambigu adalah liputan independen. Artificial Analysis memberi Nemotron 3.5 Lightning skor 13 pada Intelligence Index-nya. Tidak ada entri untuk Nanbeige4.3-33B. Satu model memiliki pendapat kedua; yang lain memiliki kartu model. Asimetri itu adalah informasi, dan itu merugikan vendor dengan tabel yang lebih lantang.

Konteks 1M di atas kertas, 256K dalam praktik

Artificial Analysis mencantumkan jendela konteks Lightning sebesar 1 juta token. Dokumentasi NVIDIA sendiri lebih konservatif: 262.144 token adalah batas praktis pada satu H100. Kedua angka itu bisa sama-sama benar — arsitekturnya mendukung jendela yang lebih panjang, tetapi perangkat keras yang kemungkinan besar Anda gunakan untuk menjalankannya tidak dapat menampungnya dengan nyaman.

524.288 token pada Nanbeige4.3-33B adalah jendela terlatih pada model dense, dan biaya memori untuk cache KV berskala seiring dengannya. Resep vLLM dan SGLang di kartu model tersebut menggunakan utilisasi memori GPU 0,8 dan ukuran tensor-parallel 4, yang menunjukkan bahwa penerapan yang dimaksud bukan untuk satu kartu.

Untuk pekerjaan agen, perbedaan praktisnya bukan terutama soal nilai maksimum, melainkan apa yang bertahan dalam jangka panjang. Lapisan Mamba hibrida Lightning dirancang agar state tetap murah pada sekuens panjang; attention dense Nanbeige tidak. NVIDIA juga menerbitkan AA-LCR pada 52,0–60,3, yang merupakan skor penalaran konteks panjang, dan Nanbeige menerbitkan 84,0 pada benchmark yang sama. Jika Anda percaya kedua tabel, penalaran konteks panjang Nanbeige jauh lebih kuat. Jika Anda hanya percaya pada yang dikelola secara independen, hanya milik Lightning yang dapat Anda periksa.

Aritmetika menghosting model 33B dense

Di sinilah perbandingan tidak lagi soal kualitas dan beralih menjadi soal pemanfaatan.

Lightning tercantum pada $0,06 per juta token masukan dan $0,20 per juta token keluaran pada endpoint terkelola. Nanbeige tidak memiliki daftar tarif karena tidak ada penyedia yang menerapkannya; daftar tarif menyatakan hal itu secara gamblang. Untuk menggunakannya, Anda menyewa atau membeli GPU dan mengikuti resep tensor-paralel empat arah.

Asumsikan, murni untuk perhitungan aritmetika, bahwa empat GPU kelas H100 masing-masing berbiaya $2 per jam — $8 per jam untuk node tersebut. Agar mencapai titik impas terhadap harga output Lightning, node itu harus menghasilkan 40 juta token output per jam, yaitu sekitar 11.100 token per detik secara berkelanjutan. Model dense 33B pada empat GPU tidak akan mampu melakukan itu. Bahkan dengan biaya GPU sepersepuluhnya, throughput titik impasnya lebih dari seribu token per detik secara berkelanjutan, yang merupakan operasi serving yang serius, bukan eksperimen sampingan.

Kesimpulannya bukan bahwa Nanbeige mahal. Kesimpulannya adalah bahwa melakukan self-hosting model dense 33B hanya mengalahkan eksekutor seharga $0,20 per juta token pada utilisasi yang sangat tinggi dan sangat stabil — atau ketika pekerjaan tidak dapat meninggalkan infrastruktur Anda, yang dalam hal ini perbandingannya tidak pernah tentang harga. Pada volume yang bersifat bursty atau rendah, model sparse terkelola menang dalam hal biaya dengan selisih yang lebar sebelum kualitas masuk ke pembahasan.

Di mana router cocok dalam sistem dua model

Arsitektur yang dijual NVIDIA — planner frontier, eksekutor murah — adalah arsitektur yang akhirnya tetap dipakai sebagian besar tim agen. Itu juga bentuk yang dirancang untuk lapisan routing: DSL routing kami menyusun beberapa model menjadi satu panggilan sehingga planner dan eksekutor dapat berada di balik satu endpoint, dan failover otomatis mencegah eksekutor yang kesulitan berubah menjadi agen yang mandek.

Kami tidak menyediakan Nemotron 3.5 Lightning 30B A3B atau Nanbeige4.3-33B saat ini, jadi ini bukan promosi ketersediaan untuk salah satunya. Ini adalah catatan tentang ke mana biaya integrasi bermuara. Jika Anda menghosting sendiri Nanbeige sebagai planner dan memanggil model yang di-hosting sebagai executor, pembagian itu layak diungkapkan sebagai aturan routing daripada di-hard-code di aplikasi Anda — karena model yang Anda inginkan di setiap slot akan berubah sebelum kuartal berganti.

Anggaran latensi lebih menentukan daripada papan peringkat.

• Jika satu langkah agen harus kembali dalam waktu kurang dari satu detik: Lightning. Pada 295 token per detik, jawaban 300 token selesai dalam sekitar satu detik; model dense 33B di perangkat Anda sendiri tidak akan mampu, dan Nanbeige tidak memiliki opsi hosted untuk dijadikan pembanding.

• Jika langkah tersebut adalah proses penalaran panjang di awal alur kerja: margin yang diklaim Nanbeige pada GPQA, AA-LCR, dan baris agentic mendukungnya — dengan memperhatikan peringatan harness di atas.

• Jika karya tersebut berbahasa Tionghoa: Nanbeige. Bahasa terbitan Lightning adalah Inggris, Spanyol, Prancis, Jerman, Italia, dan Jepang.

• Jika karya tersebut multibahasa Eropa: Lightning. Nanbeige hanya mencantumkan bahasa Inggris dan Tionghoa.

• Jika Anda tidak memiliki GPU dan tidak berminat terhadapnya: Lightning, tanpa tanding.

• Jika data tidak dapat keluar dari jaringan Anda: Nanbeige, dan perbandingan biaya menjadi keputusan infrastruktur, bukan keputusan harga token.

Pertanyaan terbuka

Nanbeige4.3-33B baru berusia dua hari dan belum memiliki cerita penyajian. Itulah fakta yang menentukan tanggal artikel ini. Jika ada penyedia yang mengadopsinya — dan klaim kartu bahwa belum ada yang melakukannya saat ini adalah hal yang perlu dicermati — sisi biaya dari perbandingan ini berubah sepenuhnya, karena 33B dense yang dihosting dengan harga per token yang kompetitif akan meruntuhkan seluruh argumen untuk eksekutor sparse yang lebih kecil pada pekerjaan yang sensitif terhadap kualitas.

Sampai saat itu, posisi yang bisa dipertahankan memang sempit. Nemotron 3.5 Lightning 30B A3B adalah model yang bisa Anda terapkan hari ini, dengan harga yang dipublikasikan, skor independen, dan komputasi per token sekitar sembilan kali lebih sedikit. Nanbeige4.3-33B terdengar lebih mumpuni di atas kertas, dengan jendela native 512K dan angka agentik yang dilaporkan sendiri yang belum direproduksi siapa pun. Jika agen Anda terbatas oleh latensi dan biaya, pilihannya sudah jelas. Jika terbatas oleh kualitas dan Anda memiliki perangkat kerasnya, pilihan itu layak diuji — dan uji tersebut belum dijalankan.