Nanbeige4.3-33B vs Gemma 4 31B: Apa Arti Sebenarnya dari Selisih 33 Poin dalam Tabel Vendor

Dalam tabel benchmark Nanbeige4.3-33B sendiri, Gemma 4 31B memperoleh skor 0,0 pada Terminal-Bench 4.0. Itulah baris yang harus menjadi titik awal, karena baris itu memberi tahu Anda cara membaca setiap angka lain dalam perbandingan ini. Gemma 4 31B adalah rilis open-weight 30,7 miliar parameter dari Google DeepMind, yang dapat diunduh di bawah Apache 2.0 sejak 2 April 2026, dan materi Google sendiri menyebutnya memperoleh 86,4 pada penggunaan alat τ²-bench dan 80,0 pada LiveCodeBench v6. Model seperti itu tidak gagal pada setiap tugas terminal yang ada. Nilai nol adalah yang Anda dapatkan ketika sebuah benchmark tidak dapat membedakan "tidak mampu" dari "tidak pernah diberi loop alat yang berfungsi."

Nanbeige4.3-33B, sebagai perbandingan, baru berusia dua hari. Repositorinya dibuat pada 24 Oktober 2026 pukul 02:49 UTC, kartu modelnya adalah satu-satunya pengumuman yang dibuat Nanbeige, dan tabel 20 baris pada kartu tersebut adalah satu-satunya sumber untuk setiap angka yang saat ini beredar tentangnya. Gemma 4 31B muncul dalam tabel itu sebagai salah satu dari tiga kolom perbandingan. Belum ada laboratorium independen yang menjalankan kedua model ini terhadap satu sama lain, dan tidak ada vendor yang melakukan benchmark terhadap yang lain di luar satu tabel ini. Jadi versi jujur dari pertarungan ini bukanlah papan skor. Ini adalah argumen tentang baris mana yang bertahan dari pengujian dan baris mana yang sebenarnya mengukur harness.

Apa sebenarnya masing-masing model

Kedua rilis ini terpaut enam setengah bulan, dan asumsi desainnya mencerminkan hal itu.

• {{1}}Parameter{{/1}} — {{2}}Nanbeige4.3-33B adalah 33,1B dense (33.118.977.024 dalam BF16), setiap parameter aktif pada setiap token. Gemma 4 31B adalah 30,7B dense. Keduanya bukan campuran pakar, sehingga throughput berskala dengan jumlah bobot penuh di kedua sisi.{{/2}}

• Konteks — Nanbeige4.3-33B hadir dengan 524.288 token secara native. Gemma 4 31B hadir dengan 262.144. Keduanya luar biasa besar untuk kelas parameter; milik Nanbeige dua kali lipat.

• Modalitas — Nanbeige4.3-33B adalah masukan teks, keluaran teks, bahasa Inggris dan Tionghoa. Gemma 4 31B menerima gambar serta teks, telah dilatih sebelumnya dalam 140+ bahasa, dan hadir dengan pemanggilan fungsi native serta mode berpikir yang dapat dikonfigurasi.

• Lisensi — keduanya Apache 2.0. Ini adalah perbandingan langka di mana pertanyaan lisensi sudah tuntas sebelum Anda memulai.

• Bobot di disk — Nanbeige4.3-33B sekitar 66GB dalam BF16 dan kira-kira 20GB pada 4-bit. Gemma 4 31B berada di rentang yang sama. Keduanya bukan model laptop; keduanya adalah model untuk satu workstation atau satu node.

Satu hal yang tidak berimbang adalah distribusi. Gemma 4 31B memiliki API terkelola, endpoint yang saat ini dicatat Artificial Analysis dengan biaya nol, dan liputan independen. Nanbeige4.3-33B memiliki bobot, kartu model, dan — menurut kata-kata kartu itu sendiri — tidak ada penyedia inferensi yang men-deploy-nya. Asimetri itu bukan penilaian kualitas, tetapi mengubah biaya untuk "mencobanya".

Kolom vendor dan kartu milik Google sendiri tidak cocok

Dua baris dalam tabel Nanbeige dapat diperiksa terhadap angka yang dipublikasikan Google, dan hanya satu di antaranya yang cocok.

• AIME 2026 — Nanbeige memberi kredit kepada Gemma 4 31B sebesar 89,2. Google melaporkan 89,2. Hasilnya persis sama.

• GPQA Diamond — Nanbeige memberikan nilai 91.3 untuk Gemma 4 31B, dan itu adalah satu-satunya baris di mana Gemma mengalahkan nilai Nanbeige sendiri sebesar 89.5. Angka terbitan Google untuk model tersebut adalah 84.3. Itu adalah selisih tujuh poin, dan tidak ada kartu yang menjelaskan konfigurasi di baliknya.

Baris kedua itu layak diperhatikan karena itulah satu-satunya tempat dalam tabel vendor yang memberikan kemenangan kepada lawan. Jika angka tersebut berasal dari pengujian ulang dengan upaya berpikir maksimum, itu adalah hasil yang sah dan Gemma benar-benar unggul dalam pertanyaan sains tingkat pascasarjana. Jika angka itu berasal dari evaluasi dengan konfigurasi berbeda, tabel tersebut membandingkan dua Gemma yang berbeda. Bagaimanapun juga, frasa "Gemma menang di GPQA" yang diulang di setiap tulisan sekunder minggu ini bergantung pada angka yang tidak dipublikasikan Google.

Sisa kolom Gemma lebih sulit diaudit karena Google melaporkan benchmark yang berbeda. Tabel Nanbeige menempatkan Gemma pada 18,6 di Tau3-Bench; kartu Google menempatkannya pada 86,4 di τ²-bench. Itu adalah versi berbeda dari keluarga benchmark tersebut, jadi keduanya tidak kontradiktif — tetapi keduanya juga bukan perbandingan, dan selisih 68 poin di antara keduanya adalah perkiraan yang wajar tentang seberapa besar pilihan harness dan versi dapat menggeser skor satu model.

Membaca angka nol dengan benar

Tiga baris di kolom Gemma hampir nol: 0,0 pada Terminal-Bench 4.0, 2,7 pada DeepSWE, dan 3,3 pada SWE-Atlas-QnA. Inilah baris-baris yang beredar di media sosial, dan angka-angka itu adalah yang paling tidak informatif dalam tabel.

Nilai mendekati nol pada benchmark agentik setidaknya punya tiga kemungkinan penyebab: model tidak dapat menyelesaikan tugas, model tidak dapat mengendalikan alat yang disediakan harness, atau harness telah disetel untuk templat obrolan dan format pemanggilan alat yang berbeda. Kartu Nanbeige menyatakan secara eksplisit bahwa hasil mereka sendiri menggunakan Terminus 2 untuk Terminal-Bench 2.1 dan mini-swe-agent v2.4.6 untuk Terminal-Bench 4.0, DeepSWE, dan SWE-Atlas-QnA. Kartu itu tidak menyebut apakah Gemma 4 31B diberi scaffold yang sama dengan format pemanggilan alatnya sendiri, atau dimasukkan ke scaffold milik Nanbeige yang berorientasi XML. Keduanya menghasilkan angka yang sangat berbeda, dan hanya salah satunya yang benar-benar tentang model.

Ini bukan alasan untuk mengabaikan hasil Nanbeige. Nanbeige4.3-33B dibangun di sekitar pengodean agentik — kartunya merekomendasikan format pemanggilan alat XML, preserve_thinking=true untuk penggunaan alat multi-giliran, dan suhu 1.0 untuk tugas agentik — jadi tidak mengherankan jika model ini berkinerja baik di dalam harness yang dibuat untuknya. Ini adalah alasan untuk memperlakukan kolom Gemma sebagai batas bawah, bukan sebagai vonis.

Tolok ukur asimetri tidak menetapkan harga: gambar

Gemma 4 31B menerima gambar. Nanbeige4.3-33B tidak. Satu kalimat itu menentukan lebih banyak penerapan nyata daripada baris mana pun dalam tabel.

Jika agen Anda membaca tangkapan layar, faktur, bagan, formulir hasil pindai, atau status UI, Nanbeige4.3-33B bukan kandidat pada skor benchmark berapa pun. Anda memerlukan model ekstraksi terpisah di depannya, dengan latensi, biaya, dan mode kegagalannya sendiri, dan kualitas pipeline kemudian akan menjadi kualitas model ekstraksi tersebut, bukan kualitas 33B. Gemma melakukan langkah itu secara native, dan MMMU-Pro sebesar 76.9 serta MATH-Vision sebesar 85.6 yang diterbitkan Google menunjukkan bahwa ia melakukannya dengan kompeten, bukan sekadar seremonial.

Sebaliknya, jika pekerjaannya hanya teks — kode, log, dokumen panjang, jejak alat multi-putaran — kemampuan gambar menjadi beban mati yang Anda bayar pada setiap forward pass. Itulah kasus yang dirancang untuk Nanbeige, dan itu merupakan porsi besar dari pekerjaan agentic.

512K versus 256K, dan untuk apa jendela itu

Jendela 524.288 token Nanbeige dua kali lipat dari 262.144 milik Gemma, dan kedua angka itu cukup besar sehingga perbedaannya hanya relevan untuk bentuk pekerjaan tertentu.

Jendela 256K menampung kira-kira sebanyak kode sumber repositori berukuran sedang, atau beberapa ratus halaman teks. Jendela 512K menampung dua kali lipatnya. Untuk satu dokumen panjang ditambah jawaban panjang, keduanya memadai; bagi agen yang mengakumulasi keluaran alat selama ratusan giliran, jendela yang lebih besar memberi Anda lebih banyak giliran sebelum peringkasan atau eviction. Kartu Nanbeige merekomendasikan hingga 262.144 token baru untuk penalaran dan chat, yang menunjukkan bahwa anggaran penalaran praktis lebih dekat ke 256K daripada ke 512K penuh. Batas keluaran Gemma umumnya dikonfigurasi pada 131.072.

Tidak ada vendor yang menerbitkan tolok ukur recall konteks panjang di sini, jadi tidak ada cara jujur untuk mengatakan 512K atau 256K milik siapa yang lebih baik digunakan. Ukuran konteks adalah klaim kapasitas, bukan klaim kualitas, dan kedua kartu hanya sampai di situ.

Berapa biaya untuk menelepon masing-masing

Gemma 4 31B adalah satu-satunya dari kedua model ini yang dapat Anda panggil sebagai layanan saat ini. Di OrcaRouter harganya $0,13 per juta token input dan $0,38 per juta output, dengan input yang di-cache seharga $0,02 — penerusan harga daftar penyedia tanpa tambahan markup, yang juga menjadi sebabnya perubahan harga vendor masuk ke katalog kami pada hari yang sama saat diumumkan. Artificial Analysis saat ini mencantumkan endpoint milik Google sendiri pada $0,00 input dan $0,00 output, yang hampir pasti mencerminkan tier promosi atau gratis, bukan harga yang bertahan lama; perlakukan itu sebagai kanal uji coba, bukan pos anggaran.

Nanbeige4.3-33B tidak memiliki harga per token untuk dikutip. Bobotnya gratis di bawah Apache 2.0, dan kartu modelnya menyatakan bahwa tidak ada penyedia inferensi yang men-deploy model tersebut. Menjalankannya berarti empat GPU pada ukuran tensor-parallel 4 menurut resep vLLM dan SGLang dari kartu itu sendiri, yang tetap terbuka baik ada permintaan maupun tidak. Biaya marginal sebuah token kemudian adalah listrik dan tingkat utilisasi Anda, bukan kartu tarif. Siapa pun yang membandingkan "$0.13 input" dengan "gratis" sedang membandingkan tagihan dengan belanja modal.

Ini juga argumen praktis untuk mempertahankan router dalam alur bahkan ketika model baru di-hosting sendiri. Keputusan yang sebenarnya dihadapi sebagian besar tim bukanlah "mengganti Gemma" melainkan "mengirim 5% lalu lintas ke hal baru dan melihat apa yang terjadi." Menjaga penyedia saat ini tetap dapat dijangkau melalui satu kunci, dengan failover otomatis jika endpoint eksperimen mati, menjadikannya perubahan routing alih-alih migrasi.

Ketika Gemma 4 31B memang jawaban yang tepat

Empat kondisi menyelesaikan ini tanpa tabel benchmark.

• Beban kerja mencakup gambar, PDF, atau tangkapan layar. Gemma, tanpa perdebatan.

• Anda memerlukan lebih dari sekadar bahasa Inggris dan Tionghoa. Gemma telah dipralatih dalam 140+ bahasa; Nanbeige mencantumkan dua.

• Anda tidak ingin memiliki GPU. Gemma memiliki endpoint terkelola saat ini; Nanbeige memiliki bobot dan resep penerapan.

• Anda memerlukan pendapat kedua tentang kualitas. Gemma memiliki Artificial Analysis Intelligence Index sebesar 15, yang tergolong moderat tetapi independen. Nanbeige sama sekali tidak memiliki entri di sana, jadi setiap angka tentangnya adalah pihak vendor yang menilai hasil kerjanya sendiri.

Jika dibalik, kasus Nanbeige sama jelasnya: pekerjaan agen yang hanya berbasis teks, jejak penggunaan alat yang panjang, tim dengan GPU, dan kesediaan menjalankan format alat XML yang direkomendasikannya. Pada bentuk pekerjaan seperti itu, tabel Nanbeige sendiri mengklaim keunggulan 33,7 poin pada Terminal-Bench 2.1 — 80,9 berbanding 47,2 — dan keunggulan 62,8 poin pada DeepSWE. Margin itu cukup besar sehingga kemungkinan mengandung sinyal nyata bahkan setelah Anda memperhitungkan keunggulan harness. Namun margin itu tidak cukup besar untuk mempertaruhkan jalur produksi tanpa menjalankannya sendiri.

Lomba memanggang sore hari mengalahkan meja ini

Jika Anda benar-benar memilih di antara keduanya, pengujiannya murah dan tidak menuntut Anda mempercayai salah satu vendor. Ambil dua puluh tugas nyata dari log agen Anda sendiri. Jalankan setiap model dengan format pemanggilan alat dan pengaturan berpikir yang direkomendasikan masing-masing — XML untuk Nanbeige, pemanggilan fungsi native untuk Gemma — lalu nilai penyelesaian tugas, bukan kemiripan dengan benchmark. Catat token yang dikonsumsi per tugas yang selesai, karena model dense 33B dan dense 30.7B akan berbeda dalam verbositas bahkan pada harga per token yang sama.

Apa yang akan Anda pelajari dalam satu sore adalah apakah keunggulan agentik Nanbeige tetap bertahan setelah memperhitungkan keunggulan harness-nya sendiri. Sampai seseorang menerbitkannya, ringkasan yang dapat dipertahankan lebih sempit daripada yang disiratkan judul-judul berita: Gemma 4 31B adalah model yang lebih dapat diterapkan dan satu-satunya yang memiliki skor independen; Nanbeige4.3-33B adalah model yang lebih ambisius, dengan jendela 512K native dan sekumpulan angka agentik yang dilaporkan sendiri yang mencolok, belum diaudit, dan berumur dua hari.