Nanbeige4.3-33B vs Gemma 4 26B-A4B: Guru Tanpa Endpoint Melawan Kuda Beban Seharga Enam Sen

Membandingkan Nanbeige4.3-33B dengan Gemma 4 26B-A4B pada sebuah benchmark adalah langkah pertama yang keliru, dan alasannya bukan karena angkanya berdekatan atau berjauhan. Alasannya adalah hanya satu dari dua model ini yang memiliki harga. Gemma 4 26B-A4B adalah model terhosting di OrcaRouter dengan harga $0.06 per juta token input dan $0.33 per juta token output, dengan jendela 262,144 token dan waktu-ke-token-pertama p50 826 milidetik. Nanbeige4.3-33B tidak memiliki endpoint, tidak memiliki daftar tarif, dan tidak ada penyedia inferensi yang tercantum di repositorinya — biayanya adalah empat GPU dan tagihan listrik Anda.

Pertanyaan sebenarnya bukanlah model mana yang skornya lebih tinggi. Pertanyaannya adalah apakah selisih kemampuan antara guru dense 33 miliar parameter dan mixture-of-experts 26 miliar parameter yang mengaktifkan 3,8 miliar parameter per token layak dipindahkan dari pos biaya terukur menjadi pos belanja modal. Itu pertanyaan yang bisa dijawab dengan aritmetika, dan aritmetika itu tidak sebegitu menguntungkan bagi model yang lebih besar seperti yang disiratkan tabel benchmark.

Skor indeks tidak memiliki nomor pasangan

Nanbeige4.3-33B berada di peringkat 20 pada Indeks Kecerdasan Artificial Analysis v5.0.1. Gemma 4 26B-A4B sama sekali tidak memiliki skor v5: halaman Artificial Analysis-nya mencantumkan skor komposit sebagai N/A, menyatakan "Tidak diketahui dari 4 unit untuk Kecerdasan," dan mencatat tidak ada API yang tersedia untuk publik untuk menjalankan harness saat ini terhadapnya. Skor apa pun yang diperolehnya pada indeks sebelumnya termasuk dalam rubrik yang sudah tidak ada lagi.

Kedua fakta itu tidak dapat saling dikurangkan. Indeks v5 adalah himpunan evaluasi yang berbeda dan basisnya telah diubah dari pendahulunya, dan model yang mendapat skor bagus berdasarkan metodologi lama belum tentu akan berada di posisi yang sama atau mendekati posisi yang sama berdasarkan metodologi baru. Siapa pun yang menunjukkan kepada Anda perbandingan "20 versus berapa pun skor Gemma tahun lalu" sedang membandingkan dua ujian yang berbeda. Pernyataan yang jujur adalah bahwa Gemma 4 26B-A4B belum diukur pada komposit saat ini dan Nanbeige4.3-33B terukur pada 20, dan sampai keduanya muncul di v5, tidak ada delta indeks yang dapat dikutip.

Yang memang ada pada harness bersama adalah Terminal-Bench. Artificial Analysis menjalankan Gemma 4 26B-A4B pada 39,0% di Terminal-Bench 2.1. Mereka menjalankan Nanbeige4.3-33B pada 29,8% di Terminal-Bench 4.0 — benchmark yang berbeda dan lebih sulit, jadi sekali lagi bukan selisih. Kartu milik Nanbeige sendiri mengklaim 80,9 pada Terminal-Bench 2.1 untuk Nanbeige4.3-33B dibandingkan 73,0 untuk Qwen3.8-27B, tetapi baris itu dilaporkan oleh vendor dengan harness Terminus 2 dan belum direproduksi secara independen. Bacalah sebagai "Nanbeige yakin model ini kuat di sini," bukan sebagai angka.

Untuk apa setiap model sebenarnya dibentuk

Arsitekturnya memberi tahu Anda lebih banyak daripada hasil benchmark, karena kedua desain tersebut mengoptimalkan untuk kendala yang berlawanan.

• Bentuk — Nanbeige4.3-33B memiliki 33,1B parameter, semuanya dense, diaktifkan pada setiap token. Gemma 4 26B-A4B memiliki total 25,2B dengan sekitar 3,8B aktif per token, rasio 6,6:1.

• Memori untuk bobot — 66,3 GB pada bfloat16 untuk Nanbeige4.3-33B di empat belas shard. Gemma 4 26B-A4B muat dalam sekitar 18 GB pada 4-bit, yang merupakan satu kartu konsumen.

• {{1}}Konteks{{/1}} — {{2}}524.288 token native untuk Nanbeige4.3-33B{{/2}}, {{3}}tanpa penerapan penskalaan{{/3}}, versus {{4}}262.144 untuk Gemma 4 26B-A4B{{/4}}. {{5}}Keduanya dilayani pada 262K di OrcaRouter untuk model Gemma.{{/5}}

• Modalitas — teks masuk, teks keluar, bahasa Inggris dan Mandarin, untuk Nanbeige4.3-33B. Gemma 4 26B-A4B menerima teks, gambar, dan video lalu mengembalikan teks, yang mengakhiri perbandingan untuk pipeline apa pun yang membaca tangkapan layar.

• Lisensi — Apache 2.0 pada keduanya, sehingga posisi hukumnya identik dan keputusannya murni bersifat teknis dan ekonomis.

• Penalaran — keduanya hadir dengan mode berpikir aktif secara default dan keduanya menyediakan cara untuk menurunkannya. Nanbeige4.3-33B merekomendasikan batas maksimum 262,144 token untuk penalaran dan 65,536 untuk pekerjaan agentik; Gemma 4 26B-A4B dalam praktiknya membatasi output jauh lebih rendah, sekitar 33K token pada sebagian besar rute.

Pasangan terakhir itu adalah intinya. Model Nanbeige dirancang untuk berjalan panjang — sesi terminal yang panjang, lintasan agen yang panjang, rantai penalaran yang panjang — dan setiap token tersebut menghabiskan waktu GPU Anda dengan tarif model padat. Model Gemma dirancang agar murah per token, itulah sebabnya Google dapat merilisnya pada 3,8B aktif dan mengapa biayanya enam sen untuk memulai percakapan.

Sebuah contoh yang dikerjakan secara lengkap, karena ini adalah keputusan biaya

Ambil sebuah tugas yang membaca 20.000 token masukan dan menghasilkan 3.000 token keluaran, lalu jalankan tugas itu seribu kali sehari.

Pada daftar {{2}}OrcaRouter{{/2}} untuk {{1}}Gemma 4 26B-A4B{{/1}}, setiap panggilan biayanya {{3}}20,000{{/3}} × {{4}}$0.06{{/4}} per juta untuk input — $0.0012 — ditambah {{5}}3,000{{/5}} × {{6}}$0.33{{/6}} per juta untuk output — $0.00099. Itu berarti {{7}}$0.00219{{/7}} per panggilan, atau {{8}}$2.19{{/8}} per seribu panggilan, atau sekitar {{9}}$66{{/9}} sebulan pada volume tersebut.

Pada Nanbeige4.3-33B tidak ada harga per panggilan untuk dihitung, karena tidak ada panggilan. Anda memerlukan perangkat keras. Pada bfloat16, bobotnya saja 66,3 GB, yang tidak muat pada satu kartu 80 GB bersama KV cache yang berguna begitu konteks bertambah: setiap token dalam cache memakan sekitar 208 KiB, jadi percakapan 32K token menambahkan sekitar 6,5 GiB per sekuens. Paralelisme tensor empat arah adalah konfigurasi yang diasumsikan oleh kartu Nanbeige sendiri, dan itu adalah batas minimum untuk penerapan serius, sebelum Anda menghitung node kedua yang Anda perlukan untuk redundansi.

Jika keduanya diletakkan berdampingan, kesimpulan yang jujur adalah bahwa kedua model ini bukan substitusi pada volume rendah. Di bawah beberapa juta token per hari, Gemma 4 26B-A4B lebih murah satu orde besaran, dan kesenjangan kemampuan agentiknya harus sangat besar untuk menutup selisih itu. Di atas volume tersebut, biaya tetap self-hosting teramortisasi dan perbandingannya menjadi nyata — dan saat itulah kekuatan 33B pada tugas berhorizon panjang mulai berpengaruh.

Di mana model dense membuktikan manfaatnya

Argumen untuk Nanbeige4.3-33B bukanlah "model ini lebih baik." Melainkan "model ini melakukan hal tertentu yang justru dikerjakan dengan buruk oleh model murah," dan angka-angka independen menunjukkan hal yang mana.

Terminal-Bench 4.0 pada 29,8% adalah, menurut papan Artificial Analysis sendiri, hasil terbaik ke-56 di antara konfigurasi mana pun pada benchmark tersebut. Itu bukan angka utama. Namun, angka itu kira-kira lima kali lipat dari yang mampu dicapai Qwen3.8-27B pada pengaturan penalaran tertingginya dengan harness yang sama, dan ini adalah benchmark yang dibangun di sekitar pekerjaan terminal jangka panjang — jenis tugas di mana model yang menyerah lebih awal mendapat nilai nol, terlepas dari seberapa baik model itu bernalar.

Pola yang sama muncul dalam data kalibrasi. Nanbeige4.3-33B mencetak akurasi 11,7% pada AA-Omniscience tetapi 81,8% non-halusinasi, peringkat ketujuh di seluruh situs. Dalam loop agen, model yang mengatakan "Saya tidak tahu" alih-alih mengarang jalur lebih bernilai daripada model yang lima poin lebih baik dalam trivia tetapi berfabrikasi ketika kehabisan jalan. Angka kalibrasi setara untuk Gemma 4 26B-A4B tidak dipublikasikan pada komposit saat ini, jadi ini adalah klaim tentang Nanbeige, bukan perbandingan.

Bagian yang menjadi penentu bagi sebagian besar tim

Kedua model dapat diakses melalui satu kunci jika Anda ingin menguji argumennya alih-alih membacanya. Gemma 4 26B-A4B ada di katalog OrcaRouter dengan harga di atas, dengan jendela 262K dan perutean tanpa retensi data tersedia di endpoint yang sama. Nanbeige4.3-33B tidak ada di katalog — kami tidak menghostingnya, dan tidak ada yang di sini boleh ditafsirkan sebagai klaim bahwa kami menghostingnya.

Yang dimaksud dengan asimetri itu dalam praktik adalah bahwa sisi murah dari perbandingan ini adalah eksperimen lima menit dan sisi mahalnya adalah pengadaan. Jika beban kerja Anda multimodal, atau volume Anda di bawah beberapa juta token per hari, atau Anda butuh jawaban minggu ini, Gemma 4 26B-A4B menang hanya dari segi ketersediaan saja dan pertanyaan benchmark tidak pernah diajukan.

Jika beban kerja Anda adalah otomasi terminal jangka panjang, Anda sudah tahu bahwa model aktif 4B akan kehilangan alur di suatu titik pada jam kedua, dan 29,8% adalah angka yang Anda pedulikan. Lalu pertanyaannya menjadi apakah Anda mampu membiayai empat GPU, dan tidak ada benchmark yang bisa menjawabnya untuk Anda.