Nanbeige4.3-33B Mendapatkan Angka Eksternal Pertamanya: 20, Setara dengan Qwen3.8-27B, dan Dua Kali Lebih Banyak Bicara

Selama dua minggu, satu-satunya bukti bahwa Nanbeige4.3-33B unggul dalam hal apa pun datang dari tabel dua puluh baris yang ditulis lab itu tentang dirinya sendiri. Pada 5 November, itu berubah: Artificial Analysis menempatkan Nanbeige4.3-33B pada Intelligence Index v5.0.1 miliknya di angka 20, skor yang sama dengan yang diberikannya kepada Qwen3.8-27B pada pengaturan penalaran tertingginya — 20 pada komposit, 20,1 untuk model Qwen pada run v5.0 yang mendasarinya. Selisih sepersepuluh poin lebih kecil daripada noise antara dua evaluasi terhadap checkpoint yang sama, sehingga keduanya imbang betul pada satu-satunya komposit publik yang mengukur keduanya.

Itu adalah angka yang dinanti oleh rilis tersebut, dan itu adalah hal yang paling tidak menarik dalam pengukuran itu. Komposit itu menyembunyikan sebuah model yang dua belahannya mengarah ke arah berlawanan: belahan agentik yang jauh di depan model Qwen yang dibuat untuk dikalahkannya, dan belahan pengetahuan yang secara terukur tertinggal darinya. Ini juga menyembunyikan fakta bahwa Nanbeige4.3-33B menghabiskan 160 juta token keluaran untuk mencapai angka 20 itu — lebih dari dua kali lipat dari yang dihabiskan model median di kelas pembandingnya, dan cukup untuk menempatkannya di posisi paling buncit dari delapan pada ukuran verbositas Artificial Analysis.

Jadi pembacaan jujur atas rilis ini tidak lagi "belum terverifikasi." Rilis ini "terverifikasi, dan lebih aneh daripada yang disiratkan tabel vendor." Berikut adalah apa yang sebenarnya dikatakan oleh uji independen, di mana uji itu sejalan dengan angka Nanbeige sendiri, dan satu tempat di mana pengukuran luar masuk lebih tinggi daripada klaim lab itu sendiri.

Apa arti 20, dan apa yang tidak

Artificial Analysis menempatkan Nanbeige4.3-33B di peringkat pertama dari sembilan dalam kelas pembandingnya sendiri, dengan median kelas sebesar 10. Kelas itu terdiri atas sembilan model open-weight berukuran serupa yang dijadikan pembanding dalam grafiknya, dan situs tersebut secara terpisah menyatakan bahwa cakupannya mencakup 144 model dalam kohort pembanding yang lebih luas. Kedua populasi itu layak dipertimbangkan sekaligus: dibandingkan model open-weight yang ukurannya kira-kira sama, model ini adalah yang terkuat yang diukur, dan dibandingkan seluruh bidang — termasuk model tertutup frontier serta yang terbaik dari Qwen, DeepSeek, dan Anthropic — skor 20 adalah hasil papan tengah yang solid.

Kesenjangan antara peringkat #1-dari-9 dan skor kelas menengah itu layak dipertahankan, karena itulah tepatnya kesenjangan yang hilang ketika sebuah rilis diringkas sebagai "mengalahkan Qwen." Model bobot terbuka 33B yang berada di kelas menengah pada komposit yang didominasi model-model beberapa kali lipat ukurannya adalah pencapaian nyata. Ini bukan hasil terdepan, dan tidak ada apa pun dalam kosakata rilis ini yang boleh menyiratkan sebaliknya.

Yang tidak disertakan indeks adalah harga. Tidak ada harga, karena tidak ada endpoint yang dihosting: Artificial Analysis mencatat "Tidak ada API yang tersedia untuk publik," pemetaan penyedia inferensi Hugging Face untuk repositori tersebut kosong, dan setiap pelacak yang mencantumkan model tersebut menunjukkan biaya sebagai tidak tersedia. Biaya Anda adalah perangkat kerasnya.

Kedua bagian dari model tersebut tidak sependapat

Artificial Analysis tidak menerbitkan satu angka tunggal, dan sub-skor adalah tempat model ini menjadi terurai dengan jelas. Bacalah keduanya sebagai dua kolom.

• Terminal-Bench 4.0 (harness Artificial Analysis) — Nanbeige4.3-33B 29,8%, menempati peringkat ke-56 dari seluruh konfigurasi di papan peringkat. Qwen3.8-27B pada xhigh mencetak 5,6% pada harness yang sama.

• FrontierCode 2.0 — Nanbeige4.3-33B 10,7%, peringkat ke-81. Qwen3.8-27B pada xhigh mencetak 14,9%, jadi tolok ukur kualitas kode justru sebaliknya.

• AA-Omniscience v1.1 — Nanbeige4.3-33B memperoleh skor bersih −4,4 dengan akurasi 11,7%. Qwen3.8-27B pada xhigh memperoleh skor bersih −6,4 dengan akurasi 17,3%. Qwen lebih banyak tahu; Nanbeige memperoleh skor bersih lebih baik karena lebih sering menolak menjawab.

• Non-halusinasi AA-Omniscience — Nanbeige4.3-33B 81,8%, peringkat ke-7 di seluruh situs. Qwen3.8-27B pada xhigh mencetak 71,4%.

• AutomationBench — Nanbeige4.3-33B 53,1%, peringkat ke-82. AA-Briefcase v1.1 — 1.162, peringkat ke-90. Terminal-Bench-Science 0.1 — 0,9%, peringkat ke-89.

• HLE-Diamond — 6,9%, peringkat ke-117. CritPt v2 subset sulit — 15,5%, peringkat ke-85. GDP.pdf — 11,2%, peringkat ke-135.

Polanya konsisten di seluruh baris tersebut. Ketika tugasnya adalah "mengoperasikan terminal untuk waktu yang lama dan tidak berhenti lebih awal," model ini kira-kira lima kali skor model Qwen. Ketika tugasnya adalah "mengetahui suatu fakta," model ini tertinggal — dan ketika tugasnya adalah "mengetahui suatu fakta atau mengatakan bahwa Anda tidak tahu," model ini unggul dari hampir semua yang ada di papan peringkat, dengan 81,8% non-halusinasi.

Kombinasi itu bukan kebetulan dari penyetelan. Itulah bentuk model yang dibangun untuk menghasilkan lintasan agen ketika Anda mengarahkan tolok ukur pengetahuan kepadanya. Model guru yang mengarang fakta adalah guru yang meracuni data pelatihan siswa, jadi kalibrasi lebih penting daripada recall dalam pipeline yang menurut Nanbeige sedang mereka bangun. Apakah pertukaran itu disengaja atau muncul secara alami, itulah hal yang paling bisa dipertahankan dari rilis ini.

Masalah verbositas adalah masalah biaya yang terselubung.

Artificial Analysis melaporkan bahwa Nanbeige4.3-33B menghasilkan 160 juta token keluaran saat dievaluasi pada Intelligence Index. Model median di kelas pembandingnya menghasilkan 77,7 juta. Pada peringkat verbositas situs tersebut, model ini berada di posisi terakhir, #8 dari 8 di kelas itu, sekitar 2,06 kali median. Volume masukan adalah 15,4 miliar token, yang menempatkan rasio keluaran terhadap masukan pada 1,034%.

Ada dua hal yang menyusul. Yang pertama adalah bahwa 20 itu mahal untuk dibeli. Jika Anda membayar per token di mana pun, model yang mengeluarkan dua kali lipat token untuk skor komposit yang sama memakan biaya sekitar dua kali lipat per unit kemampuan terukur, dan indeks tidak menormalkan hal itu. Yang kedua adalah bahwa verbositas merupakan masalah latensi sebelum menjadi masalah uang: model dense 33B di GPU Anda sendiri yang menghasilkan dua kali lipat token membutuhkan waktu dua kali lebih lama untuk menyelesaikan suatu tugas.

Setelan rekomendasi Nanbeige sendiri menjelaskan sebagian dari hal itu dan tidak membenarkan semuanya. {{1}}Kartu tersebut meminta batas 262.144 token untuk penalaran dan chat, 65.536 untuk kerja agentik, dengan thinking diaktifkan secara default.{{/1}} Model mana pun yang diberi tahu bahwa ia boleh berpikir selama seperempat juta token akan menggunakan sebagiannya. Namun {{2}}median kelas adalah perbandingan yang adil{{/2}} — model lain di balik indeks yang sama juga merupakan model penalaran — dan {{3}}kelipatan 2,06× tetap bertahan setelah kontrol tersebut{{/3}}.

Untuk deployment yang dihosting sendiri, solusi praktisnya adalah anggaran, bukan pergantian model: batasi token baru maksimum per tugas, dan ukur tingkat kelulusan Anda sendiri pada 8K, 16K, dan 32K sebelum menganggap default kartu tersebut sudah tepat untuk beban kerja Anda. Sebagian besar tugas agentic tidak lagi meningkat setelah titik tertentu, dan model ini tidak akan memberi tahu Anda di mana titik itu.

Satu-satunya baris di mana uji dari pihak luar melampaui angka milik vendor itu sendiri

Kartu model Nanbeige mengklaim Terminal-Bench 4.0 sebesar 23,8 untuk Nanbeige4.3-33B dibandingkan dengan 6,3 untuk Qwen3.8-27B. Artificial Analysis mengukur 29,8. Angka independen itu enam poin lebih tinggi daripada angka yang diterbitkan lab tentang dirinya sendiri.

Itu cukup tidak biasa sehingga layak dinyatakan secara terang-terangan, karena mode kegagalan standar di industri ini justru berjalan sebaliknya — lab melaporkan angka terbaik yang dihasilkan scaffold mereka sendiri, sementara pengujian ulang dari luar menghasilkan angka yang lebih rendah. Vendor yang melaporkan skor agentiknya sendiri lebih rendah dari yang sebenarnya menyiratkan salah satu dari ini: harness yang berbeda di sisi mereka, klaim yang sengaja dibuat konservatif, atau tabel yang disusun sebelum checkpoint final. Tidak ada satu pun yang buruk; semuanya berarti tabel vendor itu bukan batas atas dan tidak boleh dibaca sebagai batas atas.

Bukan berarti setiap baris vendor dapat dipercaya. Klaim terbesar dalam tabel Nanbeige — DeepSWE pada 65,5 berbanding 42,5 milik Qwen, SWE-Atlas-QnA pada 50,8 berbanding 41,9 — belum memiliki padanan independen, dan keduanya merupakan benchmark yang sensitif terhadap scaffold, di mana pilihan harness lebih memengaruhi skor daripada kualitas model. Yang ditetapkan oleh hasil Terminal-Bench lebih sempit dan lebih berguna: arah agentic dari klaim tersebut nyata. Besaran pada setiap baris individual masih belum terverifikasi.

Bagaimana posisi tim yang ingin mencobanya

Aksesnya tidak berubah. Tidak ada endpoint untuk dipanggil, tidak ada daftar harga, dan tidak ada daftar penyedia — bobotnya ada di Hugging Face dengan lisensi Apache 2.0, dan jalur penyajiannya adalah vLLM, SGLang, atau Transformers di perangkat keras yang Anda miliki. Checkpoint bfloat16 berukuran 66,3 GB dalam empat belas shard, dan pada konteks 512K, cache KV saja mencapai sekitar 104 GiB, itulah sebabnya konfigurasi yang berfungsi adalah paralelisme tensor empat arah, bukan satu kartu besar.

Yang berubah adalah Anda kini dapat melewati bagian due diligence yang mahal. Sebelum minggu ini, mengevaluasi Nanbeige4.3-33B berarti menyediakan empat GPU untuk mengetahui apakah klaim agentic-nya bertahan saat diuji dengan harness netral. Angka 29.8 pada Terminal-Bench 4.0 menjawab pertanyaan pertama — arahnya sudah benar — dan angka verbositas menjawab pertanyaan yang tidak ada yang menanyakan, yaitu berapa biaya token yang akan Anda keluarkan per tugas yang diselesaikan.

Jika Anda ingin titik pembanding yang benar-benar bisa Anda gunakan hari ini, Qwen3.8-27B adalah kontrol alaminya: skor komposit yang sama, harga yang dipublikasikan, dan jendela 262K. Model ini berjalan di OrcaRouter dengan biaya $0.33 per juta input dan $2.40 per juta output, dengan kunci yang sama seperti katalog lainnya, dengan harga daftar penyedia diteruskan tanpa markup. Menjalankan rangkaian tugas Anda terhadap model yang dihosting dan model yang dihosting sendiri di balik satu aturan perutean adalah cara termurah untuk mengetahui apakah checkpoint dense 33B pada perangkat keras Anda sendiri mengalahkan 27B yang Anda sewa per token — dan ini adalah pertanyaan yang tidak dapat dijawab Intelligence Index untuk Anda, karena indeks tersebut tidak tahu apa tugas Anda atau berapa biaya GPU Anda.

Hal-hal yang masih benar-benar tidak diketahui memang sempit. Apakah Nanbeige4.3-3B, target distilasi yang hendak diajarkan model ini, mewarisi kalibrasi tersebut sama sekali. Apakah verbositas itu bertahan pada model siswa, karena model kecil yang mengeluarkan 2× token adalah kesalahan yang jauh lebih murah. Dan apakah hasil non-halusinasi tetap berlaku di luar harness Omniscience, karena 81,8% adalah angka yang luar biasa dan angka yang luar biasa layak ditinjau ulang sebelum ada yang membangun pipeline di atasnya.