Nanbeige4.3-33B vs Qwen3.8 27B: Mengaudit Klaim 18 dari 20

Nanbeige4.3-33B mengungguli Qwen3.8-27B pada 18 dari 20 benchmark. Itulah klaim yang beredar di internet minggu ini, dan secara teknis itulah yang tertulis di kartu model. Itu juga kalimat dengan penyebut, dan penyebutnya adalah bagian yang menarik. Dari 20 baris tersebut, 19 dinilai dengan poin dan satu berupa angka dolar; empat dari 18 kemenangan selisihnya kurang dari satu poin; dan setidaknya tiga angka Qwen tampaknya disalin dari hasil terbitan Qwen sendiri, bukan dijalankan ulang oleh Nanbeige. Semua itu tidak membuat klaimnya salah. Itu membuat klaimnya lebih sempit daripada kedengarannya.

Pertandingan ini tidak biasa karena Nanbeige memilih Qwen3.8-27B sebagai mitra sparringnya. Qwen3.8-27B dirilis pada pertengahan Agustus 2026, merupakan model dense dengan 27,78 miliar parameter, Apache 2.0, multimodal pada input, dan — tidak seperti Nanbeige4.3-33B — memiliki Artificial Analysis Intelligence Index independen sebesar 34. Jadi ini adalah satu-satunya perbandingan dalam kumpulan ini di mana lawan memiliki skor yang terverifikasi sedangkan subjeknya tidak. Asimetri itu adalah alat terbaik yang kita miliki untuk mengaudit tabel tersebut.

Siapa yang menulis klaim tersebut, dan apa isi penyebutnya

Tabel itu milik Nanbeige. Tabel tersebut diterbitkan pada kartu model Hugging Face milik Nanbeige4.3-33B, dalam repositori yang dibuat pada 24 Oktober 2026. Tidak ada postingan blog pendamping, tidak ada acara peluncuran, dan tidak ada reproduksi pihak ketiga. Setiap angka di kolom Qwen, dan setiap angka di kolom Nanbeige, dihasilkan atau dipilih oleh laboratorium yang membuat perbandingan.

Kedua puluh baris tersebut mencakup tiga kelompok: pengodean agentik (Terminal-Bench 2.1 dan 4.0, DeepSWE, SWE-Bench Pro, SWE-Atlas-QnA, NL2Repo, Scicode, SkillsBench), cowork agentik (Automation Bench, JobBench, GDPval, Claw-Eval, Toolathlon-Verified, DeepPlanning, EnterpriseOps-Gym, YC-bench, Tau3-Bench), dan penalaran (GPQA Diamond, AIME 2026, AA-LCR). Harness diungkapkan dengan lebih cermat daripada sebagian besar kartu vendor: Terminus 2 untuk Terminal-Bench 2.1, mini-swe-agent v2.4.6 untuk Terminal-Bench 4.0, DeepSWE dan SWE-Atlas-QnA, Claude Code untuk NL2Repo dan JobBench, serta GPT-6 Sol sebagai juri untuk SWE-Atlas-QnA. Pengungkapan itu menjadi nilai plus bagi Nanbeige. Itu juga alasan perbandingannya lebih sulit dibaca daripada sekadar jumlah kemenangan.

Dua baris yang Nanbeige kehilangan

• SWE-Bench Pro — Qwen3.8-27B 61,7 versus Nanbeige4.3-33B 60,3. Keunggulan Qwen sebesar 1,4 poin.

• GDPval — Qwen3.8-27B 86,4 melawan Nanbeige4.3-33B 84,8. Keunggulan Qwen 1,6 poin.

Ini adalah dua baris yang diam-diam dihilangkan oleh judul "18 dari 20", dan keduanya menunjuk ke arah yang konsisten. Keduanya adalah benchmark pekerjaan profesional yang bernilai secara ekonomi: SWE-Bench Pro adalah varian rekayasa perangkat lunak yang lebih sulit, dan GDPval mengukur kualitas keluaran pada tugas-tugas pekerjaan nyata. Qwen memenangkan keduanya dengan margin yang kecil secara absolut tetapi stabil di dua keluarga tugas yang berbeda. Jika Anda memilih di antara model-model ini untuk pekerjaan profesional alih-alih untuk papan peringkat, itu adalah dua dari baris yang harus paling Anda bobot, dan keduanya adalah baris di mana subjek kalah.

Kartu Nanbeige tidak menjelaskan kekalahan-kekalahannya. Itu tidak perlu — vendor berhak menerbitkan tabel yang dimenangkannya. Namun pembaca sebaiknya memperhatikan bahwa kekalahan-kekalahan itu mengelompok tepat di tempat benchmark paling dekat dengan "apakah seorang profesional akan menerima keluaran ini," dan kemenangan-kemenangan mengelompok di tempat benchmark paling dekat dengan "apakah agen menyelesaikan loop."

Kemenangan yang tak lebih dari galat pembulatan

Empat dari 18 kemenangan ditentukan dengan selisih kurang dari satu poin.

• Tau3-Bench — 48,8 vs 48,5. Tiga persepuluh poin.

• GPQA Diamond — 89,5 vs 89,2. Tiga persepuluh.

• AIME 2026 — 95,2 vs 94,5. Tujuh persepuluh.

• EnterpriseOps-Gym — 41,0 vs 40,2. Delapan persepuluh.

Dua lainnya berada dalam selisih sekitar dua poin: Toolathlon-Verified pada 70,4 vs 68,5, dan AA-LCR pada 84,0 vs 82,0. Pada benchmark dengan ukuran dan varians seperti ini, selisih di bawah satu poin bukanlah bukti keunggulan. Itu adalah bukti bahwa dua model berada dalam rentang yang sama. Pernyataan ulang yang adil atas headline tersebut adalah "Nanbeige unggul jelas pada 12 dari 20, imbang pada 6, dan tertinggal pada 2" — yang tetap merupakan hasil kuat, dan hasil yang lebih berguna.

Kemenangan besar adalah tempat argumen sebenarnya berada. DeepSWE pada 65,5 vs 42,5 adalah selisih 23 poin. Terminal-Bench 4.0 pada 23,8 vs 6,3 adalah 17,5. Automation Bench pada 54,2 vs 38,3 adalah 15,9. DeepPlanning pada 63,3 vs 49,2 adalah 14,1. YC-bench, tugas yang didenominasi dalam dolar, melaporkan $1.025.437 vs $641.290. Angka-angka itu bukan pembulatan. Semuanya menunjukkan bahwa Nanbeige lebih baik dalam eksekusi multi-langkah berhorizon panjang — jenis pekerjaan di mana model harus menjaga rencana tetap hidup di sepanjang puluhan pemanggilan alat. Itu adalah kisah yang koheren, dan konsisten dengan konteks native 512K milik model serta pengaturan yang direkomendasikan yang berorientasi agen.

Kolom-kolom tersebut mungkin bukan eksperimen yang sama

Inilah pengamatan yang membuat seluruh tabel menjadi rumit. Tiga angka Qwen cocok persis dengan angka yang diterbitkan Qwen sendiri: Terminal-Bench 2.1 pada 73.0, SWE-Bench Pro pada 61.7, dan GPQA Diamond pada 89.2. Qwen menerbitkan ketiganya. Baris-baris yang tidak diterbitkan Qwen — DeepSWE, SWE-Atlas-QnA, NL2Repo, JobBench, Automation Bench, DeepPlanning, YC-bench, Tau3, EnterpriseOps-Gym, Claw-Eval — justru merupakan baris-baris di mana margin Nanbeige paling besar.

Pola itu konsisten dengan dua metode berbeda dalam satu tabel: angka yang disalin untuk benchmark yang sudah diterbitkan pesaing, dan run baru untuk benchmark yang belum diterbitkan. Ini adalah inferensi, bukan fakta yang diungkapkan — kartu Nanbeige menyatakan semua model dievaluasi pada upaya berpikir tertinggi dengan parameter inferensi dan harness yang sama, yang seharusnya menjadi argumen menentang penyalinan. Namun kecocokan persis pada tiga angka independen adalah kebetulan yang perlu ditandai, dan jika kolom Qwen adalah campuran, maka "18 of 20" membandingkan run Nanbeige dengan run Qwen pada beberapa baris dan run Nanbeige dengan run Nanbeige pada baris lainnya.

Ada masalah kedua yang lebih halus. Model milik Nanbeige sendiri dijalankan dalam harness yang direkomendasikan oleh kartunya: pemanggilan alat XML, preserve_thinking=true, temperature 1.0 untuk pekerjaan agentik. Kartu tersebut tidak menyatakan apakah Qwen3.8-27B diberi pengaturannya sendiri yang direkomendasikan, atau dimasukkan ke dalam pengaturan Nanbeige. Jika yang terakhir, sebagian dari selisih 23 poin DeepSWE adalah perbedaan konfigurasi, bukan perbedaan kemampuan. Ini adalah peringatan yang sama yang berlaku untuk setiap perbandingan vendor, dan ini bukan alasan untuk mengabaikan hasilnya — ini adalah alasan untuk mengharuskan pengujian ulang yang netral sebelum menganggapnya sudah final.

Skor independen yang hanya dimiliki oleh satu model

Artificial Analysis memberi Qwen3.8-27B skor 34 pada Intelligence Index miliknya, diukur pada konfigurasi penalaran xhigh, dengan 45,2 token keluaran per detik. Latensi bervariasi menurut penyedia: halaman kami sendiri melaporkan waktu p50 ke token pertama sebesar 2,95 detik, dibandingkan dengan 3,8 detik yang diukur Artificial Analysis pada endpoint yang diambil sampelnya. Indeks tersebut merupakan komposit dari sepuluh evaluasi, termasuk Terminal-Bench 4.0, SciCode, AA-LCR, GDPval-AA, dan AutomationBench-AA — beberapa di antaranya berasal dari keluarga benchmark yang sama dengan yang dilaporkan Nanbeige sendiri.

Nanbeige4.3-33B tidak memiliki entri Artificial Analysis. Itu bukan skandal; model ini baru berusia dua hari. Tetapi itu berarti kedua sisi perbandingan ini tidak setara secara epistemis. Angka 34 milik Qwen adalah angka yang diukur oleh pihak lain. Angka 80.9 milik Nanbeige pada Terminal-Bench 2.1 adalah angka yang diukur oleh Nanbeige. Jika keduanya akurat, Nanbeige kemungkinan besar akan berada jauh di atas 34 pada komposit yang sama — Terminal-Bench 4.0-nya sebesar 23.8 dan SciCode sebesar 52.6 adalah baris yang kuat. Intinya adalah bahwa "kemungkinan besar" itulah yang sedang bekerja, dan itu akan terus bekerja sampai evaluator independen menjalankan model tersebut.

Ini juga alasan praktis untuk memperlakukan klaim 18 dari 20 sebagai argumen pembuka. Klaim itu dapat difalsifikasi dengan cara yang spesifik dan murah: kirimkan Nanbeige4.3-33B kepada evaluator independen dan bandingkan nilai kompositnya. Sampai itu dilakukan, pernyataan jujur terkuat adalah bahwa Nanbeige mengklaim unggul dalam pekerjaan agentik berhorizon panjang dan sedikit tertinggal dalam kualitas keluaran profesional, serta bahwa hanya satu dari dua model itu yang telah diperiksa oleh pihak selain pembuatnya.

Biaya per tugas, bukan per token

Dari kedua model ini, Qwen3.8-27B adalah satu-satunya yang dapat Anda panggil hari ini. Di OrcaRouter, harganya $0,33 per juta token masukan dan $2,40 per juta token keluaran — di bawah $0,50 dan $3,00 yang dicantumkan Artificial Analysis untuk endpoint pihak pertama Alibaba. Model ini disajikan di infrastruktur kami sendiri, bukan dijual kembali dengan harga daftar penyedia, itulah sebabnya harganya berada di bawah harga pihak pertama; untuk model yang kami teruskan, aturan markup 0% berarti harga daftar penyedia adalah yang Anda bayar. Bagaimanapun juga, harga per token cukup bervariasi menurut rute sehingga endpoint pihak pertama tidak otomatis menjadi yang murah. Model ini juga menerima gambar dan video bersama teks, dan memiliki jendela 262.144 token.

Namun, harga per token adalah satuan yang keliru untuk perbandingan ini. Para pengulas melaporkan bahwa Qwen3.8-27B sangat boros token — sekitar tiga kali jumlah token Qwen3.6-27B pada tugas yang sebanding — dan Artificial Analysis memperkirakan sekitar $1,01 per tugas Intelligence Index pada pengaturan xhigh. Model yang unggul dalam harga per token tetapi kalah dalam jumlah token per tugas tetap bisa menjadi pilihan yang lebih mahal. Nanbeige4.3-33B sama sekali tidak memiliki harga per token: bobotnya gratis, tidak ada penyedia inferensi yang menerapkannya, dan menjalankannya berarti deployment tensor-paralel empat GPU yang terus disiagakan baik ada trafik maupun tidak.

Di situlah lapisan perutean membuktikan perannya. Qwen3.8-27B dapat diakses menggunakan key kami hari ini; Nanbeige tidak, dan kami tidak akan berpura-pura sebaliknya. Yang dapat Anda lakukan adalah mempertahankan Qwen sebagai jalur produksi dan merutekan sebagian lalu lintas nyata ke endpoint Nanbeige yang dihosting sendiri untuk mengukur penyelesaian tugas dan token yang dikonsumsi, alih-alih memercayai sebuah tabel. Failover otomatis penting di sini: endpoint eksperimen yang mati di tengah proses harus beralih ke model incumbent, bukan menjatuhkan agen bersamanya. Keputusannya kemudian bergantung pada biaya per tugas selesai versi Anda sendiri, yang merupakan satu-satunya angka yang menggabungkan perilaku token kedua model secara jujur.

Apa yang akan memfalsifikasi ini?

Tiga hasil akan menyelesaikan pertanyaan itu, dan tidak satu pun dari hasil tersebut memerlukan model baru.

• Entri Artificial Analysis untuk Nanbeige4.3-33B. Jika hasilnya berada di dekat atau di atas 34, arah pada tabel vendor terkonfirmasi dan besarannya menjadi dapat diperdebatkan. Jika hasilnya jauh di bawah, klaim 18-dari-20 memerlukan penjelasan yang jauh lebih baik daripada pilihan harness.

• Pengujian ulang netral terhadap {{1}}DeepSWE{{/1}} dan {{2}}Terminal-Bench 4.0{{/2}} dengan kedua model dalam konfigurasi yang direkomendasikan masing-masing. Itulah eksperimen spesifik yang tidak dilakukan tabel saat ini, dan ini menyasar baris-baris yang menyumbang sebagian besar margin Nanbeige.

• Angka token per tugas yang diselesaikan yang telah dipublikasikan untuk keduanya. Harga per token tidak bisa membandingkan model padat 33B yang Anda hosting sendiri dengan model 27B yang rakus token yang Anda sewa. Biaya per pekerjaan yang selesai bisa.

Putusan yang akan kami pertahankan

Nanbeige4.3-33B kemungkinan adalah model agen jangka panjang yang lebih kuat di antara keduanya. Selisih pada DeepSWE, Terminal-Bench 4.0, Automation Bench, dan DeepPlanning terlalu besar dan terlalu konsisten arahnya untuk sepenuhnya menjadi artefak harness, dan konteks native 512K mendukung gambaran itu. Qwen3.8-27B kemungkinan adalah model yang lebih kuat untuk kualitas hasil kerja profesional, karena model ini memenangkan kedua baris yang mengukurnya, dan jelas merupakan pilihan yang lebih dapat digunakan: skor independen, API terkelola, input multimodal, dan harga yang bisa Anda masukkan ke spreadsheet hari ini.

“18 dari 20” adalah hasil nyata yang dikemas seolah-olah lebih besar. Versi akuratnya adalah bahwa model berusia dua hari dari laboratorium yang belum dievaluasi secara independen oleh siapa pun mengklaim keunggulan jelas dalam eksekusi agentik, hasil imbang dalam penalaran umum, dan sedikit defisit dalam keluaran profesional — terhadap lawan yang telah hadir selama sepuluh minggu dan telah diukur oleh pihak selain pembuatnya. Itu adalah klaim yang benar-benar menarik. Namun itu belum menjadi alasan untuk beralih.