SWE-2 Flash vs North Mini Code: Benchmark di Dalam Benchmark

Ini pasangan yang tidak nyaman. SWE-2 Flash adalah post-train 276B parameter yang dirilis pada 4 November 2026 dengan delapan baris benchmark dan tidak ada cara untuk memanggilnya. North Mini Code adalah model 30B parameter yang dirilis Cohere pada Juni 2026 di bawah Apache 2.0, dengan tabel benchmark yang tumpang tindih dengan SWE-2 Flash tepat pada nol baris — dan skor independen yang sama sekali tidak dimiliki SWE-2 Flash. Di atas kertas, model yang lebih baru dan lebih besar menang segalanya. Berdasarkan bukti, model yang lebih tua dan lebih kecil adalah satu-satunya dari keduanya yang telah diukur oleh pihak ketiga.

Pembalikan itulah inti seluruh artikel, dan itu lebih berguna daripada perbandingan skor, karena perbandingan skor sebenarnya tidak dapat dilakukan.

Dua MoEs dengan anggaran parameter yang berlawanan

Keduanya adalah model sparse mixture-of-experts yang dibangun berdasarkan argumen biaya yang sama: bayar untuk parameter aktif, bukan parameter total. Keduanya berada di ujung yang hampir berlawanan dari rentang tersebut.

• Total parameter — SWE-2 Flash 276B vs North Mini Code 30B

• Aktif per token — SWE-2 Flash 12B vs North Mini Code 3B

• Tata letak pakar — SWE-2 Flash mewarisi struktur Inkling-Small; North Mini Code merutekan ke 8 dari 128 pakar

• Konteks — SWE-2 Flash belum diterbitkan vs North Mini Code 256K, dengan output maksimum 64K

• Output maksimum — SWE-2 Flash belum dipublikasikan vs North Mini Code 64K

• Lisensi — SWE-2 Flash ditahan vs North Mini Code Apache 2.0 dalam BF16, FP8, dan W4A16

Perbedaan sembilan kali lipat dalam parameter aktif adalah angka yang menjelaskan semua hal lainnya. SWE-2 Flash bisa menjadi model yang lebih besar dan lebih lambat untuk dilatih yang berjalan murah per token karena hanya 12B darinya yang aktif. North Mini Code berjalan pada sebagian kecil dari itu, itulah sebabnya Cohere dapat menempatkannya pada penerapan kelas laptop dan mengapa batas atas benchmark-nya lebih rendah.

Mengapa Anda tidak bisa menempatkan 89.2 di samping 36.0

Perbandingan yang akan beredar adalah Terminal-Bench: SWE-2 Flash pada 89,2, North Mini Code pada 36,0. Selisih 53 poin yang akan membuat ini bukan artikel. Itu bukan pengurangan yang valid, karena alasan yang mudah terlewat.

North Mini Code melaporkan "Terminal-Bench v2" sebesar 36.0 dan "Terminal-Bench Hard" sebesar 31.1. SWE-2 Flash melaporkan "Terminal-Bench 2.1" sebesar 89.2 dan "Terminal-Bench 4.0" sebesar 20.0. "v2" dan "2.1" adalah label yang berdekatan pada kumpulan tugas yang mungkin sama atau mungkin tidak sama, dan tidak ada vendor yang menyatakan jumlah tugas, harness, atau konvensi penilaian dalam materi yang dibandingkan.

Bukti internalnya adalah bahwa versi-versi ini merupakan instrumen yang sangat berbeda. Dua baris Terminal-Bench milik SWE-2 Flash sendiri terpaut 69 poin — 20.0 pada 4.0, 89.2 pada 2.1. Ketika satu model mencetak 20 dan 89 pada dua benchmark dengan nama yang sama tetapi nomor berbeda, yang diukur adalah versinya. Membandingkan skor 2.x dengan skor v2 dan menyebut selisihnya sebagai kesenjangan kemampuan adalah kesalahan paling umum di ruang perbandingan ini.

Baris lain tampak sama, padahal tidak. North Mini Code melaporkan SWE-bench Pro sebesar 40,2; SWE-2 Flash melaporkan SWE-Bench Pro v2 Hard sebesar 89,9. Generasi benchmark berbeda dan subset yang difilter. North melaporkan SWE-bench Verified sebesar 67,6; SWE-2 Flash sama sekali tidak melaporkan Verified. North melaporkan SciCode 38,2 dan LiveCodeBench v6 70,3; SWE-2 Flash tidak melaporkan keduanya.

Itu menyisakan DeepSWE 1.1, di mana SWE-2 Flash melaporkan 60,1 dan North Mini Code tidak melaporkan apa pun.

Nomor independen yang hanya dimiliki oleh salah satu dari mereka.

North Mini Code memiliki Artificial Analysis Intelligence Index sebesar 27,6 dan Coding Index sebesar 33,4. Itu adalah pengukuran pihak ketiga dengan metodologi yang konsisten, yang dilakukan pada model yang dapat diunduh dan dijalankan ulang oleh siapa saja.

SWE-2 Flash tidak memiliki entri di Artificial Analysis, karena Artificial Analysis mengukur model melalui API dan SWE-2 Flash tidak memiliki API. Setiap angka yang dilekatkan padanya — 60.1, 89.2, 20.0, 24.0 pada FrontierCode 2.0 — adalah milik Cognition sendiri, dihasilkan pada harness yang tidak diungkapkan, dan FrontierCode adalah benchmark milik Cognition sendiri. Tidak ada yang di sini mengatakan angka-angka itu salah. Yang dikatakan adalah bahwa pembaca tidak punya cara untuk membedakan kemampuan nyata dari scaffold yang memberi terlalu banyak bantuan.

Untuk model open-weight 30B dari Juni, AA Coding Index 33,4 adalah skor yang moderat — di atas 25,9 milik GLM-4.7-Flash, di bawah 35,2 milik Qwen3.6 35B-A3B. Ini juga skor yang dapat Anda verifikasi, yang lebih bernilai daripada baris vendor yang tidak dapat Anda verifikasi.

Kecepatan, dan klaim mana yang dapat diperiksa

Cohere melaporkan sekitar 199 token keluaran per detik pada API-nya sendiri, sekitar 2,8 kali throughput Devstral Small 2. Itu adalah pengukuran endpoint yang dilayani: permintaan masuk, token keluar, dan siapa pun yang memiliki akses dapat mereproduksinya.

Cognition melaporkan sekitar 200 token per detik untuk SWE-2 Flash dibandingkan 60 token per detik untuk SWE-2, yang dihasilkan dengan memutar ulang transkrip sesi yang dipersingkat pada laju simulasi. Kedua angka tersebut berselisih dalam satu token per detik satu sama lain dan memiliki arti yang sepenuhnya berbeda. Yang satu adalah pengukuran throughput; yang lain adalah demonstrasi seperti apa model itu pada kecepatan tersebut.

Inilah pola yang terlihat di sepanjang perbandingan ini. Model yang lebih lama menerbitkan klaim yang tidak terlalu mengesankan dengan lebih banyak keterangan metode. Model yang lebih baru menerbitkan klaim yang tampak lebih bagus tanpa satu pun keterangan.

Di mana North Mini Code benar-benar lemah

Tidak semuanya menguntungkan Cohere. North Mini Code adalah spesialis coding dan berperilaku seperti itu: ia mendapat skor 14% pada GDPval-AA dan 37% pada τ²-Bench Telecom, keduanya evaluasi agentic non-coding di mana model umum akan jauh lebih baik. Jika agen Anda harus melakukan apa pun selain menulis dan menguji kode — menangani alur kerja pelanggan, bernalar atas proses bisnis — North Mini Code adalah alat yang salah dan basis SWE-2 Flash yang lebih luas kemungkinan besar adalah pilihan yang lebih baik.

Jendela konteksnya dipublikasikan dan besar — 256.000 token dengan batas keluaran 64.000 token — meskipun jendela yang dapat digunakan tetap bergantung pada stack penyajian. Dan model 30B dengan 3B aktif memiliki plafon yang lebih rendah daripada model 276B dengan 12B aktif; tidak ada tingkat transparansi metodologis yang bisa menutupnya.

Biaya, dan alasan perlunya lapisan perutean

{{1}}North Mini Code{{/1}} gratis diunduh di bawah {{2}}Apache 2.0{{/2}}, dengan tarif hosted pada API milik {{3}}Cohere{{/3}} sendiri dan ketersediaan melalui beberapa platform pihak ketiga. {{4}}SWE-2 Flash{{/4}} gratis di dalam {{5}}Devin{{/5}} hingga {{6}}30 November 2026{{/6}} dan tanpa harga setelah itu, tanpa bentuk yang dapat diunduh dalam jangka waktu apa pun.

Keduanya tidak ada dalam katalog OrcaRouter. Model Cohere dapat di-host sendiri oleh siapa pun yang memiliki perangkat kerasnya, dan model Cognition tidak memiliki endpoint untuk dirutekan — jadi kerangka yang jujur adalah bahwa keputusan ini dibuat di luar katalog kami, apa pun pilihannya. Yang diubah oleh lapisan perutean adalah biaya jika salah pilih. OrcaRouter meneruskan harga daftar penyedia dengan markup 0% dan melakukan failover secara otomatis, sehingga aplikasi yang ditulis terhadap satu ID model bukanlah aplikasi yang ditulis terhadap uptime satu vendor. Untuk pasangan di mana satu sisi mungkin berubah harga pada 1 Desember dan sisi lainnya mungkin tidak akan pernah bisa dipanggil, portabilitas itulah bagian yang layak direkayasa.

Cara memutuskan

Jika Anda menginginkan model yang dapat Anda jalankan, periksa, kuantisasi, dan uji benchmark sendiri, North Mini Code adalah satu-satunya opsi dalam pasangan ini, dan jendela konteks yang dipublikasikan serta anggaran aktif 3B membuatnya praktis pada perangkat keras sederhana. Terimalah batas kemampuan yang lebih rendah dan fokus pengodean yang sempit.

Jika Anda berada di dalam Devin dan periode gratis menjadi intinya, SWE-2 Flash adalah model yang lebih kuat berdasarkan angkanya sendiri dengan selisih yang lebar, dan biaya untuk mencobanya hingga 30 November adalah nol.

Apa yang seharusnya tidak Anda lakukan adalah menempatkan 89.2 di samping 36.0 dan menyimpulkan apa pun. Angka-angka itu berasal dari instrumen yang berbeda, dilaporkan oleh perusahaan yang berbeda, pada keluarga benchmark yang nomor versinya merupakan ukurannya. Satu-satunya pernyataan yang dapat dipertahankan tentang pasangan ini adalah pernyataan yang paling tidak terdengar seperti vonis: salah satunya telah dinilai secara independen dan yang lainnya belum, dan itu adalah perbedaan yang lebih besar daripada baris mana pun di kedua tabel.