SWE-2 Flash vs SWE-2: Seberapa Berharga Sebenarnya Kemenangan 0,2 Poin

Tabel perbandingan milik Cognition sendiri memberi SWE-2 Flash tepat satu kemenangan atas SWE-2: 24,0 versus 23,8 pada FrontierCode 2.0. Dua persepuluh poin, pada tolok ukur milik Cognition sendiri, dalam tabel yang dibuat Cognition untuk menunjukkan model yang lebih kecil pada performa terbaiknya. Angka itu juga merupakan angka paling berguna dalam rilis ini, karena apa yang dilakukan baris-baris di bawahnya — dan karena apa yang diam-diam dihilangkan oleh satu baris di bagian atas.

Versi singkat bagi seseorang yang memutuskan di meja kerja alih-alih membaca sampai akhir: Flash bukanlah SWE-2 yang lebih kecil. Ini adalah model berbeda dari basis yang berbeda, disetel untuk ujung pekerjaan yang terbatas, dan diberi harga seperlima di dalam produk yang sama. Kemenangan 0,2 poin itu nyata dan maknanya lebih kecil daripada yang terlihat.

Dua edisi dari tolok ukur yang sama tidak sepakat, dan itulah temuan pertama

Letakkan kedua baris FrontierCode berdampingan, dan tabel itu tidak lagi menjadi kisah tentang model kecil yang menyusul.

• FrontierCode 2.0 — SWE-2 Flash 24.0 vs SWE-2 23.8

• FrontierCode 1.1 Utama — 45,5 vs 50,0

Instrumen yang sama, dua edisi, kesimpulan yang berlawanan. Pada edisi yang lebih baru, Flash sedikit lebih unggul; pada edisi yang lebih lama, Flash tertinggal 4,5 poin. Salah satu baris itu akan berakhir di slide peluncuran dan yang lainnya tidak, dan pilihan yang diambil memberi tahu Anda lebih banyak tentang presenter daripada tentang modelnya.

Ada pembacaan yang dapat dipertahankan bahwa kedua baris itu benar dan tidak ada yang kontradiktif: edisi 2.0 lebih sulit, skor absolut menjadi lebih terkompresi, dan set tugas yang lebih baru mungkin memberi imbalan pada hal yang menjadi tujuan pasca-pelatihan Flash. Ada juga pembacaan yang kurang menyanjung: selisih 4,5 poin antara dua edisi dari satu benchmark adalah ukuran seberapa sensitif instrumen itu, dan margin 0,2 poin berada di dalam sensitivitas tersebut. Cognition tidak menerbitkan interval kepercayaan dan tidak ada pengulangan uji, sehingga perbedaan antara 24,0 dan 23,8 tidak dapat dibedakan dari derau dengan informasi yang diberikan. Yang dapat dikatakan lebih sempit dan tetap berguna — pada benchmark terbaru Cognition, kedua model setara, bukan terpisah.

Ke mana ketiga belas poin itu pergi

Sisa tabel tidak berdekatan, dan bentuk kesenjangannya adalah bagian yang informatif.

• DeepSWE 1.1 — SWE-2 Flash 60,1 vs SWE-2 73,0

• Terminal-Bench 4.0 — 20,0 vs 27,3

• SWE-Atlas QA — 50,0 vs 56,3

• Terminal-Bench 2.1 — 89,2 vs 92,8

• SWE-Bench Pro v2 Hard — 89,9 vs 90,6

• ExploitBench — 34,8 vs 36,1

Urutkan itu berdasarkan seberapa besar kebebasan yang diberikan tugas kepada agen, dan sebuah pola akan muncul. Pada SWE-Bench Pro v2 Hard — isu yang terspesifikasi baik dengan perbaikan yang telah ditentukan — Flash tertinggal 0,7 poin. Pada Terminal-Bench 2.1, ia tertinggal 3,6 poin. Pada Terminal-Bench 4.0, selisihnya 7,3, dan pada DeepSWE 1.1, baris berhorizon panjang, selisihnya 12,9. Semakin banyak tugas menuntut model untuk memutuskan apa yang harus dilakukan selanjutnya, semakin lebar selisihnya.

Itu adalah mekanisme yang masuk akal, bukan yang terbukti. Model dengan sepersepuluh parameter aktif memiliki kapasitas lebih kecil untuk menjaga rencana panjang tetap utuh, dan benchmark horizon panjang adalah tempat hal itu pertama kali terlihat. Namun Cognition tidak menerbitkan jumlah giliran, jumlah token, atau rincian per tugas untuk Flash seperti yang dilakukannya untuk SWE-2 — di mana ia melaporkan rata-rata langkah turun dari 127 menjadi 53 pada upaya sedang — sehingga mekanisme tersebut disimpulkan dari bentuk tabel, bukan didemonstrasikan. Anggap saja sebagai hipotesis yang cocok dengan pengalaman Anda sendiri atau tidak.

Harga dan kecepatan, dalam satu-satunya mata uang yang dikutip Cognition

Tidak ada model yang memiliki harga per token, karena tidak ada yang memiliki endpoint. Yang dipublikasikan Cognition adalah rasio: SWE-2 Flash berbiaya seperlima dari SWE-2 dan berjalan tiga kali lebih cepat, 200 tok/s versus 60. Kedua angka berasal dari metodologi replay yang sama — proses masing-masing model pada tugas gsea-proteomics Terminal-Bench 4.0, diputar ulang pada laju simulasi dengan transkrip dipersingkat agar panjangnya sama — sehingga keduanya menggambarkan profil serving yang dimaksudkan, bukan yang terukur.

Rasio itu tetap menjadi angka yang paling relevan untuk pengambilan keputusan dalam rilis ini, asalkan Anda melakukan langkah berikutnya. Harga per unit pekerjaan tidak sama dengan biaya per tugas yang terselesaikan, dan yang kedua adalah yang sebenarnya dibayar oleh sebuah tim. Jika yang kelima adalah seperlima dari biaya sebuah tugas — satu-satunya pembacaan yang membuat klaim itu bermakna di dalam produk berlangganan — maka aritmetikanya straightforward.

• Pada DeepSWE 1.1 — Flash menyelesaikan 82% dari jumlah tugas dengan seperlima biaya, yang kira-kira 4,1 kali lebih murah per tugas yang diselesaikan bahkan pada baris tempat ia paling buruk kalah.

• Pada FrontierCode 2.0 — ia menyelesaikan sedikit lebih banyak tugas dengan seperlima biaya, yang kira-kira 5 kali lebih murah per tugas yang diselesaikan.

• Pada Terminal-Bench 4.0 — ia menyelesaikan 73% dari jumlah tersebut dengan seperlima biaya, sekitar 3,7 kali lebih murah per tugas yang diselesaikan.

Setiap angka tersebut mengasumsikan bahwa yang kelima berlaku pada biaya sebuah tugas dan bukan pada token, serta bahwa tingkat penyelesaiannya juga berlaku untuk antrean Anda. Cognition tidak menyebutkan yang mana, dan asumsi itu sangat berperan. Jika yang kelima adalah harga token pada model yang menghasilkan lebih banyak token per tugas, keunggulannya menyempit dan bisa berbalik pada baris dengan horizon panjang. Perhitungan aritmetikanya adalah pemeriksaan sensitivitas, bukan pengukuran, dan seharusnya dijalankan lagi terhadap log Anda sendiri.

Yang tidak diragukan adalah periode promosinya. SWE-2 Flash gratis di Devin Desktop dan CLI hingga 30 November 2026. Periode gratis SWE-2 sendiri berakhir pada 10 Oktober. Selama beberapa minggu ke depan, perbandingan harga di dalam Devin adalah seperlima berbanding nol, yang sama sekali bukan perbandingan — itu adalah periode evaluasi dengan tenggat waktu.

Mereka bukan garis keturunan yang sama, dan selisih parameter adalah hal yang paling tidak menarik tentang mereka.

SWE-2 merupakan hasil post-training dari Kimi K3: 2,8 triliun parameter, 104B aktif per token, basis yang telah melalui RL ekstensif untuk coding agentik. SWE-2 Flash merupakan hasil post-training dari Inkling-Small: total 276B, 12B aktif, Apache 2.0, dari Thinking Machines. Bagan ukuran milik Cognition sendiri menempatkan Flash pada 1x dan SWE-2 pada 10,1x. Dalam hal parameter aktif, rasionya lebih dekat ke sembilan banding satu.

Sekarang bandingkan itu dengan skornya. Perbedaan delapan setengah kali lipat dalam parameter aktif menghasilkan 4,5 poin pada FrontierCode 1.1 Main dan tidak sama sekali pada FrontierCode 2.0. Sementara itu, langkah pasca-pelatihan itu sendiri jauh lebih bernilai daripada perbedaan parameter: tabel Cognition menunjukkan Inkling-Small pada 21,5 di FrontierCode 1.1 Main dan Flash pada 45,5, kenaikan 24 poin dari mid-training dan RL pada basis yang sama. Varians yang dapat diatribusikan ke pasca-pelatihan kira-kira lima kali varians yang dapat diatribusikan ke seluruh kesenjangan parameter antara kedua model.

Itulah temuan yang dihasilkan pasangan tersebut bersama-sama, dan temuan itu lebih besar daripada masing-masing model. Ini juga menjelaskan mengapa Cognition bersedia menjual model yang lebih kecil dengan harga seperlima: bagian mahal dari SWE-2 tidak pernah terletak pada model dasarnya. Bagian mahal itu adalah data, verifier, dan lingkungan RL, dan Flash menggunakan kembali investasi tersebut pada model dasar yang lebih murah.

Ada dua catatan penting di sini. Perbandingan ini adalah tabel dari satu vendor atas benchmark yang dikendalikan vendor tersebut, dan tidak ada satu pun di dalamnya yang telah direproduksi secara independen. Selain itu, model dasarnya bukan input yang setara — Kimi K3 hadir dengan konteks satu juta token dan visi native, sedangkan Inkling-Small adalah arsitektur berbeda dengan dukungan multimodal yang berbeda — jadi "post-training yang sama, model dasar yang lebih murah" adalah framing Cognition, bukan variabel yang terisolasi.

Asimetri penetapan upaya

SWE-2 dirilis dengan tiga tingkat upaya penalaran yang terdokumentasi — medium, high, dan max — dan peluncuran Cognition pada September menjelaskan kegunaan masing-masing: medium lebih cepat bertindak, sedangkan high dan max merencanakan lebih banyak, menjelajahi lebih banyak basis kode, dan mengeluarkan lebih banyak upaya untuk verifikasi. Disebutkan juga bahwa skor terbaik setiap model di seluruh pengaturan upaya dilaporkan.

SWE-2 Flash tidak mendokumentasikan kontrol effort sama sekali. Pos peluncuran tidak menyebutkannya, dan tabel benchmark tidak memuat kolom pengaturan. Jadi, perbandingan sebagaimana dipublikasikan adalah SWE-2 pada performa terbaiknya melawan Flash pada konfigurasi yang tidak dinyatakan — yang merupakan perbandingan setara hanya jika Flash memiliki satu pengaturan, dan perbandingan yang tidak adil ke arah yang tidak diketahui jika Flash memiliki beberapa pengaturan.

Jika Flash memang tidak memiliki kontrol effort, itu adalah perbedaan produk yang layak disebutkan, bukan celah dokumentasi. Effort adalah cara Anda menukar biaya dengan kedalaman untuk setiap tugas, dan model tanpa fitur itu memberi Anda satu pengaturan untuk antrean yang berisi pekerjaan sepele maupun sulit. Itulah tepatnya pertukaran yang seharusnya memungkinkan Anda lakukan dengan rasio tersebut.

Masing-masing termasuk dalam antrean yang mana

Pemaparan Cognition sendiri adalah panduan paling jujur di sini. Ia menyebut bahwa model yang lebih kecil “semakin mampu menangani sebagian signifikan dari pekerjaan yang dilakukan agen perangkat lunak, seperti otomasi, tinjauan kode, pengembangan fitur, dan pembaruan dokumentasi”, dan bahwa SWE-2 Flash dikembangkan untuk pekerjaan itu. Bandingkan daftar tersebut dengan bentuk benchmark-nya, dan keduanya sepakat: tugas yang terbatas, definisi selesai yang jelas, volume tinggi, toleransi rendah terhadap latensi.

• Jika tugas cukup dimuat dalam satu prompt dan definisi selesainya tidak ambigu — satu putaran reviu, pembaruan dokumen, fitur kecil, otomasi terjadwal — Flash adalah pilihan default yang tepat, dan aritmetika biaya per tugas terselesaikan di atas menunjukkan bahwa Flash beberapa kali lebih murah bahkan ketika ia menyelesaikan lebih sedikit tugas.

• Jika agen harus memutuskan apa yang perlu dilakukan selanjutnya lebih dari beberapa kali — sebuah migrasi, refaktor lintas-repo, sesi debugging yang hipotesis pertamanya biasanya salah — kesenjangan 13 poin DeepSWE itulah yang sebenarnya Anda beli dengan SWE-2, dan rasio tersebut tidak mengompensasinya.

• Jika Anda tidak dapat menentukan yang mana dari tugas-tugas itu, mulailah di Flash lalu eskalasikan. Itulah keputusan yang menjadi alasan Cognition membangun tingkat upaya pada SWE-2, dan tidak adanya kontrol upaya di Flash menjadikan eskalasi sebagai keputusan perutean, bukan parameter.

Kesalahan yang harus dihindari adalah menggunakan kemenangan 0,2 poin sebagai izin untuk menggeser antrean sulit. Itu hanya satu tolok ukur, satu edisi, satu vendor, dan hal itu berada di dalam sensitivitas instrumen itu sendiri.

Di luar Devin, keduanya bukan kandidat

Tidak ada model yang memiliki API. Tidak ada yang memiliki bobot publik. Jika harness Anda milik Anda sendiri, pasangan itu bukan pilihan yang bisa Anda buat, dan jendela gratis tidak membantu Anda — itu adalah uji coba di dalam produk yang harus Anda beli.

Bagian stack ini yang dapat dijangkau adalah basisnya. Kimi K3 dirutekan di OrcaRouter sebagai kimi/kimi-k3 dengan harga $3,00 per juta token masukan dan $15,00 per juta token keluaran, dengan jendela konteks 1 juta token dan pemanggilan alat native, pada harga daftar penyedia tanpa markup tambahan. Satu API mencakup lebih dari 200 model, yang membuat pembagian antrean di atas dapat diimplementasikan di luar Devin: aturan perutean dapat mengirim pekerjaan berbatas ke model murah dan mengeskalasi pekerjaan berhorizon panjang ke model yang lebih kuat, tanpa klien mengetahui model mana yang menjawab. Failover otomatis seharusnya berada di balik jalur yang dieskalasi, karena model yang Anda eskalasi adalah model yang tidak boleh Anda biarkan tidak tersedia.

Itu adalah produk yang berbeda dari SWE-2 Flash, dan bukan pengganti untuknya. Itu adalah yang Anda lakukan ketika hal yang ingin Anda evaluasi tidak memiliki endpoint.

Apa yang bisa menyelesaikannya

Tiga pengungkapan akan mengubah perbandingan ini dari tabel vendor menjadi bukti. Satu uji independen DeepSWE 1.1 dan Terminal-Bench 4.0 pada kedua model, oleh pihak yang bukan Cognition dan tidak menggunakan harness Cognition. Pernyataan tentang pengaturan effort dan scaffold di balik setiap baris dalam tabel Flash, yang setara dengan apa yang disediakan peluncuran SWE-2. Dan pengujian berulang, sehingga selisih 0,2 poin dapat dibedakan dari variasi antarrun.

Hingga saat itu, pembacaan yang dapat dipertahankan adalah pembacaan yang sempit. SWE-2 Flash adalah saudara yang dioptimalkan untuk biaya yang dibangun di atas basis yang jauh lebih kecil, setara dengan SWE-2 pada benchmark terbaru dan jelas tertinggal dalam pekerjaan berhorizon panjang, dijual dengan rasio yang membuatnya beberapa kali lebih murah per tugas terselesaikan berdasarkan bukti yang tersedia. Itu adalah keputusan produk yang baik dan klaim teknis yang moderat. Kemenangan 0,2 poin bukanlah bukti bahwa ia menggantikan apa pun — melainkan bukti bahwa pada satu instrumen, pada satu hari, selisihnya menyempit cukup jauh hingga hilang ke dalam derau.