SWE-2 Flash vs Muse Code: Harness-lah yang Sebenarnya Anda Beli

Letakkan kedua angka itu berdampingan dan ceritanya akan terbentuk dengan sendirinya: SWE-2 Flash pada 89,2 di Terminal-Bench 2.1, Muse Code pada 82,9, maka model Cognition 6,3 poin lebih baik daripada agen Meta. Setiap klausa dalam kalimat itu melakukan sesuatu yang patut dipertanyakan. SWE-2 Flash adalah model yang disajikan di dalam Devin. Muse Code adalah agen terminal yang dibangun di sekitar Muse Spark 1.2, dilatih bersama-sama dengannya, dan angka 82,9-nya diukur dengan harness serta pengaturan effort yang melekat. Membandingkan keduanya berarti membandingkan sebuah model dengan sebuah produk, dan produk itulah bagian yang benar-benar akan Anda pasang.

Itu tidak membuat perbandingannya menjadi tidak berguna. Itu mengubah pertanyaan menariknya: bukan model mana yang mendapat skor lebih tinggi, melainkan mana dari dua loop tertutup itu yang lebih banyak mengerjakan pekerjaan Anda untuk Anda, dengan harga berapa, dan dengan seberapa banyak metodenya diungkapkan.

Apa sebenarnya masing-masing hal itu

Muse Code adalah agen pengodean pertama Meta, diluncurkan pada 5 Agustus 2026 untuk macOS dan Linux. Ini adalah CLI dalam kategori yang sama dengan Claude Code atau Codex: ia merencanakan perubahan, mengedit file, menjalankan pengujian, dan memvalidasi hasil di seluruh repositori. Pilihan desain yang membedakannya bersifat arsitektural, bukan kosmetik.

• Agen latar belakang — agen asinkron persisten yang tetap hidup sepanjang sesi, bukan dibuat untuk setiap tugas, sehingga informasi yang dikumpulkan sekali tidak dikumpulkan ulang; beberapa agen dapat berjalan secara paralel di work tree terisolasi tanpa menyentuh salinan kerja.

• Log peristiwa — catatan lokal untuk setiap panggilan model, eksekusi alat, persetujuan, dan penyuntingan, yang membuat sesi dapat diputar ulang secara persis dan aman dimulai ulang setelah crash — mekanisme yang membuat tugas berjam-jam tetap dapat bertahan.

• Skills — perintah slash bawaan yang mencakup langkah rencana, langkah uji-tekan rencana, dan langkah penggerak tujuan.

• Model — Muse Spark 1.2, berbobot tertutup, konteks 1 juta token, $1,25 per juta token masukan dan $4,25 per juta keluaran.

SWE-2 Flash bukanlah sebuah agen. Ini adalah model, yang dilatih pascapelatihan dari Inkling-Small dengan total 276B dan 12B parameter aktif, yang disajikan di dalam Devin Desktop dan Devin CLI. Cognition menyebutnya tiga kali lebih cepat dan seperlima harga SWE-2; aksesnya gratis hingga 30 November 2026; tidak ada API publik, tidak ada ID model, dan tidak ada file bobot yang dapat diunduh.

Jadi bentuk sebenarnya dari perbandingan ini adalah: dua sistem tertutup, masing-masing memasangkan model dengan harness yang dikendalikan oleh pembuatnya. Yang satu mempublikasikan harness dan setelan upayanya. Yang lain tidak.

Baris DeepSWE yang menyatakan bahwa keduanya seri

DeepSWE 1.1 adalah satu-satunya benchmark yang dilaporkan kedua pihak di mana tidak ada pihak yang memaksakan definisi tugas. SWE-2 Flash: 60,1. Muse Spark 1.2 di dalam Muse Code: 59,3. Delapan persepuluh poin.

Itu bukan kesenjangan. Itu skor yang sama yang dilaporkan dua kali, dan fakta yang lebih menarik adalah bahwa kedua sistem mencapai titik itu dari arah yang berlawanan. Model Meta adalah model andalan umum dengan konteks 1 juta dan profil penggunaan alat yang luas; milik Cognition adalah post-train 12B aktif dari basis berbobot terbuka, yang secara eksplisit dioptimalkan untuk segmen murah pasar agen. Konvergensi pada DeepSWE merupakan hasil yang lebih kuat bagi arsitektur yang lebih murah daripada yang disiratkan oleh tabel mentah.

Pada Terminal-Bench 2.1 kesenjangannya lebih besar — 89,2 hingga 82,9 — dan di sini asimetri metodologi terasa mengganggu. Meta menyatakan bahwa angkanya dihasilkan pada upaya xhigh, di dalam harness Muse Code yang dilatih bersama, di sandbox Daytona terisolasi, dengan pass@1 dirata-ratakan atas lima percobaan. Cognition tidak menyatakan satu pun dari hal itu. Unggahan September-nya untuk SWE-2 menyertakan lampiran metodologi; unggahan 4 November untuk SWE-2 Flash tidak.

Ada juga peringatan di dalam angka Meta sendiri yang berlaku untuk setiap tabel di ranah ini. Meta melaporkan Muse Spark 1.1 sebesar 76,2 pada Terminal-Bench 2.1, sementara papan peringkat publik tbench.ai mencantumkan 80,0 terverifikasi untuk model yang sama. Perbedaannya adalah bahwa satu baris bukanlah sebuah model — itu adalah model ditambah harness ditambah pengaturan effort. Jika selisih 4 poin dapat muncul antara dua laporan untuk model yang sama, celah 6,3 poin antara dua sistem yang diinstrumentasikan secara berbeda bukanlah hasil yang menentukan. Semua angka di bagian ini dilaporkan oleh vendor.

Satu hal lagi yang perlu diperhatikan. Muse Spark 1.2 bukan lagi model terbaru milik Meta: Artificial Analysis kini menandai checkpoint 1.2 sebagai usang dan mengarahkan pembaca ke Muse Spark 1.3. Muse Code diluncurkan pada 1.2, dan 1.2 adalah checkpoint yang dijelaskan oleh setiap angka dalam artikel ini dan yang masih dapat dipanggil.

Konteks: 1M yang diterbitkan versus yang belum diterbitkan

Muse Spark 1.2 hadir dengan jendela konteks 1 juta token, dan arsitektur Muse Code dibangun untuk memanfaatkannya — agen persisten, log peristiwa yang tahan lama, pekerjaan yang berjalan berjam-jam. Kombinasi itulah yang menjadi nilai jual sebenarnya produk ini: bukan sekadar suntingan tunggal yang lebih baik, melainkan agen yang mampu memegang repositori besar dan tugas panjang tanpa kehilangan alur.

SWE-2 Flash sama sekali tidak mempublikasikan context window. Untuk model yang hanya disediakan di dalam agen, kelalaian ini tidak seberapa merugikan dibandingkan dengan model API, karena Devin mengelola konteks atas nama Anda. Tetap saja ini merupakan kelalaian: Anda tidak dapat menyesuaikan skala alur kerja berdasarkan anggaran yang tidak diberitahukan kepada Anda.

Kartu tarif versus satu bulan gratis

• Muse Spark 1.2 — $1,25 per juta token masukan, $4,25 per juta token keluaran. Tersedia tier kontributor berdiskonto di negara-negara tertentu sebagai imbalan atas penggunaan data pelatihan, dan permintaan retensi nol data diterima.

• SWE-2 Flash — tidak ada harga per token. Gratis di dalam Devin hingga 30 November 2026, setelah itu tidak ditentukan.

• Muse Code — agen itu sendiri, yang dihargai berdasarkan penggunaan model, bukan melalui langganan terpisah dalam materi yang telah diterbitkan Meta.

Produk yang belum diberi harga bukanlah produk murah; ia adalah produk yang tidak diketahui. Jika Anda sedang menyusun model biaya untuk kuartal berikutnya, $1.25/$4.25 adalah angka yang dapat Anda masukkan ke spreadsheet dan SWE-2 Flash adalah tanda tanya dengan tenggat waktu yang melekat.

Apa yang dapat Anda panggil, dan apa yang tidak dapat Anda panggil

Di sinilah kedua sistem menyimpang dengan cara yang tidak ada hubungannya dengan benchmark. SWE-2 Flash tidak dapat dipanggil. Tidak ada endpoint untuk mengarahkan klien, tidak ada ID model, dan tidak ada tanggal kapan hal itu berubah. Jika arsitektur Anda membutuhkan model pengodean di balik panggilan HTTP alih-alih di dalam IDE desktop, SWE-2 Flash jelas bukan kandidat bulan ini.

Muse Spark 1.2 adalah cerita yang berbeda. Sisi Meta dalam pertarungan ini sudah bisa dipanggil hari ini — baik Muse Spark 1.2 maupun 1.1 sudah tersedia di katalog OrcaRouter, dengan harga daftar penyedia tanpa markup 0%, sehingga tarif $1.25/$4.25 di atas adalah tarif yang Anda bayar, bukan angka dari reseller. Hal itu penting untuk keputusan spesifik ini: Anda dapat menjalankan Muse Spark 1.2 terhadap repositori Anda sendiri malam ini dan mengetahui apakah nilai 59,3 pada DeepSWE menggambarkan pekerjaan Anda. Anda tidak dapat menjalankan uji setara pada SWE-2 Flash tanpa berada di dalam Devin selama bulan gratis.

OrcaRouter juga memberi Anda failover yang tidak dimiliki oleh pilihan pada satu vendor. Jika Anda menstandardisasi di sisi Meta dan penyedia mengalami penurunan layanan, failover otomatis menjaga panggilan tetap aktif — itulah perbedaan praktis antara "kami memilih model" dan "kami memilih rantai pasok".

Mana yang harus dipilih

Pilih Muse Code jika Anda menginginkan agen yang dapat Anda kendalikan dari terminal, dengan pengaturan upaya yang dipublikasikan, log peristiwa yang tahan lama, pohon kerja terisolasi paralel, dan API di balik model. Hasil seri DeepSWE menunjukkan bahwa Anda tidak kehilangan kemampuan di garis depan; selisih Terminal-Bench menunjukkan bahwa Anda mungkin kehilangan sebagian batas atas, pada angka yang metodenya setidaknya dapat Anda periksa.

Pilih SWE-2 Flash jika Anda pengguna Devin dan pertanyaannya adalah apakah model yang lebih cepat dan lebih murah di dalam IDE yang sudah Anda bayar cukup baik untuk repositori Anda. Jendela gratis hingga 30 November adalah uji coba nyata, dan skor 60,1 pada DeepSWE menunjukkan bahwa model ini tidak akan memalukan.

Apa yang tidak Anda dapatkan dari kedua pilihan itu adalah kepastian. Kedua vendor mengukur sistem mereka sendiri dengan harness mereka sendiri, dan satu-satunya titik data publik yang memungkinkan Anda memeriksa klaim vendor — 80,0 dari tbench.ai untuk Muse Spark 1.1 versus 76,2 milik Meta — menunjukkan bahwa selisih antara baris yang dipublikasikan dan baris yang direproduksi bisa sama besarnya dengan selisih antara kedua produk dalam artikel ini.