Kartu judul untuk MAI Code 2 vs. SWE-2. MAI Code 2 ditampilkan sebagai model Microsoft di dalam GitHub Copilot tanpa API, dengan harga $0.50 untuk input dan $2.50 untuk output per juta token, tanpa tingkat kelulusan yang dipublikasikan dan tanpa bobot. SWE-2 ditampilkan sebagai model Cognition di dalam Devin tanpa harga per token, dengan skor 73,0 persen pada DeepSWE 1.1, 92,8 persen pada Terminal-Bench 2.1, dan 27,3 persen pada Terminal-Bench 4.0.
Guides & Insights

MAI Code 2 vs SWE-2: Dua Tolok Ukur yang Sama, Hanya Diterbitkan oleh Salah Satunya

Penulis

jinhao.song

Tanggal Terbit

Model terbaru · 20Lihat semua model →
Benchmark: Artificial Analysis · diperbarui setiap hari
Kembali ke semua artikel

MAI Code 2 dan SWE-2 menyebutkan tolok ukur yang hampir sama persis dalam materi peluncuran mereka, dan hanya salah satunya yang memberi tahu Anda skor yang diraihnya. Postingan Microsoft pada 17 November 2026 mencantumkan DeepSWE 1.1, Terminal Bench 2.1, SWE-Atlas, dan FrontierCode v1.1 lalu melaporkan rasionya: 96% dari performa Claude Opus 5.5 dengan 5% dari biayanya. Postingan SWE-2 dari Cognition, yang diterbitkan pada 10 September 2026, mencantumkan dua tolok ukur pertama yang sama dan mencetak angka untuk masing-masingnya: 73,0% pada DeepSWE 1.1, 92,8% pada Terminal-Bench 2.1, 27,3% pada Terminal-Bench 4.0. Angka ketiga itulah yang perlu diingat, karena itulah edisi yang tidak dilaporkan Microsoft — dan angka itu menunjukkan apa yang terjadi pada model pengodean ketika tolok ukur terminal menjadi lebih sulit.

Kedua model juga berbagi batasan distribusi yang membuatnya tidak biasa di kategori ini: tak satu pun memiliki API per-token publik. MAI Code 2 dapat diakses dengan memilihnya di klien GitHub Copilot. SWE-2 berjalan di dalam Devin. Dua model yang tidak dapat Anda panggil dari kode Anda sendiri, salah satunya mempublikasikan angkanya.

Edisi tolok ukur yang tak pernah dijadikan pembuka

Tabel Cognition adalah artefak paling berguna yang pernah diterbitkan oleh salah satu vendor tersebut, dan bukan karena SWE-2 memenangkan sesuatu di dalamnya. Tabel itu berguna karena menunjukkan model yang sama diukur pada dua edisi dari benchmark yang sama.

• Terminal-Bench 2.1 — SWE-2 pada 92,8%, dibandingkan 91,4% untuk Claude Fable 5.1, 89,9% untuk GPT-6 Astra dan 88,3% untuk Kimi K3

• Terminal-Bench 4.0 — SWE-2 sebesar 27,3%, dibandingkan 55,8% untuk Claude Fable 5.1, 57,9% untuk GPT-6 Astra, dan 21,5% untuk Kimi K3

• DeepSWE 1.1 — SWE-2 pada 73,0%, dibandingkan 74,1% untuk GPT-6 Astra, 72,7% untuk GPT-5.6 Sol, dan 67,4% untuk Claude Fable 5.1

• FrontierCode 1.1 Main — SWE-2 sebesar 50,0%, dibandingkan 53,3% untuk GPT-6 Astra dan 50,9% untuk Claude Fable 5.1

Baca dua baris pertama secara bersamaan. SWE-2 berada di peringkat kedua pada 2.1 dan kedua dari belakang pada 4.0, turun sekitar 65 poin, dan bukan hanya itu: Kimi K3 turun 67 poin pada pasangan yang sama. Model yang bertahan adalah model yang disetel untuk pekerjaan berhorizon panjang. Ini bukan keanehan harness satu lab — ini adalah edisi benchmark yang menjadi lebih sulit, dan justru itulah sebabnya "kami menjalankan Terminal Bench 2.1" merupakan klaim yang lebih lemah pada November 2026 dibandingkan pada September.

Microsoft menjalankan Terminal Bench 2.1. Microsoft tidak menerbitkan skor apa pun untuk itu. Microsoft tidak menerbitkan apa pun tentang 4.0. Ketiga fakta itu bersama-sama berarti seorang pembeli tidak dapat menentukan jenis model pengodean seperti apa MAI Code 2 ini: jenis yang tetap bertahan ketika tugas-tugas terminal menjadi lebih panjang, atau jenis yang tidak.

Apa yang sebenarnya diungkapkan masing-masing vendor

Kesenjangan pengungkapan lebih besar daripada harga model-model tersebut, jadi patut dinyatakan secara terang-terangan.

Cognition menerbitkan tabel tujuh model dengan empat benchmark, kumpulan pembanding yang dinyatakan, catatan bahwa model pesaing dijalankan di CLI milik Cognition sendiri pada upaya penalaran terbaik mereka, dan pengungkapan jujur tentang sesuatu yang dikecualikan: Claude Fable 5.1 pada upaya maksimum mencetak 50,3% pada FrontierCode dengan biaya $12,83 per tugas, di bawah hasil upaya sedangnya sendiri, sehingga dikeluarkan dari grafik. Vendor yang memberi tahu Anda titik data mana yang dihapusnya adalah vendor yang memberi Anda alat untuk mengurangi kredibilitas tabelnya.

Microsoft menerbitkan nama-nama benchmark, harness — MSBench, platform evaluasi internalnya, melalui GitHub Copilot CLI dengan subagen dinonaktifkan dan setiap model pada upaya penalaran maksimum — dan rasio yang menjadi rata-rata benchmark tersebut. Tidak ada tingkat kelulusan yang diterbitkan untuk MAI Code 2 pada keempat benchmark itu, tidak ada jumlah parameter, tidak ada batas keluaran, dan tidak ada tabel perbandingan terhadap pesaing bernama selain kedua rasio tersebut. Artificial Analysis tidak memiliki baris untuk model tersebut per 18 November 2026, sehingga tidak ada pembacaan pihak ketiga yang dapat menggantikannya.

Salah satu dari pengungkapan ini memungkinkan Anda mereproduksi penalaran. Yang lain meminta Anda menerima sebuah kesimpulan.

Tidak satu pun model tersebut merupakan endpoint, dan itu mengubah pembelian.

SWE-2 tidak memiliki harga per token yang dipublikasikan dan tidak memiliki API publik. Postingan Cognition menyebutkan bahwa SWE-2 tersedia di Devin Desktop dan CLI, dengan peluncuran bertahap ke Devin Web dan Fusion, dan satu-satunya angka biaya di dalamnya adalah biaya benchmark per tugas — jenis angka yang Anda kutip untuk menunjukkan bahwa pesaing itu mahal, bukan jenis angka yang Anda gunakan untuk menagih.

MAI Code 2 memang memiliki kartu harga yang diterbitkan oleh GitHub: $0,50 per juta token masukan, $0,025 untuk cache, $2,50 keluaran, promo hingga 17 Mei 2027, lalu $1,00 / $0,05 / $5,00. Model ini tidak memiliki antarmuka API sendiri. MAI Code 2 Flash, saudara yang lebih kecil, adalah satu-satunya model dalam keluarga ini yang memilikinya — pratinjau dengan akses terbatas di Microsoft Foundry melalui Responses API yang kompatibel dengan OpenAI.

• Harga — MAI Code 2 sebesar $0.50 / $0.025 / $2.50 per juta token, promosi hingga 17 Mei 2027, sementara tidak ada harga per token yang dipublikasikan untuk SWE-2

• Akses — kursi GitHub Copilot di Pro, Pro+, Max, Business, dan Enterprise, dibandingkan dengan langganan Devin di Desktop dan CLI

• Bobot — tidak terdistribusi di kedua sisi

• Konteks — tidak ada angka konteks yang dipublikasikan untuk SWE-2, dibandingkan 1 juta token pada MAI Code 2 yang hanya tersedia di Visual Studio Code dan Copilot CLI

• Skor benchmark yang dipublikasikan — tidak ada untuk MAI Code 2, dibandingkan dengan empat untuk SWE-2

• Baris indeks independen — tidak ada model yang memilikinya

Intinya secara praktis, kedua pembelian itu adalah pembelian kursi, bukan pembelian token, dan hanya salah satunya yang disertai meteran yang dapat Anda modelkan. Jika tim keuangan Anda memerlukan biaya per unit, MAI Code 2 memberikannya dan SWE-2 tidak. Jika tim engineering Anda perlu mengetahui apakah model tersebut lebih baik pada repositori Anda, SWE-2 memberi Anda tabel perbandingan dan MAI Code 2 memberi Anda rasio.

Microsoft's MAI Models page announcing MAI Code 2 and Code 2 Flash under the heading 'Everyday coding at scalable prices', tagged Nov 17, 2026 and Ignite, with the MAI Code 2 model entry below it.

Untuk apa setiap model dibuat

Pengarahan Microsoft untuk MAI Code 2 adalah pekerjaan perusahaan sehari-hari: membawa kode ke produksi, debugging mendalam, implementasi multi-file, penalaran seluruh repositori, UI dan dasbor. Posting peluncurannya terus terang bahwa model-model tersebut "secara eksplisit belum disetel untuk masalah yang lebih sulit, seperti penelitian sains dasar dan kerja agentic dengan horizon yang sangat panjang" — sebuah kalimat yang terasa janggal di samping klaim Terminal Bench 2.1, karena Terminal-Bench adalah tolok ukur agentic berhorizon panjang. Positioning Microsoft sendiri menyatakan bahwa pihaknya tidak menyetel untuk hal yang diukur oleh tolok ukur itu.

Ringkasan Cognition untuk SWE-2 berjalan ke arah sebaliknya: langkah lebih sedikit, rollout lebih murah, model yang dirancang bersama agen yang menjalankannya. Tulisan itu melaporkan rata-rata langkah per eksekusi turun menjadi 53 pada SWE-2 medium dibandingkan 127 untuk SWE-1.7, medium berbiaya 81% lebih rendah daripada SWE-1.7, dan median 18 langkah hingga suntingan nyata pertama berbanding 48. Itu adalah klaim rekayasa tentang efisiensi agen, dan klaim itu lebih penting bagi pelanggan Devin daripada baris benchmark mana pun, karena klaim itu menentukan berapa banyak jatah bulanan yang dikonsumsi suatu tugas.

Jadi kedua model itu kembali disetel terhadap tujuan yang berbeda: satu untuk tugas sehari-hari di dalam IDE, satu untuk jumlah langkah di dalam agen otonom. Tidak satu pun merupakan versi yang lebih baik dari yang lain.

Di sinilah router membuktikan nilainya ketika tidak ada model pun yang dapat dirutekan.

Baik MAI Code 2 maupun SWE-2 tidak ada dalam katalog OrcaRouter, dan tidak ada cara jujur untuk menyiratkan sebaliknya: yang satu adalah entri pemilih model Copilot, yang lain ada di dalam Devin. Yang diubah oleh lapisan perutean bukanlah akses ke keduanya, melainkan biaya untuk membangun perbandingannya. Kontrol dalam evaluasi apa pun terhadap keduanya harus berupa model yang dapat Anda panggil dan ukur — Claude Opus 5.5, Kimi K3.1 Pro, Qwen3.8-Max, Gemini 4 Carbon — dan model-model itu berada di balik satu kunci dengan harga daftar penyedia dengan markup 0%, sehingga uji benchmark terhadapnya ditagih tepat pada tarif vendor.

Hal itu lebih penting di sini daripada di sebagian besar perbandingan, karena pertanyaan menarik tentang kedua model bersifat komparatif: apakah seorang coder sehari-hari mengalahkan model frontier dalam hal biaya per merge, pada kode Anda? Anda tidak bisa menjawabnya hanya dengan membaca dua tabel vendor yang dihasilkan pada dua harness. Anda bisa menjawabnya dengan menjalankan model yang terukur bersama salah satu dari kedua model ini yang benar-benar dapat dijangkau tim Anda, lalu menghitung tugas yang selesai alih-alih token. Failover otomatis adalah yang menjaga perbandingan itu tetap berjalan ketika batas laju penyedia muncul di tengah proses, dan karena harga diteruskan pada harga daftar, biaya per tugas pada kontrol tidak digelembungkan oleh lapisan yang Anda gunakan untuk mengukurnya.

Mana yang harus dipilih, berdasarkan apa yang dapat Anda verifikasi

• Tim Anda menggunakan Devin dan Anda menginginkan lebih sedikit langkah per rollout — SWE-2, dan angka jumlah langkah serta pengurangan biaya dalam postingan Cognition itulah yang menentukan.

• Tim Anda menggunakan Copilot dan Anda menginginkan token murah untuk perbaikan rutin — MAI Code 2 dengan harga $0.50 dan $2.50, dimodelkan pada tarif Mei 2027 yang digandakan maupun tarif promosinya.

• Anda perlu mempertahankan pilihan itu dengan sebuah angka — SWE-2, karena model itu menerbitkan empat dan model lainnya tidak menerbitkan satu pun.

• Anda memerlukan pekerjaan agentik berhorizon panjang — tidak keduanya, berdasarkan bukti yang tersedia. Microsoft mengatakan pihaknya tidak melakukan penyetelan untuk itu; tabel SWE-2 sendiri menunjukkan keruntuhan 65 poin ketika tolok ukur menjadi lebih sulit.

• Anda memerlukan model biaya per token — MAI Code 2, karena SWE-2 tidak memiliki tarif terpublikasi untuk dimodelkan.

Cognition's 'Introducing SWE-2: Pushing the Pareto Frontier' post by the Cognition Team, dated 2026.09.10, with a lede reporting 50.0 percent on FrontierCode 1.1 Main, within one point of Fable 5.1 while being 64 percent cheaper, and describing RL scaled to the multi-trillion-parameter regime.

Yang perlu diperhatikan adalah apakah Microsoft pernah menerbitkan angka yang akan membuat perbandingan ini nyata. Tingkat kelulusan Terminal Bench 2.1 akan cukup untuk itu; tingkat Terminal Bench 4.0 akan memastikannya, karena itulah edisi di mana tabel SWE-2 sendiri menunjukkan seperti apa model coding ketika tugas-tugas menjadi lebih panjang. Sampai salah satunya ada, MAI Code 2 adalah kartu tarif dengan janji yang terlampir dan SWE-2 adalah tabel dengan jumlah langkah yang terlampir, dan hanya salah satunya yang dapat diperiksa dari luar vendor.

Scoreboard comparing MAI Code 2 and SWE-2 across six dimensions. DeepSWE 1.1 not published versus 73.0 percent, Terminal-Bench 2.1 not published versus 92.8 percent, Terminal-Bench 4.0 not published versus 27.3 percent, price $0.50 and $2.50 per million tokens versus no per-token price, weights not distributed on both, and access via GitHub Copilot versus Devin only.

Dibandingkan dalam artikel ini1

Terdeteksi dari artikel ini · Benchmark: Artificial Analysis · diperbarui setiap hari