
MAI Code 2 vs SWE-2: Dua Tolok Ukur yang Sama, Hanya Diterbitkan oleh Salah Satunya
- OrcaBARUOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 per 1 juta token · 180 tok/s
- tencentBARUTencent: Hy4 Flash2026-11-16$0.02 / $0.07 per 1 juta token · 223 tok/s
- GoogleBARUGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 per 1 juta token · 89 tok/s
- AnthropicBARUAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 per 1 juta token · 98 tok/s
- orcaBARUOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 per 1 juta token · 88 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 per 1 juta token · 134 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 per 1 juta token · 79 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 per 1 juta token · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 per 1 juta token · 118 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 per 1 juta token · 68 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 juta token · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 juta token · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Kecerdasan
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 per 1 juta token · 199 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Kecerdasan
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 per 1 juta token · 114 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Kecerdasan
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 per 1 juta token · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Kecerdasan
MAI Code 2 dan SWE-2 menyebutkan tolok ukur yang hampir sama persis dalam materi peluncuran mereka, dan hanya salah satunya yang memberi tahu Anda skor yang diraihnya. Postingan Microsoft pada 17 November 2026 mencantumkan DeepSWE 1.1, Terminal Bench 2.1, SWE-Atlas, dan FrontierCode v1.1 lalu melaporkan rasionya: 96% dari performa Claude Opus 5.5 dengan 5% dari biayanya. Postingan SWE-2 dari Cognition, yang diterbitkan pada 10 September 2026, mencantumkan dua tolok ukur pertama yang sama dan mencetak angka untuk masing-masingnya: 73,0% pada DeepSWE 1.1, 92,8% pada Terminal-Bench 2.1, 27,3% pada Terminal-Bench 4.0. Angka ketiga itulah yang perlu diingat, karena itulah edisi yang tidak dilaporkan Microsoft — dan angka itu menunjukkan apa yang terjadi pada model pengodean ketika tolok ukur terminal menjadi lebih sulit.
Kedua model juga berbagi batasan distribusi yang membuatnya tidak biasa di kategori ini: tak satu pun memiliki API per-token publik. MAI Code 2 dapat diakses dengan memilihnya di klien GitHub Copilot. SWE-2 berjalan di dalam Devin. Dua model yang tidak dapat Anda panggil dari kode Anda sendiri, salah satunya mempublikasikan angkanya.
Edisi tolok ukur yang tak pernah dijadikan pembuka
Tabel Cognition adalah artefak paling berguna yang pernah diterbitkan oleh salah satu vendor tersebut, dan bukan karena SWE-2 memenangkan sesuatu di dalamnya. Tabel itu berguna karena menunjukkan model yang sama diukur pada dua edisi dari benchmark yang sama.
• Terminal-Bench 2.1 — SWE-2 pada 92,8%, dibandingkan 91,4% untuk Claude Fable 5.1, 89,9% untuk GPT-6 Astra dan 88,3% untuk Kimi K3
• Terminal-Bench 4.0 — SWE-2 sebesar 27,3%, dibandingkan 55,8% untuk Claude Fable 5.1, 57,9% untuk GPT-6 Astra, dan 21,5% untuk Kimi K3
• DeepSWE 1.1 — SWE-2 pada 73,0%, dibandingkan 74,1% untuk GPT-6 Astra, 72,7% untuk GPT-5.6 Sol, dan 67,4% untuk Claude Fable 5.1
• FrontierCode 1.1 Main — SWE-2 sebesar 50,0%, dibandingkan 53,3% untuk GPT-6 Astra dan 50,9% untuk Claude Fable 5.1
Baca dua baris pertama secara bersamaan. SWE-2 berada di peringkat kedua pada 2.1 dan kedua dari belakang pada 4.0, turun sekitar 65 poin, dan bukan hanya itu: Kimi K3 turun 67 poin pada pasangan yang sama. Model yang bertahan adalah model yang disetel untuk pekerjaan berhorizon panjang. Ini bukan keanehan harness satu lab — ini adalah edisi benchmark yang menjadi lebih sulit, dan justru itulah sebabnya "kami menjalankan Terminal Bench 2.1" merupakan klaim yang lebih lemah pada November 2026 dibandingkan pada September.
Microsoft menjalankan Terminal Bench 2.1. Microsoft tidak menerbitkan skor apa pun untuk itu. Microsoft tidak menerbitkan apa pun tentang 4.0. Ketiga fakta itu bersama-sama berarti seorang pembeli tidak dapat menentukan jenis model pengodean seperti apa MAI Code 2 ini: jenis yang tetap bertahan ketika tugas-tugas terminal menjadi lebih panjang, atau jenis yang tidak.
Apa yang sebenarnya diungkapkan masing-masing vendor
Kesenjangan pengungkapan lebih besar daripada harga model-model tersebut, jadi patut dinyatakan secara terang-terangan.
Cognition menerbitkan tabel tujuh model dengan empat benchmark, kumpulan pembanding yang dinyatakan, catatan bahwa model pesaing dijalankan di CLI milik Cognition sendiri pada upaya penalaran terbaik mereka, dan pengungkapan jujur tentang sesuatu yang dikecualikan: Claude Fable 5.1 pada upaya maksimum mencetak 50,3% pada FrontierCode dengan biaya $12,83 per tugas, di bawah hasil upaya sedangnya sendiri, sehingga dikeluarkan dari grafik. Vendor yang memberi tahu Anda titik data mana yang dihapusnya adalah vendor yang memberi Anda alat untuk mengurangi kredibilitas tabelnya.
Microsoft menerbitkan nama-nama benchmark, harness — MSBench, platform evaluasi internalnya, melalui GitHub Copilot CLI dengan subagen dinonaktifkan dan setiap model pada upaya penalaran maksimum — dan rasio yang menjadi rata-rata benchmark tersebut. Tidak ada tingkat kelulusan yang diterbitkan untuk MAI Code 2 pada keempat benchmark itu, tidak ada jumlah parameter, tidak ada batas keluaran, dan tidak ada tabel perbandingan terhadap pesaing bernama selain kedua rasio tersebut. Artificial Analysis tidak memiliki baris untuk model tersebut per 18 November 2026, sehingga tidak ada pembacaan pihak ketiga yang dapat menggantikannya.
Salah satu dari pengungkapan ini memungkinkan Anda mereproduksi penalaran. Yang lain meminta Anda menerima sebuah kesimpulan.
Tidak satu pun model tersebut merupakan endpoint, dan itu mengubah pembelian.
SWE-2 tidak memiliki harga per token yang dipublikasikan dan tidak memiliki API publik. Postingan Cognition menyebutkan bahwa SWE-2 tersedia di Devin Desktop dan CLI, dengan peluncuran bertahap ke Devin Web dan Fusion, dan satu-satunya angka biaya di dalamnya adalah biaya benchmark per tugas — jenis angka yang Anda kutip untuk menunjukkan bahwa pesaing itu mahal, bukan jenis angka yang Anda gunakan untuk menagih.
MAI Code 2 memang memiliki kartu harga yang diterbitkan oleh GitHub: $0,50 per juta token masukan, $0,025 untuk cache, $2,50 keluaran, promo hingga 17 Mei 2027, lalu $1,00 / $0,05 / $5,00. Model ini tidak memiliki antarmuka API sendiri. MAI Code 2 Flash, saudara yang lebih kecil, adalah satu-satunya model dalam keluarga ini yang memilikinya — pratinjau dengan akses terbatas di Microsoft Foundry melalui Responses API yang kompatibel dengan OpenAI.
• Harga — MAI Code 2 sebesar $0.50 / $0.025 / $2.50 per juta token, promosi hingga 17 Mei 2027, sementara tidak ada harga per token yang dipublikasikan untuk SWE-2
• Akses — kursi GitHub Copilot di Pro, Pro+, Max, Business, dan Enterprise, dibandingkan dengan langganan Devin di Desktop dan CLI
• Bobot — tidak terdistribusi di kedua sisi
• Konteks — tidak ada angka konteks yang dipublikasikan untuk SWE-2, dibandingkan 1 juta token pada MAI Code 2 yang hanya tersedia di Visual Studio Code dan Copilot CLI
• Skor benchmark yang dipublikasikan — tidak ada untuk MAI Code 2, dibandingkan dengan empat untuk SWE-2
• Baris indeks independen — tidak ada model yang memilikinya
Intinya secara praktis, kedua pembelian itu adalah pembelian kursi, bukan pembelian token, dan hanya salah satunya yang disertai meteran yang dapat Anda modelkan. Jika tim keuangan Anda memerlukan biaya per unit, MAI Code 2 memberikannya dan SWE-2 tidak. Jika tim engineering Anda perlu mengetahui apakah model tersebut lebih baik pada repositori Anda, SWE-2 memberi Anda tabel perbandingan dan MAI Code 2 memberi Anda rasio.

Untuk apa setiap model dibuat
Pengarahan Microsoft untuk MAI Code 2 adalah pekerjaan perusahaan sehari-hari: membawa kode ke produksi, debugging mendalam, implementasi multi-file, penalaran seluruh repositori, UI dan dasbor. Posting peluncurannya terus terang bahwa model-model tersebut "secara eksplisit belum disetel untuk masalah yang lebih sulit, seperti penelitian sains dasar dan kerja agentic dengan horizon yang sangat panjang" — sebuah kalimat yang terasa janggal di samping klaim Terminal Bench 2.1, karena Terminal-Bench adalah tolok ukur agentic berhorizon panjang. Positioning Microsoft sendiri menyatakan bahwa pihaknya tidak menyetel untuk hal yang diukur oleh tolok ukur itu.
Ringkasan Cognition untuk SWE-2 berjalan ke arah sebaliknya: langkah lebih sedikit, rollout lebih murah, model yang dirancang bersama agen yang menjalankannya. Tulisan itu melaporkan rata-rata langkah per eksekusi turun menjadi 53 pada SWE-2 medium dibandingkan 127 untuk SWE-1.7, medium berbiaya 81% lebih rendah daripada SWE-1.7, dan median 18 langkah hingga suntingan nyata pertama berbanding 48. Itu adalah klaim rekayasa tentang efisiensi agen, dan klaim itu lebih penting bagi pelanggan Devin daripada baris benchmark mana pun, karena klaim itu menentukan berapa banyak jatah bulanan yang dikonsumsi suatu tugas.
Jadi kedua model itu kembali disetel terhadap tujuan yang berbeda: satu untuk tugas sehari-hari di dalam IDE, satu untuk jumlah langkah di dalam agen otonom. Tidak satu pun merupakan versi yang lebih baik dari yang lain.
Di sinilah router membuktikan nilainya ketika tidak ada model pun yang dapat dirutekan.
Baik MAI Code 2 maupun SWE-2 tidak ada dalam katalog OrcaRouter, dan tidak ada cara jujur untuk menyiratkan sebaliknya: yang satu adalah entri pemilih model Copilot, yang lain ada di dalam Devin. Yang diubah oleh lapisan perutean bukanlah akses ke keduanya, melainkan biaya untuk membangun perbandingannya. Kontrol dalam evaluasi apa pun terhadap keduanya harus berupa model yang dapat Anda panggil dan ukur — Claude Opus 5.5, Kimi K3.1 Pro, Qwen3.8-Max, Gemini 4 Carbon — dan model-model itu berada di balik satu kunci dengan harga daftar penyedia dengan markup 0%, sehingga uji benchmark terhadapnya ditagih tepat pada tarif vendor.
Hal itu lebih penting di sini daripada di sebagian besar perbandingan, karena pertanyaan menarik tentang kedua model bersifat komparatif: apakah seorang coder sehari-hari mengalahkan model frontier dalam hal biaya per merge, pada kode Anda? Anda tidak bisa menjawabnya hanya dengan membaca dua tabel vendor yang dihasilkan pada dua harness. Anda bisa menjawabnya dengan menjalankan model yang terukur bersama salah satu dari kedua model ini yang benar-benar dapat dijangkau tim Anda, lalu menghitung tugas yang selesai alih-alih token. Failover otomatis adalah yang menjaga perbandingan itu tetap berjalan ketika batas laju penyedia muncul di tengah proses, dan karena harga diteruskan pada harga daftar, biaya per tugas pada kontrol tidak digelembungkan oleh lapisan yang Anda gunakan untuk mengukurnya.
Mana yang harus dipilih, berdasarkan apa yang dapat Anda verifikasi
• Tim Anda menggunakan Devin dan Anda menginginkan lebih sedikit langkah per rollout — SWE-2, dan angka jumlah langkah serta pengurangan biaya dalam postingan Cognition itulah yang menentukan.
• Tim Anda menggunakan Copilot dan Anda menginginkan token murah untuk perbaikan rutin — MAI Code 2 dengan harga $0.50 dan $2.50, dimodelkan pada tarif Mei 2027 yang digandakan maupun tarif promosinya.
• Anda perlu mempertahankan pilihan itu dengan sebuah angka — SWE-2, karena model itu menerbitkan empat dan model lainnya tidak menerbitkan satu pun.
• Anda memerlukan pekerjaan agentik berhorizon panjang — tidak keduanya, berdasarkan bukti yang tersedia. Microsoft mengatakan pihaknya tidak melakukan penyetelan untuk itu; tabel SWE-2 sendiri menunjukkan keruntuhan 65 poin ketika tolok ukur menjadi lebih sulit.
• Anda memerlukan model biaya per token — MAI Code 2, karena SWE-2 tidak memiliki tarif terpublikasi untuk dimodelkan.

Yang perlu diperhatikan adalah apakah Microsoft pernah menerbitkan angka yang akan membuat perbandingan ini nyata. Tingkat kelulusan Terminal Bench 2.1 akan cukup untuk itu; tingkat Terminal Bench 4.0 akan memastikannya, karena itulah edisi di mana tabel SWE-2 sendiri menunjukkan seperti apa model coding ketika tugas-tugas menjadi lebih panjang. Sampai salah satunya ada, MAI Code 2 adalah kartu tarif dengan janji yang terlampir dan SWE-2 adalah tabel dengan jumlah langkah yang terlampir, dan hanya salah satunya yang dapat diperiksa dari luar vendor.

Dibandingkan dalam artikel ini1
Terdeteksi dari artikel ini · Benchmark: Artificial Analysis · diperbarui setiap hari
