Memperkenalkan SWE-2 Flash: Delapan Baris Benchmark dan Tak Satu Pun Endpoint

Cognition mengumumkan SWE-2 Flash pada 4 November 2026, dan postingannya luar biasa banyak angka: delapan baris benchmark, dua delta pelatihan sebelum-dan-sesudah, satu angka kecepatan, dan satu angka harga. Yang tidak dimuatnya adalah cara memanggil model tersebut. SWE-2 Flash berjalan di dalam Devin Desktop dan Devin CLI, gratis hingga 30 November 2026. Tidak ada endpoint API, tidak ada ID model, tidak ada tarif per token, dan tidak ada bobot publik. Untuk peluncuran yang judul utamanya "cepat dan efisien", hal paling berguna yang bisa diketahui seorang pengembang adalah bahwa efisiensi saat ini diukur dalam dolar yang tidak Anda bayar, bukan token yang bisa Anda beli.

Itu bukan bentuk kritik terhadap modelnya. Itu adalah bentuk dari tawarannya, dan itu menentukan siapa yang bisa menyikapi pengumuman ini hari ini dan siapa yang harus menunggu.

Apa yang sebenarnya dikirim pada 4 November

Lembar spesifikasinya cukup pendek untuk muat dalam satu layar, dan itu sendiri sudah informatif — Cognition menerbitkan lebih sedikit tentang model ini dibandingkan yang mereka terbitkan tentang SWE-2 pada September.

• Model dasar — pasca-pelatihan dari Inkling-Small, mixture-of-experts berbobot terbuka milik Thinking Machines Lab dengan total 276B parameter dan 12B aktif, Apache 2.0 di upstream.

• Penyajian — hanya Devin Desktop dan Devin CLI. Tidak ada endpoint yang dihosting, tidak ada API vendor, tidak ada unduhan bobot.

• Harga — tidak ada tarif per token yang dipublikasikan. Akses gratis hingga 30 November 2026.

• Kecepatan — sekitar 200 token per detik dibandingkan 60 milik SWE-2, angka yang dihasilkan Cognition dengan memutar ulang transkrip sesi yang dipersingkat pada laju simulasi, bukan dengan mengukur waktu endpoint langsung.

• Jendela konteks, keluaran maksimum, dan pengaturan effort — tidak disebutkan di mana pun dalam postingan peluncuran.

Pergantian model dasar adalah rekayasa yang benar-benar baru. SWE-2 dibangun di atas Kimi K3, basis dengan total 2,8T / aktif 104B. SWE-2 Flash berada pada basis yang ukurannya kira-kira sepersepuluh dalam hal parameter total dan seperdelapan dalam hal parameter aktif, dan Cognition mengatakan sebagian besar pemulihan kualitas berasal dari tugas pembelajaran penguatan yang lebih baik serta verifikator yang diaudit, bukan dari skala. Tulisan itu juga menjelaskan tahap pelatihan menengah pertama yang digunakan perusahaan sebelum RL: beberapa triliun token artikel ilmiah, blog, dan kode, dijalankan dalam tiga lintasan dengan data paling langka di akhir.

Klaim yang akan diulang, dan baris yang menjadi landasannya

Kalimat yang akan dikutip semua orang adalah bahwa SWE-2 Flash "mengungguli semua model open-weight Amerika, bahkan yang berukuran 3x lebih besar". Ada baiknya mengetahui dengan pasti seberapa banyak dari itu yang bertahan saat berhadapan dengan tabel di bawahnya.

Satu-satunya perbandingan langsung pada benchmark yang sama dalam materi peluncuran terhadap coder open-weight Amerika yang lebih kecil adalah Terminal-Bench 2.1, di mana SWE-2 Flash melaporkan 89,2 berbanding 54,9 milik Flint v1.0. Itu adalah selisih besar pada versi benchmark yang sama, dan merupakan kepingan bukti tunggal terkuat untuk klaim tersebut. Namun Flint v1.0 berukuran total 39,8B, dan North Mini Code dari Cohere berukuran 30B — keduanya tidak 3x lebih besar daripada model 276B. Keduanya lebih kecil, sehingga mengalahkan mereka bukanlah hal yang luar biasa, melainkan tidak mengesankan.

Pembanding yang 3x lebih besar dalam tabel Cognition sendiri adalah Muse Spark Open dengan total 616B dan DeepSeek V4.1 Flash 1017 dengan total 763B. Pada DeepSWE 1.1, SWE-2 Flash melaporkan 60.1 berbanding 60.0 milik Muse Spark Open — sepersepuluh poin, berada di dalam rentang noise apa pun yang masuk akal, dan model yang dibandingkan dengannya tidak disebut sebagai open-weight dalam napas yang sama. Sementara itu, DeepSeek V4.1 Flash 1017 bukan model Amerika, sehingga sama sekali tidak bisa menjadi bagian dari klaim "American open-weight". Model ini juga yang mengalahkan SWE-2 Flash pada Terminal-Bench 4.0 dengan selisih 22.3 poin — 42.3 berbanding 20.0 — yang merupakan kekalahan tunggal terbesar di seluruh perbandingan.

Tidak satu pun dari ini membuat klaim itu menjadi keliru. Ini membuat klaim itu lebih sempit daripada kedengarannya: satu tolok ukur bersama terhadap satu model Amerika dengan bobot terbuka, dan kemenangan sebesar galat pembulatan terhadap model yang lisensinya merupakan pertanyaan tersendiri. Semua angka ini milik Cognition sendiri, dijalankan pada harness yang tidak disebutkan dalam postingan.

Dua angka Terminal-Bench, terpaut tujuh puluh poin

Jika Anda hanya membaca satu hal dari tabel Cognition, bacalah pasangan ini. SWE-2 Flash mencetak 20.0 pada Terminal-Bench 4.0 dan 89.2 pada Terminal-Bench 2.1. Itu bukan perkiraan yang saling bersaing untuk hal yang sama; itu adalah generasi benchmark yang berbeda dengan set tugas dan tingkat kesulitan yang berbeda, dan nomor versi adalah satu-satunya hal yang membedakannya sekilas. Tabel peluncuran yang mencantumkan keduanya tepat mengundang kesalahan membandingkan 20.0 dengan skor 2.1 milik pesaing, atau 89.2 dengan skor 4.0 milik pesaing.

Aturan aman untuk model ini, dan untuk model apa pun yang vendornya melaporkan lebih dari satu versi Terminal-Bench: bandingkan 2.1 dengan 2.1 dan 4.0 dengan 4.0, serta sebutkan versi mana yang Anda kutip. Kami menyimpan catatan berjalan tentang ini karena render teks yang diratakan dari tabel peluncuran telah salah menetapkan satu baris dalam cakupan sekunder.

Mengapa bobot berada di balik pintu — dan apa pintu itu

Cognition membingkai bobot yang ditahan itu sebagai pertukaran antara transparansi dan risiko, dan tulisan tersebut luar biasa terus terang soal sisi risikonya. Perusahaan itu menyatakan mereka sengaja melatihnya untuk pekerjaan keamanan dan menaikkan skor ExploitBench-nya dari 11.3 selama pelatihan dasar menjadi 34.8 setelah pelatihan lanjutan. Mempublikasikan bobot tersebut akan membuat model penulis eksploit yang mumpuni beredar secara umum.

Jadi, sebagai gantinya, ada sebuah program. Bobot akan dibagikan secara "aman" kepada mitra dan peneliti, dan postingan tersebut menjanjikan detailnya "dalam beberapa minggu". Hingga tulisan ini dibuat, tidak ada formulir pendaftaran, tidak ada kriteria kelayakan, tidak ada lisensi, tidak ada tanggal, dan tidak ada pernyataan tentang apakah bobot yang dibagikan boleh didistribusikan ulang atau digunakan secara komersial. Program mitra bukanlah bobot terbuka, dan perbedaan ini penting bagi siapa pun yang berencana melakukan hosting sendiri: sampai ketentuannya ada, asumsi perencanaan yang benar adalah bahwa SWE-2 Flash tidak akan pernah dapat diunduh.

Gratis hingga 30 November, lalu harga belum ditentukan

Penawaran komersialnya adalah satu bulan akses gratis di dalam Devin. Setelah itu, tidak ada orang di luar Cognition yang tahu berapa biayanya, karena tidak ada tarif per token yang dipublikasikan. Kalimat "seperlima harga SWE-2" adalah rasio terhadap produk yang memiliki harga terpaket sendiri, bukan daftar tarif.

Itu risiko perencanaan yang nyata jika Anda mempertimbangkan membangun alur kerja di sekitarnya. Ketergantungan tanpa harga lebih buruk daripada yang mahal, karena Anda tidak dapat memodelkannya. Langkah masuk akal dari sekarang hingga 30 November adalah mengukur hal yang bisa Anda ukur — apakah kualitas keluaran model di repositori Anda sendiri membenarkan pengalihan konfigurasi Devin Anda — dan menganggap pertanyaan biaya masih terbuka sampai Cognition menerbitkan angka.

Apa yang sebenarnya bisa Anda hubungi hari ini

SWE-2 Flash tidak ada di OrcaRouter dan tidak akan ada sampai Cognition merilis endpoint atau rilis bobot berlisensi; kami tidak akan berpura-pura sebaliknya. Yang dapat dipanggil saat ini adalah peserta lain di bidang ini yang secara implisit menjadi pesaing peluncuran ini — termasuk Muse Spark 1.2 dan 1.1 dari Meta, yang keduanya sudah aktif di katalog dan keduanya adalah model yang menetapkan skor DeepSWE 1.1 milik SWE-2 Flash ke sepersepuluh poin.

Jika alasan Anda membaca ini adalah karena Anda menginginkan model coding yang murah dan cepat dalam loop agen minggu ini, bukan pada bulan Desember, itulah percabangan praktisnya: tunggu harga dan program mitra dari Cognition, atau arahkan klien yang sudah Anda gunakan ke satu API untuk lebih dari 200 model dan lakukan A/B alternatifnya terhadap rangkaian pengujian Anda sendiri. OrcaRouter meneruskan harga daftar penyedia dengan markup 0%, jadi jika Cognition akhirnya menerbitkan tarif, tarif itulah yang akan Anda lihat di sini pada hari pertama, bukan angka reseller yang sudah dinaikkan.

Apa yang terlewat dari postingan peluncuran

Empat penghilangan perlu ditandai karena itulah yang menentukan apakah angka-angka itu berarti sesuatu:

• Tidak ada harness. Pos SWE-2 September mengungkapkan scaffold dan pengaturan effort-nya. Yang ini tidak, sehingga setiap skor agentik menjadi kotak hitam.

• Tidak ada pengungkapan best-of-N. Kami tidak tahu apakah ini pass@1 atau best-of-five.

• Tidak ada jendela konteks. Bagi model yang diposisikan sebagai opsi murah di dalam sebuah agen, anggaran konteks bukan sekadar catatan kaki.

• Tidak ada pengujian independen. Setiap angka di sini dilaporkan oleh vendor dan belum direproduksi, termasuk skor FrontierCode 2.0 sebesar 24.0 — dan FrontierCode adalah benchmark milik Cognition sendiri, yang perlu diingat ketika itulah baris yang menunjukkan kemenangan.

Yang perlu diperhatikan bukanlah baris benchmark lainnya. Melainkan halaman program mitra: tanggal, lisensi, dan harga. Ketika ketiganya sudah ada, SWE-2 Flash menjadi model yang dapat Anda evaluasi. Sampai saat itu, ia hanyalah demo yang terdokumentasi dengan baik dengan satu bulan gratis yang disertakan.