SWE-2 Flash vs Flint v1.0: Satu Baris Benchmark yang Jujur dan Banyak Kebisingan

Dua model coding mixture-of-experts dengan aktivasi kecil, dirilis berselang lima belas hari, keduanya mengklaim tingkat performa yang sama dengan sebagian kecil biaya model unggulan. SWE-2 Flash, dari Cognition pada 4 November 2026, memiliki total 276B parameter dengan 12B aktif. Flint v1.0, dari Recursive pada 21 Oktober 2026, memiliki total 39.8B dengan sekitar 2.5B aktif. Keduanya adalah taruhan arsitektural yang sama pada skala yang sangat berbeda — dan cara jujur untuk membandingkannya adalah mengakui sejak awal bahwa tabel yang mereka publikasikan tumpang tindih tepat pada satu baris.

Baris itu adalah Terminal-Bench 2.1: 89,2 untuk SWE-2 Flash berbanding 54,9 untuk Flint v1.0. Itu adalah selisih 34 poin, angka terkuat yang pernah dihasilkan salah satu perusahaan dalam pertarungan ini, dan angka itu disertai dua catatan yang cukup besar untuk mengubah cara Anda membacanya. Segala hal lain yang mungkin tergoda untuk Anda bandingkan adalah entah versi benchmark yang berbeda atau subset yang berbeda dari benchmark yang sama.

Taruhan sama, lisensi berlawanan

Tesis bersamanya adalah bahwa parameter aktif, bukan parameter total, yang menentukan biaya inferensi — jadi Anda dapat membangun model sparse besar dan hanya membayar untuk bagian yang aktif. Flint menggunakan 6 dari 256 expert yang dirutekan plus satu expert bersama untuk bekerja per token, di seluruh 49 layer, 35 di antaranya sliding-window dengan jendela 513 token dan 14 full attention. SWE-2 Flash mewarisi struktur itu dari basis Inkling-Small: total 276B, aktif 12B, dilatih lanjut dengan tahap mid-training yang belum pernah digunakan Cognition sebelumnya.

Perbedaan yang lebih penting daripada detail arsitektur mana pun adalah apa yang diperbolehkan untuk Anda lakukan dengan output tersebut:

• Bobot — Flint v1.0 berlisensi Apache 2.0 di Hugging Face dalam bentuk BF16, FP8, dan terkuantisasi. SWE-2 Flash ditahan sepenuhnya, dengan program berbagi mitra yang dijanjikan tetapi belum dirinci.

• Distribusi — Flint berjalan di llama.cpp, Ollama, LM Studio, vLLM, dan SGLang pada perangkat keras yang Anda miliki. SWE-2 Flash hanya berjalan di dalam Devin Desktop dan Devin CLI, tidak di tempat lain.

• Harga — biaya marginal Flint adalah GPU Anda. SWE-2 Flash gratis hingga 30 November 2026 dan tidak memiliki tarif per token yang dipublikasikan setelah tanggal tersebut.

• Konteks — Flint mempublikasikan 262.144 token, dapat dikonfigurasi hingga sekitar 512K. SWE-2 Flash tidak mempublikasikan apa pun.

Itu bukan perbedaan kecil dalam posisi. Yang satu adalah artefak yang dapat diperiksa, dikuantisasi, disetel halus, dan dijalankan di laptop. Yang lain adalah produk dengan masa gratis satu bulan.

Satu-satunya baris yang dapat Anda bandingkan

Terminal-Bench 2.1 adalah satu-satunya benchmark di mana kedua perusahaan melaporkan angka pada versi yang sama. Angka 54,9 milik Flint dihasilkan melalui Terminus 2, dengan pass@1 yang dirata-ratakan dari setidaknya lima percobaan. Angka 89,2 milik SWE-2 Flash dihasilkan pada harness yang tidak disebutkan namanya oleh Cognition, pada pengaturan effort yang tidak diungkapkannya, dari postingan peluncuran yang menghilangkan lampiran metodologi yang dibawa pendahulunya pada September.

Jadi, selisih 34 poin itu nyata dalam artian kedua angka dilaporkan pada kumpulan tugas yang sama, dan longgar dalam artian satu pihak memberi tahu Anda bagaimana angka itu diperoleh sementara pihak lain tidak. Model yang dinilai di dalam scaffold agen yang dirancang bersama — seperti Devin — secara umum akan mengalahkan model yang sama yang dinilai melalui harness generik. Angka Flint adalah yang konservatif justru karena Recursive mempublikasikan metodenya.

Jika Anda ingin satu kalimat: pada satu-satunya baris yang dibagikan, SWE-2 Flash jauh lebih unggul, dan tidak satu pun dari kedua perusahaan itu memberi pihak independen kemampuan untuk memeriksa.

Dua skor Pro yang tampak identik tetapi sebenarnya tidak

Inilah jebakan dalam pertandingan ini, dan layak untuk kita perlambat sejenak. Recursive melaporkan Flint v1.0 sebesar 89,7 pada SWE-bench Pro v2. Cognition melaporkan SWE-2 Flash sebesar 89,9 pada SWE-Bench Pro v2 Hard. Dua angka, terpaut 0,2 poin, berdampingan satu sama lain di setiap agregasi yang akan Anda temukan.

Ini bukan pengukuran yang sama. "Hard" adalah subset — irisan tersaring dari kumpulan tugas, bukan keseluruhannya. Angka Flint adalah hasil lengkap Pro v2 di bawah mini-swe-agent, dengan solusi yang diperoleh dari web dihitung sebagai kegagalan, yang merupakan konvensi penilaian yang lebih ketat daripada yang diterapkan sebagian besar vendor. Menempatkan 89.9 di samping 89.7 dan menyebutnya seri adalah jenis perbandingan yang menghasilkan kesimpulan yang percaya diri namun keliru.

Kehati-hatian yang sama berlaku untuk baris yang tidak dimiliki kedua tabel. Flint melaporkan SWE-bench Verified sebesar 74,2. SWE-2 Flash sama sekali tidak melaporkan Verified — yang dilaporkannya adalah Pro v2 Hard, DeepSWE 1.1, dan SWE-Atlas QA. Jadi, benchmark yang paling dipahami oleh banyak tim tidak tersedia untuk model yang lebih baru, sehingga "Flint tertinggal pada SWE-bench" merupakan klaim yang tidak didukung, bukan temuan.

Konteks adalah spesifikasi yang menentukan.

Untuk pengkodean agentik, jendela konteks bukan catatan kaki — jendela ini menentukan apakah sebuah model dapat menampung bagian relevan dari sebuah repositori dalam satu langkah perencanaan atau harus diberi masukan sedikit demi sedikit. Flint mempublikasikan 262.144 token. SWE-2 Flash tidak mempublikasikan apa pun, dan setelah tiga hari peliputan tidak ada media yang memastikannya.

Konteks Flint memiliki peringatan tersendiri. Pengukuran komunitas menunjukkan throughput runtuh pada konteks panjang — sekitar 110 token per detik pada prompt pendek, menurun menuju 9 token per detik mendekati 115.000 token. Jendela 262K yang berjalan pada 9 tok/s adalah jendela yang Anda gunakan secara sengaja, untuk satu pembacaan besar, bukan jendela yang Anda biarkan terbuka sepanjang sesi panjang. Kuantisasi melunakkan biaya komputasi, tetapi tidak melunakkan kurva tersebut.

Jendela SWE-2 Flash yang belum dipublikasikan adalah hal yang lebih tidak diketahui, karena Devin adalah produk untuk sesi panjang. Jika Anda memilih di antara keduanya dengan asumsi bahwa model tertutup menangani repositori yang lebih besar dengan lebih baik, Anda memilih berdasarkan angka yang belum dipublikasikan oleh siapa pun.

Kecepatan yang dapat Anda verifikasi dibandingkan dengan kecepatan yang tidak dapat Anda verifikasi

Cognition mengatakan SWE-2 Flash berjalan sekitar 200 token per detik dibandingkan 60 milik SWE-2. Angka itu berasal dari memutar ulang transkrip sesi yang dipersingkat pada laju simulasi, bukan dari mengukur waktu endpoint langsung. Ini adalah demonstrasi, bukan pengukuran, dan saat ini tidak ada cara bagi siapa pun di luar Cognition untuk memeriksanya.

Klaim throughput Flint tergolong sederhana sebagai perbandingan dan jauh lebih mudah dibuktikan salah: sekitar 125 hingga 131 token per detik pada MacBook Pro M4 Pro, di atas 150 pada RTX Spark dengan 64 GB. Angka-angka itu diukur pada perangkat keras yang dapat Anda beli, oleh orang-orang yang memublikasikan konfigurasinya. Build terkuantisasi NVFP4 dilaporkan berada dalam sekitar 0,7 poin dari BF16 pada tolok ukur, yakni jenis klaim yang bisa dan akan diuji oleh komunitas.

Satu kekurangan nyata yang perlu diketahui: jalur GGUF pernah mengalami bug templat chat di llama.cpp, dan model ini memiliki rekam jejak komunitas yang tipis dibandingkan dengan apa pun dari laboratorium besar. Para pengadopsi awallah yang melakukan debugging.

Berapa biaya sebenarnya dari setiap opsi bagi Anda

Flint v1.0 gratis diunduh dan biayanya sebesar biaya inferensi Anda. Model 39.8B dengan 2.5B aktif akan berjalan di laptop berspesifikasi baik pada kecepatan yang dapat digunakan, yang merupakan inti dari arsitektur ini. Biaya adopsinya bersifat operasional: Anda memiliki stack penyajian, pilihan kuantisasi, dan mode kegagalan.

SWE-2 Flash tidak memakan biaya apa pun hingga 30 November 2026 dan setelah itu biayanya tidak diketahui, karena Cognition menerbitkan rasio — seperlima harga SWE-2 — bukan tarif. Jika proses perencanaan tim Anda membutuhkan angka untuk dimasukkan ke dalam spreadsheet, itulah masalah yang menghambat, bukan selisih benchmark-nya.

Kedua model tersebut tidak ada dalam katalog OrcaRouter saat ini, dan kami tidak akan menyarankan sebaliknya. Yang berguna dalam perbandingan ini bukanlah merutekan di antara keduanya, melainkan membandingkan model-model di sekitar mereka: lebih dari 200 model berada di balik satu kunci OrcaRouter dengan markup 0% di atas harga daftar penyedia, yang membuat menjalankan tugas repositori yang sama melalui selusin kandidat hanya soal mengubah satu string. Saat Anda memutuskan antara dua model di mana satu pihak telah menerbitkan harness-nya dan pihak lain belum, evaluasi Anda sendiri lebih bernilai daripada tabel vendor mana pun.

Siapa yang harus memilih yang mana

Pilih Flint v1.0 jika Anda membutuhkan bobotnya. Jika kendala Anda adalah residensi data, operasi offline, fine-tuning, atau biaya per token yang tidak bergantung pada keputusan penetapan harga perusahaan lain, selisih 34 poin Terminal-Bench adalah harga yang mungkin bersedia Anda bayar — dan konteks 262K serta harness yang dipublikasikan Flint memberi Anda model yang dapat Anda analisis, bukan kotak hitam.

Pilih SWE-2 Flash jika Anda sudah berada di dalam Devin dan jendela gratisnya cukup untuk menjawab pertanyaan Anda. Model ini berperforma lebih baik pada satu baris yang diukur oleh kedua perusahaan, dengan selisih yang lebar, dan gratis untuk dicoba hingga akhir November.

Yang seharusnya tidak dilakukan siapa pun adalah memilih salah satunya berdasarkan angka SWE-bench Pro. 89,7 dan 89,9 bukan tes yang sama, dan selisih di antara keduanya lebih kecil daripada selisih antara salah satu angka itu dan apa yang sebenarnya akan dihasilkan repositori Anda.