Flint v1.0 vs Qwen3.8 27B: Model yang Recursive Bandingkan dengan Dirinya Sendiri

Recursive menerbitkan satu kalimat dalam Recursive Flint v1.0 materi peluncuran yang dilewatkan oleh sebagian besar liputan: pada rata-rata enam tes milik perusahaan sendiri, hanya Qwen3.8 27B yang mencetak skor lebih tinggi daripada Flint. Itu hal yang tidak biasa bagi vendor untuk dicantumkan pada hari peluncuran. Itu juga kalimat paling berguna dalam rilis tersebut, karena memberi tahu Anda perbandingan mana yang perlu diperiksa. Qwen3.8 27B adalah model dense dengan bobot terbuka, yang dirilis pada 14 Agustus 2026 di bawah Apache 2.0, dan merupakan satu-satunya model dalam set perbandingan Recursive yang mengalahkan Flint pada agregat yang dibangun vendor itu sendiri. Jadi pertanyaan yang menarik bukanlah apakah Flint bagus. Pertanyaannya adalah di mana tepatnya Qwen3.8 27B lebih baik, dan apakah selisihnya bertahan ketika harness yang terlibat diperiksa secara cermat.

Baca klaim kelas sebelum Anda membaca skor

Klaim utama Flint dibatasi dengan cermat: model itu unggul pada model mixture-of-experts dengan total parameter di bawah 50 miliar di SWE-bench Pro v2, Terminal-Bench 2.1, dan SWE-bench Verified. Qwen3.8 27B bukan model mixture-of-experts. Model ini dense — 27 miliar parameter, semuanya aktif untuk setiap token, 28 miliar jika menghitung encoder visi, 64 lapisan dengan hidden size 5.120. Jadi secara konstruksi model ini berada di luar kelas perbandingan Flint, dan Recursive bebas untuk sepenuhnya tidak memasukkannya ke dalam klaim.

Ada baiknya kita tepat mengenai apa yang “dense” biayakan dan berikan. Setiap satu dari 27 miliar parameter Qwen berpartisipasi dalam setiap token, itulah sebabnya model ini membutuhkan sekitar 55,6 GB dalam BF16 dan GPU sungguhan, serta mengapa jejak aktivasinya kira-kira sebelas kali lipat Flint. Ini juga alasan model dense 27B dapat mengungguli model sparse dengan 2,5B parameter aktif dalam hal akurasi: model ini melakukan lebih banyak aritmetika per token, dan Anda membayar untuk itu.

Terminal-Bench 2.1: celah delapan belas poin

Ini adalah perbandingan paling bersih yang tersedia, karena kedua laboratorium melaporkan versi benchmark yang sama, dan selisihnya cukup besar sehingga kecil kemungkinan noise dari harness dapat menjelaskan semuanya.

• Flint — 54,9% pada Terminal-Bench 2.1, dijalankan pada harness Terminus 2 dengan internet diaktifkan, tetapi setiap solusi yang diperoleh melalui pencarian web dihitung sebagai kegagalan.

• Qwen3.8 27B — 73,0% pada Terminal-Bench 2.1, menurut kartu model Alibaba.

Itu adalah selisih 18,1 poin yang menguntungkan Qwen, pada benchmark yang paling mirip dengan pekerjaan terminal agentik — yang justru merupakan pekerjaan yang dipasarkan untuk kedua model tersebut. Dua peringatan mengarah ke arah yang berlawanan dan keduanya perlu dikemukakan.

Yang pertama menguntungkan Flint. Recursive menerapkan handicap yang mungkin tidak diterapkan oleh para pesaingnya: jika agen menemukan jawaban di web, Recursive menilainya salah. Model yang diizinkan mencari dan mengutip akan mendapat skor lebih tinggi pada harness yang sama. Seberapa tinggi, tidak diketahui, dan Recursive tidak mempublikasikan angka tanpa handicap itu.

Poin kedua bertentangan dengan pembacaan yang bersih. Pihak ketiga, PrismML, memberi skor Qwen3.8 27B sebesar 69,7 pada Terminal-Bench 2.1, bukan 73,0 milik Alibaba. Perbedaan 3,3 poin pada model dan benchmark yang sama adalah kalibrasi yang berguna: ini memberi tahu Anda bahwa selisih beberapa poin dalam tabel ini adalah noise, dan bahwa selisih 18 poin kemungkinan bukan noise.

Bahkan dengan mengambil angka Qwen yang lebih rendah, 69,7 berbanding 54,9 menyisakan 14,8 poin. Arahnya tidak diragukan lagi.

LiveCodeBench v6: celah kedua, pada tolok ukur yang lebih bersih

Pemrograman kompetitif adalah tolok ukur yang paling tidak sensitif terhadap harness di antara tolok ukur yang dilaporkan kedua lab, karena model menerima soal, menghasilkan kode, lalu juri menjalankannya. Tidak ada loop agen yang bisa berbeda.

Flint — 80,3% pada LiveCodeBench v6.

• Qwen3.8 27B — 90,3% pada LiveCodeBench v6.

Itu adalah selisih 10 poin, dan itulah yang paling saya bobot, justru karena paling sulit dijelaskan. Angka 80,3 milik Flint terbilang terhormat untuk model yang mengaktifkan 2,5 miliar parameter. Angka 90,3 milik Qwen adalah angka yang kuat untuk model yang mengaktifkan 27 miliar parameter. Keduanya tidak mengejutkan. Intinya, keunggulan efisiensi yang dijual Flint tidak datang gratis, dan benchmark inilah tempat harganya terlihat.

Tolok ukur yang tampak seperti kemenangan Flint namun bukan.

Di sinilah sebagian besar halaman perbandingan keliru, dan ini layak untuk kita perlambat sejenak.

Flint melaporkan 89,7% pada SWE-bench Pro v2. Qwen3.8 27B melaporkan 61,7% pada SWE-bench Pro. Jika dibaca sekilas, itu tampak seperti kemenangan Flint dengan selisih 28 poin. Itu sama sekali bukan perbandingan. "v2" adalah benchmark yang berbeda dari yang dilaporkan Alibaba, dengan kumpulan tugas dan protokol evaluasi yang berbeda, dan kedua angka itu tidak dapat dikurangkan. Halaman mana pun yang menempatkannya di kolom bersebelahan dan menyatakan pemenang memberi tahu Anda sesuatu tentang penulisnya, bukan tentang modelnya.

Jebakan yang sama ada satu baris di bawahnya. Flint melaporkan 74.2% pada SWE-bench Verified. Qwen3.8 27B tidak menerbitkan skor SWE-bench Verified — kartu Alibaba melaporkan SWE-bench Pro, QwenSWEBench sebesar 79.0, DeepSWE 1.1 sebesar 42.2, Terminal-Bench 2.1 sebesar 73.0, LiveCodeBench v6 sebesar 90.3, dan NL2Repo-Bench sebesar 42.3. Tidak ada angka Verified yang dapat dijadikan pembanding. Angka yang beredar untuk Qwen3.8 27B pada Verified berasal dari model sebelumnya dalam keluarga tersebut atau diambil dari sumber sekunder yang bertentangan dengan kartu model pada beberapa benchmark lain sekaligus. Anggap saja tidak terverifikasi.

Satu kualifikasi tambahan di sisi Alibaba: eksekusi SWE-bench Pro dan QwenSWEBench-nya menggunakan harness agen eksternal, bukan model tanpa harness, sehingga bahkan perbandingan dengan angka SWE-bench Pro dari lab lain pun rapuh. Ini bukan hanya terjadi pada Alibaba. Inilah keadaan benchmark pengodean agentik secara umum, dan itulah sebabnya baris Terminal-Bench dan LiveCodeBench di sini lebih berbobot daripada baris SWE-bench.

Di mana Flint menang, dan selisihnya tidak tipis.

Akurasi bukan satu-satunya sumbu, dan pada sumbu-sumbu lainnya urutannya terbalik secara drastis.

• Memori — Flint berjalan pada sekitar 24 GB, dengan build NVFP4 22,86 GB di disk. Qwen3.8 27B memerlukan sekitar 55,6 GB dalam BF16. Salah satunya muat di laptop kelas atas atau satu kartu konsumen; yang lain memerlukan alokasi GPU sungguhan.

• Komputasi aktif per token — Flint mengaktifkan sekitar 2,5 miliar parameter. Qwen mengaktifkan seluruh 27 miliar. Rasio itulah alasan kesenjangan kecepatan ada dan alasan Flint lebih murah untuk dilayani dalam volume besar.

• Kecepatan — Recursive mengklaim 125 lebih token per detik pada M4 Pro MacBook Pro dan lebih dari 150 pada RTX Spark 64 GB pada konteks pendek. Model dense 27B pada laptop yang sama tidak berada dalam kisaran tersebut. Qwen3.8 27B juga dilaporkan lambat secara lokal dan sangat boros token — Artificial Analysis mengukur sekitar 160 juta token keluaran di seluruh pengujian indeksnya, yang menjadi pengganda biaya dalam loop agen mana pun.

• Konteks — keduanya mendokumentasikan 262,144 token secara native, dan Qwen memperluas hingga 1,000,000 dengan penskalaan YaRN. Pengumuman Flint menyebutkan hingga 512K. Di atas kertas ini imbang pada jendela native; dalam praktiknya, throughput Flint pada konteks panjang adalah cerita yang lebih lemah, dengan pengujian independen melaporkan penurunan menjadi sekitar 9 token per detik mendekati 115,000 token.

• Multimodalitas — Qwen3.8 27B menerima gambar dan video serta teks, dengan tata letak atensi hibrida dari 48 lapisan atensi linier Gated DeltaNet hingga 16 lapisan atensi penuh pada rasio 3:1, yang membuat jendela 262K terjangkau untuk dilayani. Flint hanya teks.

Apa yang sebenarnya Anda pilih

• Jika akurasi coding maksimum menjadi tujuan dan Anda memiliki perangkat kerasnya, Qwen3.8 27B adalah model yang lebih kuat pada setiap benchmark yang memungkinkan keduanya dibandingkan secara bersih. Itu juga yang dikatakan oleh rata-rata enam tes milik Recursive sendiri.

• Jika model harus berjalan di laptop, tetap offline, menyimpan kode sumber di mesin, atau melayani volume yang cukup besar sehingga parameter aktif mendominasi tagihan, Flint menang pada sumbu yang menentukan deployment. Model dengan 2,5B parameter aktif pada 125 token per detik adalah produk yang berbeda dari model padat 27B yang membutuhkan node GPU.

• Jika Anda menginginkan keduanya, keduanya dapat dikombinasikan dengan baik: model lokal untuk pekerjaan rutin dan sensitif, model hosted untuk tugas-tugas berat. Pembagian itulah yang paling banyak dipilih tim, dan di situlah lapisan routing berhenti menjadi sekadar detail.

Qwen3.8 27B adalah satu-satunya model dalam perbandingan ini yang dilayani langsung oleh OrcaRouter — pengidentifikasinya adalah qwen/qwen3.8-27b dalam daftar model langsung kami, dan model ini menerima teks, gambar, dan video dengan jendela penuh 262.144 posisi. Karena harga daftar penyedia diteruskan dengan tanpa markup tambahan, perubahan harga di sisi Alibaba langsung berlaku di sisi kami pada hari yang sama, bukan pada pembaruan berikutnya. OrcaRouter tidak melayani Flint; yang itu adalah unduhan. Jadi hibrida di atas benar-benar hibrida: satu jalur ke model kelas terdepan yang di-hosting, dan satu file lokal untuk segala hal yang tidak boleh meninggalkan mesin.

Eksperimen yang belum pernah dijalankan siapa pun

Setiap angka dalam artikel ini berasal dari laboratorium yang mengukur modelnya sendiri, dengan satu pengecualian — selisih 3,3 poin antara PrismML dan Alibaba pada Terminal-Bench, yang merupakan satu-satunya petunjuk yang tersedia tentang seberapa besar angka-angka ini bergeser ketika orang lain yang memegang stopwatch.

Yang bisa menyelesaikan ini sederhana dan belum terjadi: kedua model, satu harness, satu set tugas, satu mesin, trace yang dipublikasikan. Sampai saat itu, posisi yang dapat dipertahankan adalah yang sempit. Pada benchmark yang dilaporkan kedua lab secara jujur, Qwen3.8 27B adalah coder yang lebih akurat. Pada sumbu deployment yang menentukan apakah sebuah model bisa berjalan sama sekali, Flint adalah yang lebih efisien. Recursive mengatakannya lebih dulu, dalam postingan peluncurannya sendiri, dan itu adalah hal paling dapat dipercaya di seluruh rilis ini.