Clef-Flash vs Qwen3-8B: 38 Milidetik Melawan 8B yang Semua Orang Sudah Jalankan

Ada satu pekerjaan spesifik dan tidak glamor yang banyak tim serahkan kepada Qwen3-8B: baca tiket ini, baris log ini, formulir ini, lalu beri tahu saya ke dalam ember mana dari empat ember saya ini isinya masuk. Ini tugas klasifikasi yang dibungkus sebagai percakapan, dan Qwen3-8B cukup mahir untuk itu sehingga tak ada yang repot-repot menggantinya. Pada 30 September 2026, Cloudflare menerbitkan bobot untuk Cloudflare/clef-flash, model 9B yang dibangun untuk mengerjakan satu pekerjaan itu saja dan tidak yang lain, dan pertanyaan yang menarik bukanlah apakah model ini lebih pintar daripada Qwen3-8B. Pertanyaannya adalah apakah hal yang saat ini Anda dapatkan dari generalis 8B itu layak dibayar dengan token yang dihasilkan sama sekali.

Clef-Flash menjawab pertanyaan itu dengan struktur, bukan dengan tolok ukur. Clef-Flash menerima sebuah state dan skema berisi hingga 64 pertanyaan bertipe lalu mengembalikan logit untuk setiap opsi yang diizinkan dalam satu lintasan non-autoregresif — tanpa teks perantara, tanpa parsing, tanpa keluaran selain probabilitas. Cloudflare mengukur latensi permintaan median 38,8 ms untuknya, dibandingkan dengan sekitar 500 ms untuk Jev, model keputusan dari TypeSafe yang dijadikan pembanding benchmark-nya. Qwen3-8B tidak ada dalam tabel itu, karena Qwen3-8B tidak ikut permainan itu: ia menulis jawaban, dan Anda membacanya.

Yang membuat pasangan ini layak dibandingkan secara menyeluruh, bukan sekadar satu halaman baris spesifikasi, adalah bahwa kedua model tidak memiliki satu pun tolok ukur yang sama. Setiap angka Clef-Flash yang beredar dihasilkan oleh Cloudflare, berdasarkan indeks yang diterbitkan oleh pesaing, dan tidak ada pihak di luar Cloudflare yang mereproduksi satu pun dari angka itu. Qwen3-8B didukung oleh tiga generasi penggunaan independen dan catatan publik yang bisa Anda debat. Asimetri itulah, bukan selisih latensi, yang seharusnya menentukan apakah Anda melakukan penggantian.

Dua kontrak keluaran, bukan dua ukuran

Jumlah parameter di sini cukup berdekatan sampai-sampai menjadi distraksi — 9B untuk Clef-Flash versus 8,2B untuk Qwen3-8B, dengan 6,95B di antaranya non-embedding. Perbedaan yang penting adalah apa yang diizinkan untuk dikeluarkan oleh masing-masing model.

Qwen3-8B adalah model bahasa kausal. Beri ia tiket dukungan dan ia menghasilkan token, dan secara default ia terlebih dahulu menghasilkan blok penalaran, karena mode berpikir aktif kecuali Anda mematikannya. Ia dapat mengklasifikasikan, menjelaskan, mengeskalasi, menyusun balasan, atau memberi tahu Anda bahwa taksonomi Anda kehilangan sebuah kasus — semuanya dari bobot yang sama, tanpa memerlukan skema. Kartu modelnya mencantumkan 36 lapisan, grouped-query attention dengan 32 head kueri ke 8 head KV, 100+ bahasa, dan panjang konteks 32.768 token secara native, dapat diperluas hingga 131.072 melalui YaRN. Ini adalah model yang paling banyak dipilih tim karena model inilah yang dapat melakukan apa pun.

Clef-Flash adalah model pasca-pelatihan, bukan mitra percakapan. Cloudflare membekukan backbone Qwen3.5-9B — termasuk encoder visinya — dan melatih kepala skema gabungan di atasnya: 243,5 MB bobot kepala terhadap empat file backbone yang dipecah yang totalnya sekitar 18,8 GB. Kepala tersebut membaca hidden state akhir backbone, mengarahkan bukti dari state ke setiap pertanyaan, dan menilai semua opsi dari semua pertanyaan secara bersamaan. Kendala adalah fiturnya. Cloudflare membatasinya untuk hanya mengeluarkan probabilitas, itulah sebabnya model dasar muncul dalam garis keturunannya tetapi tidak pernah dalam outputnya.

Perhatikan garis keturunannya. Clef-Flash merupakan turunan dari Qwen3.5-9B, generasi setelah lini Qwen3 tempat Qwen3-8B berada. Jadi ini bukan kisah fine-tune dari basisnya sendiri yang biasanya diperoleh turunan 9B — ini cabang berbeda dari pohon keluarga yang sama, yang dilatih ulang untuk kontrak berbeda.

Tugas yang sama, dijalankan dengan dua cara

Kedua model dapat merutekan tiket dukungan. Keduanya gagal dengan cara yang berbeda, dan mode kegagalannya itulah yang menjadi biaya migrasi.

Dengan Qwen3-8B, pekerjaannya terletak pada prompt dan parser. Anda mendeskripsikan kategori Anda, meminta salah satunya kembali, lalu menangani kasus ketika model mengembalikan "ini tampak seperti penagihan, meskipun bisa jadi teknis" — jawaban nyata untuk ambiguitas nyata yang tidak dapat diproses oleh kode hilir Anda. Panduan kartu itu sendiri secara eksplisit menyatakan bahwa mode berpikir harus dinonaktifkan untuk pekerjaan efisiensi dan bahwa greedy decoding menurunkan kualitas keluaran, serta bahwa saat mode berpikir aktif, Anda tidak boleh membawa blok penalaran tersebut ke depan dalam riwayat multi-turn. Setiap instruksi tersebut merupakan keputusan yang dipaksakan oleh model serbaguna kepada Anda.

Dengan Clef-Flash, pekerjaannya berpindah ke skema. Anda mendeklarasikan antara dua hingga 26 opsi per pertanyaan untuk sebuah pertanyaan bertipe pilihan, atau antara dua hingga 26 tingkat untuk sebuah pertanyaan bertipe skor, dan Anda menerima kembali opsi yang dipilih, probabilitas untuk setiap opsi, dan sebuah nilai keyakinan. Tiga detail dalam kontrak itu lebih berharga daripada angka latensi yang jadi judul utama. Pertama, keyakinan bukanlah kebenaran — dokumentasi Cloudflare menyatakan dengan gamblang bahwa nilai itu mengukur seberapa terkonsentrasi probabilitasnya, bukan peluang jawabannya benar. Kedua, hasil seri diselesaikan menurut urutan opsi yang Anda deklarasikan, jadi jika dua opsi benar-benar tumpang tindih, Anda diam-diam telah mengambil keputusan itu lewat pengurutan daftar. Ketiga, dan inilah yang paling menggigit, tidak ada opsi "tidak satu pun di atas" kecuali Anda menuliskannya sendiri. Sebuah model keputusan menilai opsi-opsi yang diberikan kepadanya; tiket tentang permintaan privasi, yang diberi skema penagihan, teknis, dan penjualan, akan kembali sebagai yang paling tidak buruk dari ketiga opsi itu alih-alih sebagai sebuah penolakan.

Poin terakhir itu berlaku dua arah, dan itulah inti jujur dari perbandingan ini. Qwen3-8B akan memberi tahu Anda bahwa taksonomi Anda bermasalah. Clef-Flash tidak akan melakukannya, dan dalam sebuah pipeline itu adalah regresi yang nyata — jenis yang baru Anda temukan sebulan kemudian di antrean yang salah rute. Pertukarannya adalah latensi nyata dan determinisme nyata dengan model yang dapat memunculkan pertanyaan yang tidak terpikir oleh Anda untuk ditanyakan.

Apa yang angka-angka itu katakan dan tidak katakan

Hasil yang dipublikasikan Clef-Flash berasal dari eksekusi Cloudflare atas suite Jev Decision Index 0.2.1, dan eksekusi yang sama menjadi sumber posting blog vendor tersebut. Angka-angka kuatnya layak disebutkan secara persis: BFCL case-exact 98,8, akurasi API-Bank 93,1, simulator peralatan rumah tangga pada 97,7, macro-F1 ContractNLI 84,3, kualitas terpilih RouterBench 79,9. Pada empat alur kerja bisnis end-to-end dalam suite eval milik TypeSafe sendiri, Clef-Flash mencatat layanan pelanggan pada 77,0 berbanding 76,0 milik Jev dan 76,3 milik Clef 27B yang lebih besar, serta kalah dalam pemrosesan faktur pada 57,1 berbanding 61,8 untuk Jev dan 64,7 untuk Clef.

Sel-sel yang lemah sama informatifnya dengan sel-sel yang kuat. CLINC150 dengan penanganan di luar cakupan menempatkan Clef-Flash pada 66,8 macro-F1, dibandingkan 97,4 untuk Clef 27B dan 89,3 untuk Jev — jurang tiga puluh poin tepat pada bentuk benchmark yang menguji apakah suatu model tahu kapan harus abstain. When2Call, 65,6 dibandingkan 81,0 milik Jev. GPQA Diamond, 51,0 dibandingkan 78,3. POP909-CL berada di 1,6, angka yang tidak dijelaskan oleh kartu tersebut.

Sekarang bagian yang tidak akan diberitahukan oleh tabel-tabel itu: Qwen3-8B tidak memiliki baris di salah satu pun dari tabel tersebut. Tak satu pun model telah dinilai pada tolok ukur milik model lain. Angka MMLU Clef-Flash sendiri sebesar 91,8 dan GSM8K sebesar 67,3 dihasilkan melalui harness keputusan bertipe miliknya, yang bukan merupakan harness yang digunakan Qwen untuk melaporkan angka-angkanya, dan membandingkan keduanya akan menjadi kesalahan kategori yang disamarkan sebagai perbandingan. Jadi posisi yang jujur adalah tidak ada papan skor bersama, dan artikel ini tidak akan mengarangnya. Yang ada adalah kesenjangan latensi yang diukur vendor pada infrastrukturnya sendiri, struktur biaya yang secara struktural berbeda, dan sekumpulan sel Decision Index yang belum direproduksi oleh siapa pun di luar Cloudflare.

Berapa biaya satu keputusan

Dokumentasi Workers AI milik Cloudflare mencantumkan Clef-Flash pada $0.09 per juta token input dan tidak menagih apa pun untuk output, karena praktis tidak ada output — contoh perhitungan dalam dokumentasi mengembalikan tiga token output untuk permintaan tiga pertanyaan. Oleh karena itu, keputusan routing atas tiket 1.500 token berbiaya sekitar $0.000135 untuk input dan tidak ada yang terukur setelahnya. Jalankan sejuta di antaranya per hari, dan Anda berada di kisaran $135 per hari, dan angka itu tidak berubah ketika tiket menjadi lebih rumit, hanya ketika tiket menjadi lebih panjang.

Model autoregresif tidak memiliki batas atas yang setara. Setiap satu dari sejuta keputusan itu juga membebankan biaya untuk token yang dihasilkan, dan jika mode thinking aktif — yang secara default memang aktif untuk Qwen3-8B — model dapat menghabiskan ratusan token untuk menalar tentang ke dalam kategori mana dari empat kategori itu sebuah email reset kata sandi termasuk sebelum menjawab. Menonaktifkan thinking dengan enable_thinking=False atau /no_think tag adalah baris dengan daya ungkit tertinggi dalam prompt klasifikasi apa pun yang dibangun di atas model itu, dan mudah untuk tidak disertakan. Perbandingannya bukanlah "model murah versus model mahal"; melainkan harga tetap yang hanya untuk input versus harga yang meningkat seiring dengan seberapa banyak yang diputuskan model untuk dikatakan.

Konteks, tiga angka dari tiga permukaan vendor

Konteks yang dapat digunakan Clef-Flash bergantung pada sisi Cloudflare mana yang Anda baca. Halaman model Workers AI mendokumentasikan jendela konteks 65.536 token. Versi rilis config.json mendeklarasikan max_position_embeddings sebesar 262.144 untuk text tower. Helper encoding milik kartu itu sendiri secara default menggunakan max_length=16,384, dengan max_state_tokens tersedia untuk membatasi state secara terpisah. Daftar runtime pihak ketiga yang mengiklankan 256K membaca nilai konfigurasi, bukan batas penyajian — yang merekonsiliasi perbedaan itu alih-alih membiarkannya sebagai misteri, tetapi angka praktis bagi siapa pun yang memanggil endpoint yang dihosting adalah 65.536.

Angka-angka Qwen3-8B adalah miliknya sendiri dan telah stabil selama satu setengah tahun: 32.768 native, 131.072 dengan YaRN diaktifkan, dan default konfigurasi 40.960 yang menyediakan 32.768 untuk output dan 8.192 untuk prompt. Jadi jika jendela mentah menjadi faktor penentu Anda, model autoregresif kecil dapat diperluas hingga sekitar dua kali lipat dari yang didokumentasikan model keputusan terkelola — sementara model keputusan membutuhkan jauh lebih sedikit, karena Anda mengirimkan state, bukan percakapan.

Siapa yang harus bertukar, dan siapa yang tidak boleh

• Swap — Anda memiliki taksonomi tetap, tiga hingga 26 tujuan, dan antrean dukungan, langkah triase, atau gerbang agen di mana median 38.8 ms dan p95 122.4 ms dibandingkan setengah detik generasi mengubah apa yang dapat dilakukan pipeline Anda.

• Swap — saat ini Anda mengurai prosa dari model 8B dan menangani satu dari lima puluh jawaban yang tidak sesuai dengan format Anda. Distribusi atas opsi yang dideklarasikan menghilangkan seluruh kelas kegagalan itu.

• Jangan tukar — kumpulan jawabannya tidak diketahui sebelumnya, atau Anda perlu model memberi tahu bahwa ia tidak tahu. Clef-Flash tidak memiliki jalur abstain kecuali Anda membangunnya ke dalam kriteria, dan sel terlemah yang dipublikasikan justru merupakan kasus di luar cakupan.

• Jangan tukar — beban kerjanya adalah penalaran, ekstraksi dari dokumen tanpa batasan, peringkasan, atau kode. Clef-Flash tidak dapat menulis satu kalimat, jadi apa pun di hilir yang mengharapkan satu kalimat tetap memakai Qwen3-8B.

• Jangan beralih dulu — Anda perlu angka-angka itu diperiksa oleh pihak selain vendor. Tidak ada evaluasi independen terhadap Clef-Flash, dan suite yang menghasilkan skornya diterbitkan oleh vendor model yang dikalahkannya.

Di mana menjalankan masing-masing

Keduanya berlisensi Apache-2.0, jadi keduanya bisa Anda host sendiri, dan ukuran sumber dayanya tidaklah berdekatan. Qwen3-8B dalam bf16 sekitar 16 GB dan build terkuantisasi berjalan jauh lebih kecil — build Q4 berukuran 5,2 GB di library Ollama, di mana qwen3:8b mencantumkan 38,7 juta unduhan dan jendela konteks 40K. Clef-Flash membutuhkan seluruh backbone 18,8 GB ditambah head 243,5 MB-nya, dan halaman library Ollama-nya muncul dalam hitungan hari setelah rilis, dengan tag terkuantisasi 11 GB dan jumlah share yang masih di kisaran ratusan awal; tabel Ollama membaca 256K dari konfigurasi alih-alih 65.536 dari endpoint. Rasio unduhan itu bukan penilaian atas salah satu model — satu halaman sudah tayang selama delapan belas bulan dan yang lain sekitar sehari — tetapi itu gambaran yang wajar tentang seberapa banyak riwayat operasional yang ada di balik masing-masing.

Jika Anda menginginkan versi hosted, Cloudflare menjalankan Clef-Flash di Workers AI dengan angka $0,09 per juta di atas, dengan bobotnya juga dapat diunduh dari Hub. Kedua model berbicara ke /v1/systemone endpoint milik Ollama untuk Clef-Flash (Ollama 0.35.1 atau lebih baru) dan jalur generate standar untuk Qwen3 — jadi pergantian adalah perubahan klien, bukan perubahan arsitektur.

Tidak satu pun dari model tersebut saat ini menjadi salah satu rute kami: katalog publik OrcaRouter mengembalikan 404 untuk clef-flash maupun Qwen3-8B, dan tidak ada apa pun di sini yang boleh dibaca sebagai klaim ketersediaan dari kami. Yang memang diubah oleh lapisan routing adalah separuh generasi dari pipeline. Jika sebuah model pengambilan keputusan akhirnya menjadi gerbang bagi agen Anda, model yang bertindak atas keputusan itu tetap harus dapat dijangkau, dan di situlah satu API untuk 200+ model di balik satu kunci API mendapatkan tempatnya — harga daftar penyedia diteruskan dengan markup 0%, sehingga pemotongan harga vendor sampai di sini pada hari yang sama, dan failover otomatis sehingga satu sore buruk dari satu penyedia tidak menjatuhkan jalur yang baru saja Anda bangun kembali. Lini Qwen juga sudah berkembang: Qwen3.8-27B dapat dirutekan di sini dengan $0.40 untuk input dan $4.21 untuk output per juta token dengan jendela 262.144 token, yang merupakan model berbeda dari Qwen3-8B dan bukan penggantinya, tetapi ia adalah keluarga yang sama satu generasi lebih tinggi.

Apa yang akan mengubah pembacaan ini?

Tiga hal, secara berurutan.

Penjalanan independen atas sel-sel di luar cakupan. Kesenjangan antara 97.7 milik Clef-Flash pada simulasi peralatan dan 66.8-nya pada CLINC150+OOS tidak menggambarkan pengklasifikasi yang secara mulus cakap; itu menggambarkan model yang kuat di dalam bentuk-bentuk yang dilatihnya dan lemah ketika jawaban yang benar adalah 'tidak ada satu pun dari ini'. Jika itu tetap berlaku di bawah harness milik orang lain, itu adalah fakta operasional paling penting tentang model tersebut dan itu tidak ada dalam daftar sorotan siapa pun.

Angka latensi terukur dari luar edge Cloudflare. Median 38,8 ms itu mengesankan dan diukur oleh vendor, pada infrastruktur yang dikendalikan vendor, untuk model yang dihosting di edge. Urutan relatif terhadap Jev kemungkinan besar andal; angka absolutnya justru yang perlu dicurigai.

Dan tolok ukur bersama. Sampai seseorang memberi skor pada Clef-Flash dan LLM terbuka kecil pada tugas klasifikasi yang sama dengan label yang sama, pilihan di antara keduanya bergantung pada kontrak keluaran, struktur harga, dan bukti siapa yang bersedia Anda jadikan dasar tindakan. Ketiganya cukup untuk menentukan banyak pipeline saat ini — tetapi itu bukan perbandingan akurasi, dan artikel ini tidak akan berpura-pura demikian.