Clef: Apa Sebenarnya Model Keputusan 27B Cloudflare

Clef adalah model keputusan multimodal dengan 27 miliar parameter yang diterbitkan oleh Cloudflare. Anda memberinya sebuah state — string, objek JSON, gambar, klip video — plus skema berisi hingga 64 pertanyaan bertipe, dan model mengembalikan probabilitas untuk setiap opsi yang diizinkan dari setiap pertanyaan dalam satu forward pass. Tidak ada generasi teks di mana pun dalam pipeline dan tidak ada penguraian output: model mengeluarkan satu logit per opsi yang diizinkan, Anda melakukan softmax per pertanyaan, dan selesai. Bobotnya berlisensi Apache-2.0 dan berada di repositori Cloudflare/clef di Hugging Face; Cloudflare juga menyajikan model ini dari platform Workers AI miliknya sendiri.

Dua tanggal penting untuk orientasi, dan tidak satu pun dari keduanya menjadi alasan halaman ini ada. Bobotnya diterbitkan pada 30 September 2026 dan postingan pengumuman Cloudflare bertanggal 1 Oktober 2026, yang membuat Clef berusia dua belas hari pada hari tulisan ini dibuat — cukup lama sehingga tidak lagi menjadi berita, dan halaman ini tidak memperlakukannya sebagai berita. Halaman ini ada karena "clef" adalah kueri yang benar-benar diketik orang, dan sampai sekarang tidak ada apa pun di blog ini yang menjawabnya. Peluncuran adalah cara model itu diberi tanggal; materi referensi di bawah inilah intinya.

Pertanyaan ukuran, diselesaikan dari penerbit

Dua jumlah parameter beredar berdampingan dan hanya satu di antaranya yang menjadi milik model ini.

• Clef berukuran 27B. Halaman model milik Cloudflare sendiri mendeskripsikannya sebagai "model keputusan multimodal 27B," dan kartu model di Hugging Face menyatakan hal yang sama pada baris pembukanya: "Clef adalah model multimodal 27B yang mengubah suatu keadaan dan skema pertanyaan bertipe menjadi keputusan."

• 9B adalah model yang berbeda, bukan ukuran kedua dari model ini. Checkpoint 9B adalah Clef Flash, model saudara yang terpisah dengan repositori sendiri dan halaman modelnya sendiri. Siapa pun yang mencari Clef 9B sebenarnya sedang mencari Clef Flash. Keduanya tidak dapat dipertukarkan dan angka-angkanya tidak bisa saling ditukar.

• Ada anggota ketiga juga. Clef Omni, yang diumumkan pada 9 Oktober 2026, adalah model mixture-of-experts 30B dengan 3B parameter aktif, yang dibangun di atas backbone yang berbeda. Ia juga dapat membaca audio. Jika Anda pernah melihat "30B" yang disematkan pada Clef, itu adalah Clef Omni, bukan Clef.

Jadi ukuran model di halaman ini adalah 27B, titik, dan repositori menyediakannya dalam safetensors BF16. Kumpulan berkas yang dipublikasikan berjumlah sekitar 55 GB yang tersebar di dua puluh lima berkas, dan itulah angka yang penting jika Anda berniat menghostingnya sendiri alih-alih memanggilnya.

Bagaimana hubungan Clef dengan Clef Flash

Cloudflare merilis Clef sebagai sebuah keluarga, dan struktur keluarga itulah bagian yang berguna, bukan sekadar tambahan. Clef dan Clef Flash berbagi resep: membekukan backbone Qwen3.8-27B untuk model yang lebih besar dan backbone Qwen3.5-9B untuk model yang lebih kecil, mempertahankan encoder visi, lalu melatih head skema gabungan kecil di atasnya plus adapter low-rank. Kontrak keluaran yang sama, kapasitas berbeda, dan profil latensi yang sangat berbeda.

Kontrak bersama itulah alasan kedua model ini layak dipahami bersama-sama: skema yang ditulis untuk satu model adalah skema untuk model lainnya, dan menukar model mana yang menjawab hanyalah soal pengenal model, bukan penulisan ulang. Pertukarannya adalah kecepatan versus kemampuan, dan postingan Cloudflare sendiri pada 9 Oktober mempertegas pertukaran itu dengan memangkas harga hosted Clef Flash menjadi $0,038 per juta token input, sementara Clef tetap di $0,24 per juta token input. Perhatikan juga apa yang dilakukan postingan itu: ia mengurangi jendela konteks hosted Clef Flash menjadi 24.000 token, turun dari 64.000 yang sebelumnya diiklankan untuk model itu, sedangkan Clef sendiri tetap di 64.000.

Arsitektur: backbone yang dibekukan ditambah head penilaian

Clef bukanlah model bahasa yang memakai topi pengklasifikasi. Rancangan ini layak dinyatakan secara tepat karena ia menjelaskan hampir setiap properti lain dari model tersebut.

• Tulang punggung — Qwen3.8-27B termasuk encoder visinya, dibawa serta dan dibekukan, disimpan sebagai safetensors ter-shard biasa.

• Head skema gabungan — head transformer kecil yang membaca keadaan tersembunyi akhir backbone, mengarahkan bukti dari keadaan tersebut ke setiap pertanyaan, dan menilai semua opsi dari semua pertanyaan secara bersama-sama, bukan satu pertanyaan dalam satu waktu.

• Pelatihan — adapter low-rank rank-256, cross-entropy dengan penghalusan label plus loss Brier untuk kalibrasi, dan loop "Reinforcement Learning for Calibrated Decisions" milik Cloudflare.

• Keluaran — satu logit per opsi yang diizinkan, per pertanyaan. Softmax per pertanyaan memberi Anda probabilitas. Tidak ada hal lain yang keluar.

Penilaian bersama adalah bagian yang membedakan Clef dari sekumpulan pengklasifikasi independen. Karena semua pertanyaan dinilai terhadap keadaan tersembunyi yang sama dalam satu lintasan, pertanyaan-pertanyaan itu dapat saling memberi informasi, dan keseluruhannya bersifat non-autoregresif — tidak ada putaran dekode, dan dari situlah angka latensi berasal. Cloudflare mendeskripsikan inferensi sebagai lintasan pra-isi saja.

Konteks, batasan, dan apa yang masuk

Mengenai konteks dan modalitas, materi vendor bersifat spesifik, dan pada bagian yang tidak dijelaskan, sikap diam itu layak dicatat alih-alih ditutupi.

• Jendela konteks — 65.536 token pada endpoint Workers AI yang dihosting Cloudflare, menurut halaman model. Itulah angka yang dalam postingan peluncuran Cloudflare dikontraskan dengan jendela 32.000 token yang diatribusikan kepada Jev dari TypeSafe.

• Konteks yang dihosting sendiri — Postingan Cloudflare tanggal 9 Oktober menyatakan bahwa bobot Hugging Face dilatih untuk mendukung jendela 256.000 token jika Anda menjalankannya sendiri. Encoder bawaan dalam repositori tersebut secara default menggunakan max_length=16,384, yang merupakan nilai default dan bukan batas maksimum, tetapi itulah yang Anda dapatkan jika menggunakan loader sebagaimana dirilis.

• Keluaran maksimum — tidak dipublikasikan. Tidak ada anggaran token untuk dipublikasikan: model mengembalikan vektor probabilitas tetap per pertanyaan, sehingga batas alaminya adalah skema (1 hingga 64 pertanyaan, masing-masing dengan 2 hingga 26 opsi), bukan panjang dalam token.

• Modalitas masukan — teks, JSON, gambar, dan video. Halaman Workers AI menandai visi sebagai didukung dan menerima gambar PNG, JPEG, atau WebP, maksimal empat per permintaan. Clef Omni, secara terpisah, menambahkan audio; Clef sendiri tidak.

• Modalitas keluaran — probabilitas. Clef tidak dapat menyusun balasan, meringkas utas, atau menghasilkan kalimat, dan tidak akan mengarang kategori yang tidak Anda deklarasikan.

• Lisensi — Apache-2.0, mengikuti checkpoint dasar Qwen3.8-27B. Halaman model Cloudflare menautkan ke berkas lisensi alih-alih menyebutkan namanya di teks halaman; berkas lisensinya sendiri adalah Apache-2.0.

Satu detail implementasi didokumentasikan sebagai jebakan dan layak diulang: bidang keyakinan melaporkan seberapa terkonsentrasi probabilitasnya, bukan probabilitas bahwa jawabannya benar. Model yang terkalibrasi dengan baik dapat menghasilkan jawaban benar dengan keyakinan rendah dan jawaban salah dengan keyakinan tinggi.

Apa yang diklaim Cloudflare, dan apa yang sebenarnya telah diukur

Ini adalah bagian yang harus dibaca dengan cermat, karena celah antara dua bagian judul itu lebar.

Setiap angka performa yang dilekatkan pada Clef berasal dari Cloudflare. Kartu model tersebut menerbitkan tabel berisi lebih dari empat puluh baris dari apa yang digambarkannya sebagai "uji coba internal kami atas rangkaian Decision Index 0.2.1," dan papan peringkat itu dihosting oleh Cloudflare. Evaluasi alur kerja di bawahnya diambil dari set evaluasi publik TypeSafe, tetapi uji coba tersebut tetap milik Cloudflare. Sampai hari ini, saya tidak dapat menemukan reproduksi independen pihak ketiga atas kedua tabel tersebut — tidak ada lab eksternal, tidak ada papan peringkat netral, tidak ada replikasi yang dipublikasikan. Perlakukan angka-angka itu sebagai skenario terbaik dari pemasok, bukan sebagai hasil pengukuran.

Pola di dalam angka-angka itu lebih informatif daripada sel tunggal mana pun. Hasil terkuat Clef ada pada tugas-tugas berbentuk klasifikasi: pada uji Cloudflare, ia melaporkan 94,2 macro-F1 pada intensi BANKING77 dibandingkan 79,7 untuk Jev, dan 97,4 macro-F1 pada CLINC150 dengan penanganan out-of-scope dibandingkan 89,3. Angka out-of-scope adalah yang paling menarik secara operasional, karena menolak untuk mengklasifikasi adalah separuh bagian tersulit dari routing. Ia juga melaporkan 98,5 case-exact pada BFCL dan 86,7 pada CRUXEval.

Kekalahannya secara konsisten mengarah ke arah yang sama. Pada tabel yang sama, Clef melaporkan GPQA Diamond sebesar 48,0 berbanding 78,3 milik Jev, MMLU-Pro sebesar 65,9 berbanding 82,7, dan BBH sebesar 73,7 berbanding 92,9. Itu adalah tiga kesenjangan terbesar dalam tabel dan semuanya menggambarkan kelemahan yang sama: penalaran di luar bentuk-bentuk yang menjadi dasar pelatihan model. Pada empat evaluasi alur kerja end-to-end, kedua model cukup berdekatan sehingga urutannya bukanlah suatu temuan.

Latensi adalah satu tempat di mana keunggulannya bersifat struktural alih-alih marginal, dan karena itu merupakan yang paling mungkin bertahan saat bersentuhan dengan produksi. Cloudflare melaporkan median 209,3 ms dan p95 238,6 ms untuk Clef, dibandingkan dengan 524,1 ms dan 536,0 ms untuk Jev. Urutan itu muncul dari desain non-autoregresif, bukan dari keanehan tolok ukur — tetapi milidetik absolutnya diukur pada perangkat keras milik Cloudflare sendiri dan tidak banyak berarti jika berdiri sendiri.

Perlu dicatat bagi siapa pun yang sudah membaca tabel benchmark Clef di blog ini: angka serving berubah pada 9 Oktober. Cloudflare memindahkan Clef ke SGLang untuk serving dan menyumbangkan pekerjaan itu ke upstream, melaporkan percepatan median 1,7× pada sekitar 800 token input dan 2,0× pada sekitar 3.400 token. Itu adalah perubahan pada lapisan serving, bukan bobot baru, dan modelnya sendiri tidak berubah. Jika Anda mengutip angka latensi sebelum 9 Oktober, angka itu sudah kedaluwarsa.

Memanggil Clef, dan membenahi hubungan Cloudflare dengan benar

Ada dua cara untuk menjalankannya, dan tidak satu pun yang misterius.

Yang pertama adalah endpoint milik Cloudflare sendiri. Clef dilayani dari Workers AI, platform inferensi milik Cloudflare sendiri, dengan biaya $0.24 per juta token input tanpa biaya untuk token output — yang merupakan konsekuensi dari tidak adanya token output. Input media dikonversi menjadi token dan ditagih dengan tarif input yang sama. Ini adalah penerbit yang menghosting modelnya sendiri, dan itulah keseluruhan hubungannya: pencarian yang memasangkan nama model ini dengan Cloudflare tidak mengarah ke host pihak ketiga yang kebetulan menambahkannya. Cloudflare yang membangunnya.

Yang kedua adalah perangkat keras Anda sendiri. Bobotnya ada di Hugging Face dengan lisensi Apache-2.0, jadi self-hosting diizinkan tanpa percakapan komersial. Pengujian Cloudflare sendiri menggunakan torch 2.11 dan transformers 5.10.2 pada satu H200, dengan pillow yang diperlukan untuk masukan gambar dan video. Jika Anda pernah membaca bahwa Clef juga berjalan di SGLang, itu akurat per perubahan serving 9 Oktober; pekerjaan upstream dijadwalkan untuk dirilis di SGLang 0.5.22.

Bentuk API sengaja dibuat tidak baru. Badan permintaan dan respons Clef kompatibel dengan format SystemOne milik TypeSafe, sehingga pipeline yang sudah terhubung ke model keputusan dengan bentuk tersebut dapat diarahkan ke Clef hanya dengan mengubah URL dan string model. Itu argumen biaya peralihan yang nyata dan berlaku dua arah, dan itulah cara jujur untuk membacanya: karena antarmukanya sama, mengadopsi Clef murah, dan meninggalkannya juga sama murahnya. Sikap yang masuk akal bagi tim yang sudah memiliki endpoint keputusan di produksi adalah menjalankan keduanya terhadap trafik Anda sendiri daripada bermigrasi. Jika Anda merutekan melalui OrcaRouter, Jev 1.13 milik TypeSafe adalah model yang terdaftar di katalog kami, sehingga A/B antara penyedia saat ini dan apa pun yang Anda host sendiri berada di balik satu kunci, bukan dua kontrak — 200+ model, harga daftar penyedia diteruskan tanpa markup per token, dan failover ditangani untuk Anda.

Satu hal yang tidak akan diberitahukan oleh halaman ini kepada Anda adalah apakah Clef tersedia melalui kami. Cloudflare mempublikasikannya di Workers AI dan di Hugging Face, dan saya belum memverifikasi rute melalui daftar model kami sendiri, jadi tidak ada yang bisa diklaim.

Apa yang masih belum terselesaikan

Hal yang paling berguna yang bisa terjadi pada Clef adalah replikasi eksternal atas Decision Index. Suite ini bersifat publik dan Cloudflare menyebut evaluasinya dapat direproduksi, jadi uji coba pihak ketiga adalah pembeda antara tabel vendor dan fakta. Sampai hal itu ada, ringkasan jujur dari profil Clef yang dipublikasikan adalah bahwa ia adalah pengklasifikasi terbatas yang sangat kuat dengan desain non-autoregresif yang cepat, serta penalar umum yang secara substansial lebih lemah daripada model yang dijadikan tolok ukurnya.

Tiga hal spesifik akan mengubah pembacaan itu. Reproduksi netral atas angka out-of-scope BANKING77 dan CLINC150, karena selisih tiga puluh poin di atas incumbent adalah entah keseluruhan ceritanya entah artefak. Angka p95 pada konkurensi nyata, karena median 209 ms yang diukur pada satu H200 tidak mengatakan apa pun tentang hot path di bawah beban. Dan Clef yang di-fine-tune yang mengalahkan base pada tugas yang tidak pernah dilatihkan kepada base, yang dirancang untuk dihasilkan oleh platform fine-tuning RL Cloudflare tetapi belum ditunjukkan dengan hasil pelanggan.

Sampai saat itu, yang dapat diandalkan oleh pembaca adalah bentuk dari hal ini: 27B parameter, backbone Qwen3.8-27B yang dibekukan dengan encoder penglihatannya, head skema gabungan, 65.536 token konteks yang dihosting, teks dan JSON serta gambar dan video masuk, probabilitas keluar, Apache-2.0. Itu cukup untuk memutuskan apakah arsitektur ini cocok dengan masalah Anda. Pertanyaan yang belum bisa dijawabnya adalah apakah papan skor milik vendor sendiri benar tentang model tersebut, dan belum ada orang di luar Cloudflare yang memeriksanya.