LFM2.5-24B-A2B-DSpark vs LFM2.5-24B-A2B: Haruskah Anda Benar-Benar Memasang Drafter?

Berikut keputusannya dalam satu baris: LFM2.5-24B-A2B-DSpark adalah file 327,7 juta parameter yang Anda letakkan di samping LFM2.5-24B-A2B agar model 24B menghasilkan jenis keluaran yang sama dengan lebih cepat. Ini bukan alternatif untuk model tersebut dan bukan sesuatu yang Anda pilih sebagai penggantinya. Satu-satunya pertanyaan nyata yang muncul dari kedua nama itu adalah pertanyaan rekayasa — apakah Anda memasang drafter ke deployment Anda atau tidak memasangnya — dan jawabannya lebih bergantung pada dua angka yang tidak diumumkan, bukan pada klaim percepatan utama Liquid AI: berapa banyak token draf yang diterima pada lalu lintas Anda, dan seberapa banyak konkurensi yang sudah Anda jalankan. Kegagalan AI dan insiden agen yang terdokumentasi di balik rilis seperti ini dikumpulkan di Arsip Insiden AI OrcaRouter di mana setiap entri membawa sumber, tingkat keparahan, nilai keyakinan, dan penanda perdebatan masing-masing.

Liquid AI belum menerbitkan postingan peluncuran untuk drafter tersebut. Repositori ini menjadi publik pada 2026-10-19 dengan bobot, CSV benchmark, dan flag peluncuran SGLang, sementara kartu model target itu sendiri masih memberi label "segera hadir" pada drafter, dan halaman dokumentasi speculative decoding Liquid hanya mencantumkan target 1.2B, 2.6B, 8B, dan VL-3B. Jadi ini adalah perbandingan antara artefak yang sudah dirilis dengan model yang sudah dirilis, yang ditulis berdasarkan repositori, bukan berdasarkan siaran pers — yang berarti setiap angka performa di bawah ini dilaporkan oleh vendor dan tidak satu pun telah direproduksi secara independen.

Apa yang sebenarnya diubah oleh penyusun, dan apa yang tidak

Mekanisme ini layak diberi waktu tiga puluh detik karena ia menentukan semua hal lainnya. Proses decoding sebuah token dibatasi oleh memori: GPU menghabiskan sebagian besar waktunya untuk mengalirkan bobot ke SRAM, bukan melakukan aritmetika. Speculative decoding memanfaatkan hal itu dengan membuat model kecil menebak beberapa token berikutnya sekaligus, lalu membuat model sebenarnya memeriksa seluruh tebakan tersebut dalam satu forward pass. Jika tebakannya tepat, Anda menghasilkan sembilan token dengan biaya kira-kira setara satu token. Jika tebakannya buruk, model target mempertahankan tokennya sendiri dan Anda membayar sedikit ekstra.

Yang berubah: token per detik, dan bentuk utilisasi GPU Anda. Yang tidak berubah: bobot model, jendela konteksnya, perilaku pemanggilan alatnya, atau harganya di tempat model itu dijual. LFM2.5-24B-A2B mempertahankan 24,0B parameter total dengan 2,45B aktif per token, 40 lapisan yang terbagi antara konvolusi pendek bergerbang dan grouped-query attention, 64 pakar per blok dengan perutean top-4, konteks 131.072 token dan kosakata 128.000 token. Drafter menambahkan lima lapisan attention, head Markov rank-256 dan head keyakinan, serta menggunakan kembali embedding dan LM head target alih-alih membawa miliknya sendiri.

Satu peringatan berubah di antara kedua rilis dan layak disebutkan. Pada Agustus, tulisan DSpark dari Liquid menyatakan bahwa urutan yang dihasilkan "identik dengan greedy baseline secara konstruksi." Kartu drafter 24B sebaliknya menyatakan bahwa perbedaan floating-point antara verifikasi terbatch dan decoding biasa "dapat menghasilkan teks berbeda, termasuk pada pengambilan sampel greedy." Kedua pernyataan dapat dipertahankan — yang pertama benar dalam aritmetika eksak — tetapi jika harness evaluasi Anda membandingkan output byte demi byte, bersiaplah alat itu akan menyadarinya.

Sisi biaya dari buku besar

Drafter tidak gratis. Ia menempati 655 MB dalam BF16 di GPU (atau 664 MB F16 GGUF di CPU), berada di pool memori yang sama dengan target, dan setiap langkah yang diusulkannya membutuhkan satu forward pass verifikasi atas satu blok token, bukan satu token saja. Pada target MoE, bagian terakhir itu lebih mahal daripada kedengarannya: memverifikasi sembilan token mengaktifkan lebih banyak expert daripada mendekode satu token, sehingga byte yang dipindahkan per token terverifikasi naik, bukan turun. Liquid menyebut tepat hal ini sebagai alasan drafter 8B-nya hanya menghasilkan 1.18× pada M4 Max meskipun penerimaannya kuat.

Sebaliknya, penghematannya cukup besar untuk diukur dalam GPU-jam. Dengan menggunakan angka B300 milik vendor itu sendiri dari benchmarks/b300-fp8.csv, dan tidak melakukan apa pun selain membagi satu miliar token keluaran dengan throughput yang teramati:

• MATH-500, konkurensi 1 — 324 tok/s tanpa drafter (857 jam GPU per miliar token) dibandingkan dengan 853 tok/s dengan drafter (326 jam GPU). Pengurangan waktu komputasi sebesar 2,63×.

• MATH-500, konkurensi 256 — 15.423 tok/s sendirian (18,0 jam GPU) versus 27.579 tok/s dengan drafter (10,1 jam GPU). Pengurangan 1,79×.

GSM8K, konkurensi 256 — 4.491 tok/s tanpa drafter (61,9 GPU-jam) versus 9.660 tok/s dengan drafter (28,8 GPU-jam). Pengurangan 2,15×.

• LiveCodeBench, konkurensi 256 — 18.812 tok/s sendiri (14,8 jam-GPU) versus 25.231 tok/s dengan drafter (11,0 jam-GPU). Hanya pengurangan 1,34×, sel terlemah dalam tabel.

Itu adalah rasio throughput yang dikonversi menjadi waktu, bukan uang, karena uang bergantung pada tarif yang Anda bayar per GPU-jam dan artikel ini tidak akan mengarang tarif. Namun urutannya tetap berlaku pada tarif apa pun: memasang drafter bernilai dua hingga tiga jam per sepuluh untuk lalu lintas reasoning dan pembuatan kode pada konkurensi rendah, dan bernilai kira-kira sepertiga dari itu pada konkurensi tinggi. Jika deployment 24B Anda adalah agen pengguna tunggal di workstation, argumennya kuat. Jika itu endpoint batch yang jenuh, argumennya nyata tetapi jauh lebih tipis daripada yang disiratkan oleh angka utama 2,4×.

Di sinilah drafter membuktikan nilainya, dalam hal beban kerja

Sebaran delapan dataset dalam tabel vendor bukanlah noise; itu berkaitan dengan jenis prompt, dan pemetaan tersebut adalah hal paling berguna dalam rilis ini. Acceptance berkisar dari 6,70 token per langkah pada MBPP hingga 4,02 pada LiveCodeBench. Dataset yang mendapat skor tinggi adalah dataset yang output modelnya dibatasi oleh prompt — fungsi pendek bergaya unit test, aritmetika dengan jalur yang dapat diperiksa, jawaban pilihan ganda. Dataset yang mendapat skor rendah adalah dataset yang mengharuskan model menciptakan solusi panjang tanpa batasan: soal pemrograman kompetitif dan matematika bergaya AIME.

Itulah intuisi yang perlu Anda bawa ke evaluasi Anda sendiri. Model penalaran 24B yang dijual untuk pekerjaan agentic menghabiskan sebagian besar token keluarannya di dalam rantai pemikiran, yang lebih mirip LiveCodeBench daripada MBPP. Model yang digunakan untuk ekstraksi terstruktur, klasifikasi dengan skema, atau format pemanggilan alat yang tetap jauh lebih mirip dengan baris-baris penerimaan tinggi. Jika beban kerja Anda adalah yang pertama, perkirakan hasilnya lebih dekat ke batas bawah 1,34× daripada batas atas 3,28×. Belum ada yang menerbitkan tingkat penerimaan per beban kerja untuk drafter ini, dan delapan dataset pada kartu tersebut adalah hal yang paling mendekati panduan.

Sebagai kontras: 24B adalah model yang hanya untuk penalaran. Liquid mengatakan model ini selalu berpikir sebelum menjawab — templat chat menyisipkan tag <think> secara otomatis. Itu adalah bentuk terburuk yang mungkin untuk spekulasi, karena rentang penalaran justru merupakan bagian panjang dengan tingkat penerimaan rendah. Penyusun draf tetap akan membantu; bantuannya paling besar pada jawaban akhir dan paling kecil pada bagian yang memakan waktu paling lama.

Cara mengetahui, di perangkat keras Anda sendiri, dalam waktu satu sore

Anda tidak harus mempercayai semua hal di atas. Kedua jalur inferensi menampilkan penghitung penerimaan, satu-satunya angka yang menentukan apakah drafter membiayai dirinya sendiri pada lalu lintas Anda.

Pada SGLang, jalankan target dengan drafter terpasang, ukuran blok 9 dan sepuluh token draf, lalu baca metrik speculative-decoding yang dilaporkan server per permintaan. Tingkat penerimaan dalam tabel vendor berada antara 0,33 dan 0,65 tergantung dataset; proses yang jauh di bawah baris relevan berarti drafter menebak dengan salah dan Anda membayar verifikasi tanpa memperoleh percepatan. Pada llama.cpp dengan sidecar GGUF F16, waktu per respons memuat draft_n dan draft_n_accepted secara langsung. Bagilah yang satu dengan yang lain.

Dua detail operasional akan memakan waktu satu jam jika Anda melewatkannya. Server SGLang memerlukan build yang menyertakan jalur LFM2-MoE DSpark yang di-merge pada 2026-08-31 — pada versi apa pun yang lebih lama, arsitektur drafter sama sekali tidak dikenal. Dan ukuran blok adalah properti dari checkpoint, bukan parameter bebas: llama.cpp membatasi --spec-draft-n-max ke nilai metadata sidecar sebesar 9, jadi meminta 12 tidak memberi manfaat apa pun.

Pertanyaan yang tidak dapat dijawab oleh perbandingan ini

Ada versi dari "haruskah saya melampirkan drafter" yang sama sekali tidak berkaitan dengan GPU, dan itulah yang sebenarnya paling sering dihadapi tim. Jika Anda memanggil LFM2.5-24B-A2B melalui API yang dihosting, keputusan drafter bukan milik Anda. Stack serving entah melampirkan decoder spekulatif atau tidak; Anda melihat angka token per detik dan harga, dan keduanya telah ditentukan di hulu. Console milik Liquid sendiri mencantumkan model 24B pada $0.10 per juta token input, $0.05 input cache, dan $1.00 per juta output — tarif yang dipublikasikan yang sudah mencerminkan jalur dekode apa pun yang mereka jalankan, dan tarif yang dapat berubah tanpa pemberitahuan.

Itulah titik temu di mana routing membantu alih-alih mempersulit. Panggilan hosted dan deployment self-hosted bukanlah paket yang saling bersaing, melainkan lebih sebagai dua pengaturan pada tombol biaya yang sama: self-hosting plus drafter meminimalkan biaya per token jika volume Anda menjaga GPU tetap sibuk, dan endpoint hosted meminimalkan usaha untuk mendapatkan jawaban. OrcaRouter dibangun untuk yang kedua — satu kunci untuk lebih dari 200 model dengan markup 0% atas harga daftar penyedia, sehingga perubahan harga vendor muncul di sisi kami pada hari yang sama, dengan failover otomatis jika penyedia mengalami penurunan performa dan DSL routing untuk membagi traffic alih-alih melakukan hard-code pada satu backend. Saat ini kami tidak melayani keluarga LFM2.5, jadi untuk model spesifik ini sisi hosted berarti API milik Liquid sendiri atau GPU Anda sendiri; perbandingan yang layak dijalankan adalah dengan model yang kami sediakan, seperti Qwen3.6-35B-A3B — model yang dijadikan pembanding oleh Liquid pada tugas-tugas agentic — atau Gemma 4 26B-A4B.

Jadi: lampirkan atau tidak

Pasang jika Anda sendiri melayani LFM2.5-24B-A2B pada konkurensi moderat, terutama untuk output terstruktur atau berbentuk ekstraksi, dan jika Anda memiliki ruang cadangan 655 MB di samping target. Angka dari vendor menyatakan bahwa waktu dekode Anda di sana kira-kira akan menjadi sekitar setengah atau sepertiga, dan sisi buruknya terbatas: drafter yang buruk hanya memakan satu proses verifikasi, bukan jawaban yang salah.

Biarkan nonaktif jika endpoint Anda sudah jenuh di angka ratusan, jika output Anda berupa penalaran bebas yang panjang, atau jika Anda memerlukan angka Apple-silicon sebelum berkomitmen — kartu ini tidak memuatnya, dan analog terdekat dari keluarga yang sama dirilis pada 1,18× di MacBook. Dan biarkan nonaktif, tentu saja, jika Anda sama sekali tidak menjalankan model: drafter adalah optimasi untuk suatu deployment, dan tidak ada yang bisa dioptimalkan sampai deployment itu ada.

Yang akan menyelesaikan sisanya adalah postingan vendor dan pengukuran Mac. Keduanya belum ada per 2026-10-21, sebuah keadaan yang aneh untuk rilis yang bobotnya sudah dapat diunduh — dan, bagi siapa pun yang bersedia menjalankan penghitung penerimaan sendiri, peluang yang luar biasa murah untuk menjadi angka independen pertama di papan.