LFM2.5-24B-A2B-DSpark vs LFM2.5-8B-A1B-DSpark: File 328M yang Sama, Dua Taruhan yang Sangat Berbeda

Unduh salah satu file dan Anda mendapatkan 655,421,522 byte. LFM2.5-24B-A2B-DSpark dan LFM2.5-8B-A1B-DSparkberukuran sama hingga ke byte, berbagi backbone lima lapis, kepala Markov rank-256 yang sama, ukuran blok yang sama yaitu 9 dan kosakata 128.000 token yang sama — dan tidak satu pun dapat menjawab satu prompt pun, karena keduanya adalah drafter speculative-decoding yang hanya ada untuk menebak token bagi model target. Yang membedakan keduanya bukanlah spesifikasi mereka sendiri. Melainkan terhadap target mana mereka dilatih, dan seberapa banyak bukti yang ada bahwa trik itu berhasil pada target tersebut. Salah satunya memiliki pengukuran GPU dan MacBook yang dipublikasikan dari posting peluncuran; yang lain memiliki tabel GPU dan tanpa pengumuman. Memilih di antara keduanya karena itu sama sekali bukan perbandingan model — ini adalah perbandingan dua taruhan, dan hanya satu di antaranya yang telah diuangkan. Kegagalan AI dan insiden agen yang terdokumentasi di balik rilis seperti ini dikumpulkan dalam Arsip Insiden AI OrcaRouter di mana setiap entri membawa sumbernya sendiri, tingkat keparahan, tingkat keyakinan, dan penanda status diperdebatkan.

File-file itu kembar; pekerjaannya tidak.

Baca dua config.json file berdampingan dan hampir setiap field cocok: ukuran tersembunyi 2,048, ukuran intermediate 6,144, aktivasi SiLU, 32 kepala attention dengan 8 kepala KV pada dimensi kepala 64, lima lapisan full-attention, ukuran blok 9, enable_confidence_head: true, head Markov vanilla dengan rank 256. Jumlah parameternya identik, itulah sebabnya file safetensors cocok byte demi byte.

Tiga bidang berbeda, dan masing-masing merupakan penopang.

• Tap lapisan target — drafter 8B membaca hidden state dari lapisan 2, 6, 10, 14, dan 18 pada target 24 lapisan; drafter 24B membaca lapisan 2, 10, 18, 26, dan 34 pada target 40 lapisan. Inilah field yang membuat file-file tersebut tidak dapat dipertukarkan.

• Posisi maksimum — 128.000 untuk drafter 8B dibandingkan 131.072 untuk 24B, mengikuti jendela konteks target masing-masing.

• RoPE theta — 5.000.000 versus 10.000.000, ditentukan oleh penyandian posisi target, bukan oleh apa pun tentang drafter.

Pasangan terakhir itu adalah bukti paling jelas bahwa checkpoint ini dilatih per target, bukan diskalakan dari basis bersama. Drafter tidak memiliki identitas independen: distribusi inputnya adalah apa pun bentuk hidden state target, dan itu berubah ketika arsitektur serta pelatihan target berubah. Arahkan drafter 8B ke model 24B dan indeks lapisan saja sudah membuatnya tidak masuk akal; bahkan jika indeksnya cocok, logits yang dilatih untuk diprediksinya tidak akan cocok.

Apa yang sebenarnya dipercepat oleh masing-masing

Target-target tersebut lebih berbeda daripada yang tersirat oleh penamaan "8B versus 24B", dan perbedaannya berjalan ke arah yang berlawanan bagi siapa pun yang menganggap model yang lebih besar adalah beban yang lebih berat di perangkat.

• Parameter total dan aktif — LFM2.5-8B-A1B memiliki total 8,3B dengan 1,5B aktif per token; LFM2.5-24B-A2B memiliki total 24,0B dengan 2,45B aktif.

• Kedalaman — 24 lapisan (18 konvolusi bergerbang ditambah 6 GQA) versus 40 lapisan (30 konvolusi ditambah 10 GQA).

• Konteks — 128.000 token dari 131.072.

• Anggaran pelatihan — 38T token dibandingkan 36T, sehingga model yang lebih kecil tidak kurang terlatih dibandingkan model yang lebih besar.

Perutean — model 8B menggunakan MoE 64-ahli dengan perutean top-4, sama seperti 24B, sehingga keduanya menanggung penalti aktivasi ahli yang merugikan verifikasi.

Keduanya adalah model penalaran yang berpikir sebelum menjawab, dan dalam konteks ini hal itu lebih penting daripada jumlah parameter. Kelemahan terbesar decoding spekulatif adalah output panjang yang tidak dibatasi, dan rantai pemikiran persis seperti itu. Tabel vendor menunjukkan hal ini: baris dengan tingkat penerimaan tertinggi pada kedua rilis adalah benchmark jawaban pendek seperti MBPP dan MT-Bench, sedangkan yang terendah adalah benchmark yang mengharuskan model menemukan jalur solusi panjang.

Kesenjangan bukti adalah perbedaan sesungguhnya.

Di sinilah kedua rilis tidak lagi bisa dibandingkan. Drafter 8B dirilis pada 2026-08-20 sebagai bagian dari pengumuman keluarga lengkap, dengan pengukuran pada dua mesin yang sangat berbeda: satu H100 80 GB dalam BF16 melalui SGLang, dan MacBook Pro M4 Max yang menjalankan bobot FP16 GGUF melalui llama.cpp dengan kernel Metal eksperimental. Rata-ratanya 2,54× pada H100 dengan puncak 3,18× pada MATH-500, dan hanya 1,18× pada MacBook — 90 hingga 106 token per detik, dirata-ratakan pada lima dataset.

Drafter 24B memiliki satu baris perangkat keras: satu NVIDIA B300 dengan target FP8, cache KV BF16, temperature 0. Rata-ratanya 2,38× pada konkurensi 1, 2,69× pada konkurensi 32, dan 1,71× pada konkurensi 256 di delapan dataset, dengan puncak 3,28× pada MBPP di konkurensi 32. Tidak ada baris Mac, tidak ada baris H100, dan tidak ada postingan pengumuman untuk menjelaskan penghilangan itu.

Bagi model yang seluruh nilai jualnya adalah agen di perangkat — posting peluncuran Liquid untuk 24B mengedepankan 184 token per detik pada Apple M5 Max — angka MacBook yang hilang adalah kekosongan paling penting dalam rilis ini. Hasil 8B menjelaskan mengapa angka itu bisa kecil: memverifikasi satu blok token mengaktifkan lebih banyak pakar daripada mendekode satu token, sehingga target MoE memindahkan lebih banyak bobot per token yang diterima. Dan penerimaan saja bukan prediktornya: drafter 8B sebenarnya rata-rata mencetak lebih banyak token yang diterima per langkah daripada yang dilaporkan kartu 24B (6,95 pada lima kumpulan data versus 5,16 pada delapan) dan tetap hanya memberikan 1,18× pada MacBook. Itulah poin yang perlu diingat — pada 8B, penerimaan yang kuat tidak menyelamatkan throughput di perangkat. Mengasumsikan 24B berperilaku berbeda adalah taruhan tanpa angka di belakangnya.

Membaca kedua tabel dengan saling membandingkannya

Rasio pada judul tidak sebanding satu sama lain dan tidak boleh saling dikurangkan. GPU berbeda, presisi target berbeda, kumpulan dataset berbeda, sapuan konkurensi berbeda. Namun ada dua pola yang tetap bertahan meski terdapat ketidaksesuaian tersebut.

Pertama, batas atasnya serupa. Sel {{2}}H100{{/2}} terbaik milik {{1}}8B{{/1}} adalah 3,18× pada MATH-500 dengan ukuran batch 1; sel {{4}}B300{{/4}} terbaik milik {{3}}24B{{/3}} adalah 3,28× pada MBPP dengan konkurensi 32. Drafter dari desain ini berada dalam rentang 1,5×–3,3× yang sama terlepas dari target yang mereka layani, yang merupakan hal yang Anda harapkan ketika arsitektur drafter dipertahankan tetap dan hanya bobotnya yang berubah.

Kedua, dan yang lebih berguna, pada nilai terendahlah target-target tersebut berbeda. Sel H100 terlemah pada 8B adalah GSM8K pada 1,29×; sel B300 terlemah pada 24B dengan konkurensi 256 adalah LiveCodeBench pada 1,34× dan AIME pada 1,36×. Tidak ada rilis yang menghasilkan kasus ketika spekulasi gratis, dan keduanya menghasilkan kasus ketika nilainya nyaris tidak sepadan dengan memori.

Ada juga perubahan dokumentasi antara kedua kartu yang mudah terlewat dan layak diperhatikan. Materi Agustus menyatakan output dalam dekode greedy identik dengan baseline “secara konstruksi”; kartu 8B menjanjikan “output yang persis sama.” Kartu 24B sebaliknya memperingatkan bahwa perbedaan floating-point antara verifikasi batch dan dekode biasa dapat menghasilkan teks yang berbeda, termasuk pada sampling greedy. Kartu yang lebih baru adalah yang lebih berhati-hati, dan jika Anda menjalankan diff output tingkat byte di CI, keduanya layak diperlakukan sebagai berpotensi tidak identik alih-alih mempercayai janji yang lebih lama.

Yang mana yang relevan bagi Anda ditentukan oleh target Anda, bukan anggaran Anda.

Tidak ada skenario di mana sebuah tim memilih salah satu daripada yang lain berdasarkan keunggulannya. Anda menjalankan 24B karena Anda membutuhkan kemampuan model 24B pada mesin yang mampu menampungnya — 14,5 GB pada Q4_K_M dalam GGUF, atau satu B300 untuk konfigurasi penyajian FP8. Anda menjalankan 8B karena total 8,3B parameter dengan 1,5B aktif adalah yang muat di perangkat edge atau laptop, dan drafter memulihkan sebagian kecepatan decode yang Anda korbankan dengan beralih ke model kecil. Drafter adalah pelengkap bagi keputusan pertama itu, dan keputusan tersebut hampir selalu dibuat berdasarkan memori dan kualitas jauh sebelum spekulasi masuk ke dalam pembicaraan.

Satu-satunya kasus di mana pilihan ini benar-benar relevan adalah evaluasi. Jika Anda menguji apakah DSpark layak diadopsi sama sekali di stack Anda, pasangan 8B adalah eksperimen yang lebih murah: cocok di satu H100, memiliki angka Mac yang dapat Anda bandingkan dengan laptop Anda sendiri, dan mode kegagalannya di perangkat sudah didokumentasikan oleh vendor. Pasangan 24B adalah eksperimen produksi yang lebih menarik dan yang kurang terdokumentasi.

Untuk keduanya, angka yang menentukan hasil adalah penghitung penerimaan, bukan tabel vendor. SGLang mengekspos penerimaan speculative-decoding per permintaan; llama.cpp melaporkan draft_n dan draft_n_accepted dalam timing per respons. Jalankan prompt Anda sendiri selama sepuluh menit lalu bagi. Jika penerimaan berada di dekat rata-rata kartu, drafter layak dipakai; jika berada di ujung bawah, Anda membeli proses verifikasi dan sebaiknya melepasnya — dan kesimpulan itu akan berlaku pada kedua checkpoint, karena mekanismenya sama.

Kedua checkpoint itu bukan model yang dapat Anda panggil.

Inilah bagian yang menjebak orang yang menemui nama-nama ini di katalog model dan menganggapnya sebagai opsi di menu. Itu bukan endpoint. Tidak ada drafter yang memiliki harga per juta token, tidak satu pun muncul dalam daftar API, dan tidak satu pun akan pernah menjadi tujuan perutean oleh platform yang menyajikan model — karena pasangan yang benar adalah konfigurasi sisi server, bukan parameter permintaan.

Liquid AI menjual target 24B itu sendiri seharga $0.10 per juta token input, $0.05 untuk yang di-cache, dan $1.00 per juta output, dan spekulasi apa pun yang dijalankannya di balik harga itu tidak terlihat oleh pemanggil. Itulah bentuk biasa pasar saat ini: rekayasa yang menarik terjadi di dalam stack penyajian, dan yang sampai ke pengembang adalah angka tarif dan token per detik. Di sinilah platform perutean menemukan tempatnya — pada perbandingan di atas lapisan tersebut, yakni menempatkan kandidat di samping model-model yang harus dikalahkannya. OrcaRouter menjalankan satu endpoint di lebih dari 200 model dengan markup 0% atas harga daftar penyedia, sehingga ketika tarif vendor berubah, tarif yang Anda lihat ikut berubah pada hari yang sama, dan failover mencegah model kandidat menjadi satu titik kegagalan saat Anda mengevaluasinya. Keluarga LFM2.5 belum termasuk di dalamnya saat ini, jadi 8B atau 24B yang di-host sendiri dengan drafter-nya tetap menjadi deployment lokal; model-model yang layak diuji sebagai pembanding — Qwen3.6-35B-A3B di sisi agentic, Gemma 4 26B-A4B di sisi efisiensi — adalah yang kami rutekan.

Apa yang telah dibuktikan oleh setahun rilis DSpark

Keluarga ini kini mencakup empat target teks dan satu target visi, dari 1,2B hingga 24B, semuanya berbagi satu resep drafter yang sama: sekitar 300M parameter, lima lapisan atensi, blok 9, dilatih pada hidden state milik target itu sendiri. Konsistensi itulah temuan sebenarnya. Liquid telah mengubah speculative decoding dari proyek riset per model menjadi tahap produksi — drafter yang sama, dialihtargetkan, dirilis dalam hitungan hari setelah setiap model baru. Apakah langkah itu layak dilakukan di perangkat keras Anda adalah pertanyaan tentang trafik Anda, dan jawabannya jauh lebih bervariasi menurut beban kerja daripada menurut file mana dari dua file ini yang Anda unduh.

Apa yang ditambahkan oleh rilis 24B pada gambaran tersebut bukanlah rasio yang lebih baik. Ini adalah pertama kalinya sebuah drafter dirilis tanpa dokumen penjelasan pendamping — dan pertama kalinya kartu milik vendor sendiri memberi tahu Anda, dengan bahasa yang gamblang, bahwa keluarannya mungkin ternyata tidak identik bit.