LFM3 vs Qwen3.8-27B: Kesenjangan Ukuran 16× yang Menyempit menjadi 9% pada Instruction Following

LFM3-1.7B memiliki 1,73 miliar parameter. Qwen3.8-27B memiliki 27,78 miliar, ditambah encoder visi — 16,1 kali lebih banyak bobot. Letakkan keduanya pada baris benchmark yang sama dan aritmetikanya menolak untuk bersikap wajar. Pada IFBench, yang menguji apakah suatu model mematuhi batasan yang tidak pernah menjadi bagian dari fine-tuning-nya, selisih di antara keduanya kurang dari sembilan persen. Pada Terminal-Bench 2.1, selisihnya 5,6 kali. Dua model, satu perbedaan ukuran yang tetap, dan hasil yang berayun dari "mengapa Anda mau membayar untuk yang besar" hingga "yang kecil tidak bisa melakukan ini sama sekali", tergantung baris yang Anda baca.

Ayunan itulah yang menentukan segalanya. Ini bukan cerita tentang model kecil yang mengejar model besar, dan bukan pula cerita tentang model besar yang terbuang untuk pekerjaan kecil. Ini adalah cerita tentang batas tugas yang, dengan sangat konsisten, berjalan di antara mengikuti instruksi dan mengeksekusi rencana — dan tentang ketentuan lisensi yang secara diam-diam menata ulang perbandingan harga bagi siapa pun yang bekerja di perusahaan di atas ambang pendapatan tertentu.

Apa sebenarnya masing-masing dari ini

Liquid AI mengumumkan keluarga LFM3 pada 2026-10-27 — sehari sebelum tulisan ini dibuat — sebagai enam model open-weight kelas sekitar 2B yang diturunkan dari backbone bersama LFM3-1.7B-Base. LFM3-1.7B adalah anggota teksnya: arsitektur tri-hibrida 24 lapisan (13 gated short convolution, 5 lapisan sliding-window attention dengan jendela 256 token, dan 6 lapisan full-attention), yang dipra-latih pada 22 triliun token dengan tahap mid-training akhir 3,5 triliun token yang mencakup jejak agen dan pemanggilan alat. Bobotnya ada di Hugging Face, Ollama mengirimkannya sebagai lfm3:latest dengan unduhan 1,7 GB, dan kartu model milik vendor sendiri menyarankan untuk tidak menggunakannya untuk agentic coding atau penalaran multi-langkah yang kompleks. Kalimat terakhir itu lebih penting daripada apa pun di kartu tersebut, dan kita akan kembali lagi ke sana.

Qwen3.8-27B bukanlah model baru. Alibaba menerbitkan bobotnya pada pertengahan Agustus 2026 di bawah lisensi Apache 2.0, dan model ini telah memiliki sepuluh minggu untuk mengumpulkan unduhan, kuantisasi, dan laporan pengguna nyata yang tidak dimiliki oleh rilis berusia satu hari. Ini adalah model dense 27,78B yang dibangun di atas blok berulang lapisan Gated DeltaNet dan Gated Attention, sedalam 64 lapisan, dengan input visi dan video native serta konteks 262.144 token yang dapat diperluas hingga 1M dengan YaRN. Mode Thinking aktif secara default dan dapat disesuaikan melalui pengaturan reasoning-effort.

Jadi, cara membingkai pasangan ini secara jujur bersifat asimetris dalam hal yang penting: satu model memiliki tabel tolok ukur vendor dan tidak memiliki laporan lapangan, sedangkan model lainnya memiliki keduanya. Anggap semua hal di bawah tentang LFM3-1.7B sebagai klaim tentang rangkaian uji Liquid AI, bukan tentang beban kerja Anda.

Baris spesifikasi di mana model kecil tidak kalah

Mulailah dengan dimensi-dimensi yang 16× parameternya tidak memberikan hasil apa pun, karena jumlahnya lebih banyak daripada yang disiratkan oleh perbedaan ukuran.

• Jendela konteks — 262.144 token secara native pada keduanya. LFM3-1.7B mencapainya selama pelatihan menengah; Qwen3.8-27B menyediakannya secara native dan diperluas hingga 1 juta dengan YaRN.

• Bahasa — 16 dideklarasikan untuk LFM3-1.7B (termasuk Inggris, Tionghoa, Jepang, Korea, Arab, dan Hindi); Qwen3.8-27B dilatih secara luas dalam berbagai bahasa tanpa angka utama.

• Modalitas — teks masuk, teks keluar untuk LFM3-1.7B; teks, gambar, dan video masuk, teks keluar untuk Qwen3.8-27B. Ini adalah satu-satunya tempat di mana 27B mengerjakan tugas yang secara kategoris berbeda, bukan versi lebih besar dari tugas yang sama.

Memori pada 4-bit — sekitar 1 GB untuk LFM3-1.7B dibandingkan dengan sekitar 14–16 GB untuk Qwen3.8-27B.

• Memori dalam BF16 — 3,46 GB dibandingkan dengan sekitar 56 GB, yang merupakan selisih antara laptop dan mesin multi-GPU.

• Lisensi — LFM Open License v1.0 dibandingkan dengan Apache 2.0. Ingat itu dulu.

Jendela konteks 256K pada kedua sisi adalah hal yang benar-benar mengejutkan. Panjang konteks secara historis mengikuti jumlah parameter, dan di sini model yang dapat Anda jalankan dengan sekitar satu gigabyte menawarkan jendela nominal yang sama dengan model yang membutuhkan workstation. Kata "nominal" benar-benar berperan penting dalam kalimat itu — jendela 256K pada model 1,7B hanya berguna jika model dapat menemukan hal-hal di dalamnya, yang persis diuji oleh baris-baris konteks panjang di bawah ini.

Ketika 16× parameter hanya menghasilkan sembilan persen

Liquid menjalankan rangkaian 27 baris dan menerbitkan tabel lengkapnya, termasuk kolom-kolom di mana pesaing menang. Kedua model melaporkan IFBench, yang merupakan baris perbandingan paling setara di seluruh perbandingan ini karena merupakan satu versi benchmark tunggal yang dilaporkan oleh kedua vendor.

LFM3-1.7B mencetak skor 73.03. Qwen3.8-27B mencetak skor 79.5. Itu selisih 6.5 poin, di bawah sembilan persen dari skor model yang lebih besar — pada model yang 16.1 kali lebih kecil. Untuk beban kerja yang sebagian besar berupa "ambil input berantakan ini, keluarkan bentuk JSON yang persis ini, jangan pernah merusak skema," selisih itu mendekati noise, dan perbedaan deployment-nya adalah satu gigabita versus enam belas.

Tabel Liquid sendiri menyampaikan poin yang sama terhadap pesaing yang lebih dekat. Terhadap Qwen3.5-9B — model yang lima kali ukuran LFM3-1.7B — model kecil menang di IFBench dengan selisih 24 poin (73,03 berbanding 48,84), IFStruct dengan 4,5 (93,72 berbanding 89,20) dan Multi-IF dengan 4,7 (89,10 berbanding 84,44). Terlepas dari apa pun yang juga benar, kepatuhan terhadap instruksi bukanlah kemampuan yang meningkat secara mulus seiring jumlah parameter, dan model 1.7B yang terlatih dengan baik dapat mengalahkan model 9B yang biasa-biasa saja dalam hal itu.

Baris-baris konteks panjang lebih ambigu dan layak dinyatakan secara terus terang daripada dibulatkan demi menguntungkan Liquid. Pada AA-LCR, LFM3-1.7B mencatat 52,83 — skor nyata untuk ukurannya, dan kira-kira setara dengan 52,67 milik Qwen3.5-4B. Pada RULER 128K, skornya 65,56, jauh di depan 37,96 milik MiniCPM5-2B tetapi jauh di belakang 87,11 milik Qwen3.5-9B. Jadi jendela 256K bukan sekadar hiasan, tetapi juga tidak setara dengan milik model yang lebih besar. Qwen3.8-27B sama sekali tidak muncul di tabel itu, yang berarti tidak ada angka konteks panjang yang sebanding untuk pasangan khusus ini — hanya prior yang kuat bahwa model 27B dengan 262K native akan mengalahkan model 1,7B dengan jendela nominal yang sama.

Di mana 16× parameter menghasilkan lima setengah kali lipat

Sekarang baris-baris yang diperingatkan oleh kartu model. Setiap baris ini adalah versi benchmark yang dilaporkan kedua vendor, sehingga tidak terjadi pengurangan antarversi.

• Terminal-Bench 2.1 — 12,92 untuk LFM3-1.7B dibandingkan dengan 73,0 untuk Qwen3.8-27B. Selisih 5,6×.

• Humanity's Last Exam, tanpa alat — 7,17 versus 30,8. Selisih 4,3×.

• GPQA Diamond — 63,37 berbanding 89,2. Selisih 1,4×.

• LiveCodeBench v6 — 73.46 dibandingkan dengan 90.3. Selisih 1.2×.

Urutan daftar itulah temuannya. Selisihnya paling kecil pada pembuatan kode sekali jalan, di mana LFM3-1.7B berada sekitar 19% di bawah model yang ukurannya enam belas kali lipat. Selisihnya paling besar pada Terminal-Bench, di mana tugasnya bukan "menulis kode" melainkan "mengoperasikan mesin melalui banyak langkah, pulih dari kesalahan Anda sendiri, dan berhenti saat pekerjaan selesai." Itulah tepatnya kemampuan yang menurut kartu milik Liquid sendiri tidak dimiliki model ini, dan angka-angkanya sesuai dengan kartu tersebut. Pada GPQA dan HLE, selisihnya adalah pengetahuan, yang merupakan hasil paling tidak mengejutkan di sini — model 1.7B yang dilatih pada 22T token memang telah melihat lebih sedikit daripada model 27B yang dilatih pada lebih banyak token, dan sebanyak apa pun arsitekturnya tidak dapat mengompensasinya.

Ada satu baris yang mengarah ke arah sebaliknya, dan itu adalah angka paling menarik di kedua kartu. Pada split publik AA-Omniscience, LFM3-1.7B mencatat akurasi 7,07 dan 92,93 non-halusinasi. Pasangan itu berarti model tersebut lebih sering menolak menjawab daripada menjawab dengan salah. Angka ini adalah angka non-halusinasi tertinggi dalam tabel perbandingan Liquid sendiri, lebih tinggi daripada setiap model yang lebih besar yang tercantum. Angka 30,8 Qwen3.8-27B pada HLE adalah sikap yang berlawanan: model itu tahu lebih banyak dan berkomitmen pada pengetahuannya.

Jika mode kegagalan pipeline Anda adalah nilai salah yang diyakini masuk ke basis data, model yang abstain 93% dari waktu adalah fitur dan batas atas akurasi adalah harganya. Jika mode kegagalan pipeline Anda adalah null di tempat yang seharusnya berisi nilai, perilaku yang sama itu adalah bug. Ini adalah hal paling tajam yang menjadi penentu dalam pertandingan ini, dan tidak ada skor agregat yang menangkapnya.

Tiga angka yang tidak boleh Anda kurangi

Halaman head-to-head tentang pasangan ini akan tergoda untuk menderetkan setiap benchmark yang diterbitkan kedua vendor. Tiga di antaranya tidak lolos saat diuji dengan metodologi tersebut.

SWE-bench. Liquid melaporkan LFM3-1.7B sebesar 43,40 pada SWE-bench Verified dengan harness OpenCode. Alibaba melaporkan Qwen3.8-27B sebesar 61,7 pada SWE-bench Pro. Benchmark-nya berbeda, harness-nya berbeda, distribusi tugasnya pun berbeda. Selisih 18 poin antara kedua angka itu bukanlah ukuran apa pun. Jika Anda ingin gambaran kasar tentang besarnya kesenjangan, gunakan Terminal-Bench 2.1, yang versinya dilaporkan sama oleh keduanya.

Indeks agregat apa pun.Artificial Analysis memberi skor 33.7 untuk Qwen3.8-27B pada Intelligence Index miliknya dengan pengaturan penalaran xhigh. Per 2026-10-28, sama sekali tidak ada entri LFM3 di Artificial Analysis. Rilis yang baru berumur satu hari belum melalui evaluasi independen, dan pernyataan yang jujur adalah bahwa LFM3-1.7B tidak memiliki satu pun angka yang direproduksi secara independen. Setiap angka yang dikaitkan dengannya dalam artikel ini — dan di mana pun sepanjang minggu ini — berasal dari rangkaian uji milik Liquid AI sendiri pada benchmark pilihan Liquid AI.

Pengaturan upaya penalaran. Skor terpublikasi Qwen3.8-27B berubah secara substansial antara mode rendah, sedang, xhigh, dan non-penalaran; indeks 33,7 adalah angka xhigh, dan angka non-penalaran jauh lebih rendah. Perbandingan apa pun yang memasangkan angka Qwen dengan angka LFM3 tanpa menyebutkan pengaturan upayanya berarti membandingkan model yang bernalar mendalam dengan model yang cepat lalu menyebut perbedaannya sebagai arsitektur.

Yang bisa menyelesaikan ini sederhana: menjalankan LFM3-1.7B secara independen pada harness yang sama, dengan pengaturan effort yang dinyatakan, idealnya setelah komunitas sempat menggunakan bobot tersebut selama beberapa minggu. Sampai saat itu, ringkasan yang adil adalah bahwa selisih yang dilaporkan vendor dalam mengikuti instruksi itu kecil dan selisih yang dilaporkan vendor dalam eksekusi multi-langkah itu besar, dan kedua klaim berasal dari pihak berkepentingan yang sama.

Lisensi adalah label harga yang sebenarnya.

Inilah bagian yang membalikkan kesimpulan lazim dari perbandingan kecil-versus-besar.

LFM3-1.7B dirilis di bawah LFM Open License v1.0. Bobotnya bebas diunduh dan bebas dijalankan, serta penggunaan komersial dikecualikan bagi entitas dengan pendapatan tahunan $10 juta atau lebih. Qwen3.8-27B dirilis di bawah Apache 2.0 tanpa pemicu pendapatan, tanpa pembatasan bidang penggunaan, dan tanpa perjanjian terpisah.

Jadi, bagi startup dua orang, hitungannya jelas: model yang muat dalam satu gigabita, tidak memakan biaya per token, dan berjalan di perangkat keras yang sudah Anda miliki hampir seperti makan siang gratis. Bagi perusahaan dengan pendapatan lebih dari $10 juta — artinya, sebagian besar perusahaan dengan anggaran inferensi produksi yang layak dioptimalkan — model murah tidak gratis, dan model mahal jelas berlisensi. Model yang tampak seperti pilihan hemat justru model yang membawa persoalan hukum.

Itu bukan argumen menentang LFM3-1.7B. Itu adalah argumen untuk membaca lisensi sebelum Anda membaca tabel benchmark, karena lisensi menentukan apakah tabel benchmark itu bahkan tersedia bagi Anda.

Apa yang dibutuhkan untuk benar-benar menjalankan masing-masing

LFM3-1.7B adalah instalasi satu baris. Model ini ada di pustaka Ollama sebagai lfm3:latest dan lfm3:1.7b, keduanya unduhan 1,7 GB dengan jendela konteks 256K yang dinyatakan, dan berjalan di Transformers dengan fine-tuning GPU tunggal. Rilis Hugging Face menyertakan notebook untuk SFT, DPO, dan GRPO, termasuk contoh langkah demi langkah untuk melatih model memilih alat yang tepat dari 108 alat di aplikasi ponsel. Jika tujuan Anda adalah ekstraktor kecil, terspesialisasi, dan telah di-fine-tune yang berada di mesin yang sama dengan data, ini adalah jalur yang benar-benar singkat dari unduhan hingga diterapkan.

Qwen3.8-27B adalah jenis proyek yang berbeda. Pada sekitar 56 GB dalam BF16, ia membutuhkan mesin multi-GPU atau kuantisasi agresif; pada 4-bit ia muat dalam 14–16 GB, yakni GPU tunggal kelas atas atau laptop dengan spesifikasi mumpuni, dengan cache KV yang mendorong penggunaan memori nyata menjadi lebih tinggi lagi. Ia berjalan di Transformers, vLLM, SGLang, dan TokenSpeed. Jika Anda tidak ingin memiliki perangkat keras tersebut, layanan ini tersedia secara hosted — di OrcaRouter ia dilayani oleh dua penyedia upstream, dengan $0.33 per juta token masukan dan $2.40 per juta token keluaran dari penyedia pertama serta $0.40 / $4.21 dari penyedia kedua.

Selisih antar dua penyedia itu layak untuk direnungkan, karena hal semacam itu hanya muncul saat Anda melihat katalog langsung, bukan siaran pers. Bobot yang sama, jendela konteks yang sama, sekitar 75% lebih mahal untuk output dari penyedia kedua. OrcaRouter meneruskan harga daftar penyedia dengan markup 0%, sehingga kedua harga terlihat berdampingan, dan failover otomatisberarti gangguan pada satu penyedia akan dialihkan ke jalur lain alih-alih muncul ke pengguna Anda. Jika Anda mengevaluasi Qwen3.8-27B sebagai jalur eskalasi untuk pipeline yang dimulai pada model kecil, itulah segmen yang akan Anda tempatkan di balik satu kunci.

Untuk memperjelas bagian lainnya: OrcaRouter tidak menyediakan LFM3-1.7B. Itu adalah unduhan bobot (weights), dan menjalankannya berarti endpoint Anda sendiri di perangkat keras Anda sendiri. Alasan menyebut kami sama sekali dalam artikel ini adalah bagian eskalasinya, bukan model kecilnya.

Siapa yang harus memilih yang mana

Keputusan itu sebenarnya tidak bergantung pada tabel benchmark. Keputusan itu bergantung pada dua pertanyaan yang dapat Anda jawab sebelum menjalankan apa pun.

Pilih LFM3-1.7B jika pekerjaannya bersifat satu giliran dan terikat skema — ekstraksi, klasifikasi, perutean, keluaran terstruktur, pemilihan alat di perangkat — dan data tidak boleh meninggalkan perangkat. Ini juga pilihan yang tepat jika Anda berniat melakukan fine-tuning, karena model 1.7B dengan jalur SFT/DPO/GRPO yang disertakan dan anggaran satu GPU adalah proyek akhir pekan, bukan seperempat tahun. Jendela 256K, 16 bahasa, dan perilaku abstensi semuanya mengarah ke kasus penggunaan yang sama: komponen sempit, bervolume tinggi, dan sensitif privasi tempat jawaban yang salah lebih buruk daripada tidak ada jawaban, dan tempat perusahaan Anda berada di bawah garis pendapatan.

Pilih Qwen3.8-27B jika model harus merencanakan. Agen multi-langkah, pekerjaan terminal, pengodean jangka panjang, apa pun yang mengharuskan model pulih dari kesalahannya sendiri di sepanjang selusin panggilan alat — kesenjangan Terminal-Bench 5,6× bukan masalah penyetelan, melainkan kartu model yang memberi tahu Anda kebenarannya. Ini juga pilihan yang tepat ketika Anda membutuhkan pengetahuan alih-alih format, ketika Anda membutuhkan input visi atau video, dan ketika Apache 2.0 merupakan persyaratan alih-alih preferensi.

Dan pilih keduanya jika jawaban jujurnya adalah pipeline Anda memiliki dua bagian. Pola yang cocok untuk pasangan ini adalah tahap pertama yang murah, lokal, dan terikat skema, dengan jalur eskalasi ke 27B saat tahap pertama menolak — yang persis merupakan sinyal yang dirancang untuk diberikan oleh model yang abstain 93% dari waktu. Arsitektur itu menggunakan baris terbaik setiap model dan tidak menggunakan baris terburuk dari model mana pun.

Apa yang akan mengubah jawaban ini?

Dua hal, dan keduanya lebih baik dicermati daripada diduga-duga.

Yang pertama adalah {{1}}evaluasi independen terhadap LFM3-1.7B{{/1}}. Setiap klaim kemampuan di atas bertumpu pada rangkaian pengujian milik Liquid AI sendiri, dan checkpoint Base dalam keluarga ini dirilis tanpa tabel benchmark sama sekali — yang menunjukkan bahwa angka-angka keluarga ini adalah kisah pasca-pelatihan, bukan kisah arsitektur. Uji netral pada IFBench dan Terminal-Bench akan mengonfirmasi perpecahan yang dijelaskan artikel ini atau menghilangkannya.

Yang kedua adalah apakah Liquid merilis model teks yang lebih besar di backbone ini. Seluruh perbandingan dibingkai oleh kesenjangan parameter 16×, dan hasil instruction-following menunjukkan bahwa resep pelatihan melakukan lebih banyak kerja daripada jumlah parameter. Jika LFM3 berukuran menengah hadir, pertanyaan yang menarik bukan lagi "bisakah model 1,7B mengikuti instruksi" — sudah bisa — melainkan "apa yang dilakukan resep ini dengan empat miliar parameter."

Sampai salah satu dari hal itu terjadi, ringkasan yang berguna lebih sempit daripada papan skor: LFM3-1.7B adalah pengikut instruksi yang benar-benar baik yang tidak dapat merencanakan, dan Qwen3.8-27B adalah perencana yang benar-benar baik dengan lisensi yang dapat Anda jadikan fondasi untuk membangun perusahaan. Memilih di antara keduanya bukanlah pertanyaan benchmark. Ini adalah pertanyaan tentang kalimat mana dari kedua kalimat itu yang menggambarkan beban kerja Anda.