LFM3-1.7B vs Gemma 4 12B: Ketika Model yang Tujuh Kali Lebih Kecil Memenangkan Benchmark Pengodean

LFM3-1.7B adalah model teks dengan 1,73 miliar parameter yang diterbitkan Liquid AI ke Hugging Face pada 26 Oktober 2026 dan diumumkan keesokan harinya sebagai bagian dari peluncuran keluarga LFM3. Gemma 4 12B adalah model dense dengan 11,95 miliar parameter yang dirilis Google DeepMind pada 3 Juni 2026, dan model ini dapat membaca gambar serta audio selain teks. Pada satu tolok ukur coding yang diterbitkan kedua vendor — LiveCodeBench v6 — model yang lebih kecil mencetak skor 73,46 dan model yang lebih besar mencetak 72,0. Baca itu dua kali, karena inilah satu-satunya alasan halaman ini ada dan sekaligus angka yang paling mudah disalahpahami di internet. Routing tidak menambahkan margin pada harga daftar penyedia. Markup 0% Lihat harga pass-through di halaman harga kami.

Kedua angka tersebut dilaporkan oleh vendor. Tidak satu pun telah direproduksi oleh evaluator independen. Angka-angka itu dihasilkan oleh tim yang berbeda, dengan harness yang berbeda, dan berselang beberapa bulan, serta Liquid tidak menerbitkan catatan metodologi yang menjelaskan bagaimana pengujian LiveCodeBench-nya dikonfigurasi. Jadi versi jujur dari kalimat di atas bukanlah "model 1,7B mengalahkan model 12B dalam hal kode." Melainkan: dua vendor melaporkan skor yang nyaris identik pada benchmark yang namanya sama, dan selisih sembilan poin pada GPQA Diamond ke arah sebaliknya menunjukkan bahwa kedua model sama sekali tidak mendekati setara.

Apa yang benar-benar dapat dibandingkan, dan apa yang tidak

Sebagian besar halaman "X vs Y" menempatkan dua tabel vendor berdampingan dan menyebutnya perbandingan. Itu hanya berhasil jika tabelnya tumpang tindih. Antara posting peluncuran LFM3 dari Liquid dan kartu model Gemma 4 dari Google, tepat dua nama benchmark muncul di kedua sisi dengan definisi yang kompatibel: LiveCodeBench v6 dan GPQA Diamond. Sisanya dilaporkan oleh satu vendor dan tidak oleh vendor lainnya, dan sel kosong bukanlah nol.

Pada dua sumbu bersama itu, hasilnya terbagi dengan jelas. LFM3-1.7B unggul pada LiveCodeBench v6 dengan 73,46 berbanding 72,0. Gemma 4 12B unggul pada GPQA Diamond dengan 78,8 berbanding 63,37 — selisih 15,4 poin, yang bukan noise pada evaluasi dengan beberapa ratus pertanyaan.

Pola itu layak diberi nama, bukan sekadar dirata-ratakan. LiveCodeBench mengukur model dalam menyelesaikan soal pemrograman kompetitif, keterampilan sempit yang sarat pola dan bisa dikuasai model kecil yang dilatih dengan data tepat. GPQA Diamond mengukur penalaran sains tingkat pascasarjana yang bergantung pada luasnya pengetahuan — persis hal yang diperoleh dari jumlah parameter. Model 1,7B bisa kompetitif pada yang pertama dan akan kalah pada yang kedua, dan itu hasil yang koheren, bukan kontradiksi.

Vendor tersebut memangkas angka terbaiknya sendiri

Inilah bagian yang seharusnya mengubah cara Anda membaca 73.46. Gulir ke bagian bawah kartu model LFM3-1.7B dan Liquid menulis, dengan bahasa yang lugas, bahwa model ini dirancang untuk agen lokal, pemanggilan alat, dan keluaran terstruktur, serta bahwa model ini tidak direkomendasikan untuk pengodean agentik atau penalaran bertahap yang kompleks karena ukurannya yang kecil.

Itu adalah pihak vendor, bukan pesaing, yang memberi tahu Anda batas atasnya. Hal itu terasa janggal berdampingan dengan skor LiveCodeBench yang sedikit mengungguli generalis 11,95B, dan rekonsiliasinya adalah bahwa keduanya mengukur hal yang berbeda. Menyelesaikan soal pemrograman kompetitif yang terisolasi bukanlah tugas yang sama dengan menjaga sebuah repositori tetap dalam konteks dan melakukan dua puluh penyuntingan yang terkoordinasi. Sebuah model bisa kuat pada yang pertama dan secara eksplisit tidak cocok untuk yang kedua, dan Liquid mengatakan demikian alih-alih membiarkan tolok ukur menyiratkan sebaliknya.

Percayai saja apa yang dikatakan vendor. Jika beban kerja Anda adalah pengodingan agentic, perbandingan ini seharusnya tidak berhenti pada LFM3-1.7B. Jika beban kerja Anda adalah pemanggilan alat, ekstraksi terstruktur, klasifikasi, atau asisten lokal di perangkat yang Anda miliki, peringatan pada kartu tersebut tidak berlaku bagi Anda dan jejak 1 GB menjadi seluruh argumennya.

Di mana 12B hanyalah kelas hal yang berbeda

Gemma 4 12B bersifat multimodal dengan cara yang tidak dapat ditambahkan ke LFM3-1.7B melalui fine-tuning. Kartu Google menjelaskan input gambar dan audio yang diproyeksikan langsung ke ruang yang sama dengan token teks, tanpa encoder terpisah — audio secara native pada 12B dan varian yang lebih kecil. LFM3-1.7B adalah teks masuk, teks keluar. Kemampuan visi Liquid berada di LFM3-VL-2B, checkpoint terpisah dengan encoder terpisah, dan model teks tidak memperolehnya hanya dengan di-fine-tuning.

• Parameter — 1,73B dense untuk LFM3-1.7B; 11,95B dense untuk Gemma 4 12B. Rasionya 6,9 banding 1.

• Modalitas — hanya teks dibandingkan dengan input teks, gambar, dan audio.

• Konteks — 262.144 token pada keduanya. Ini adalah satu-satunya baris di mana model kecil tidak mengorbankan apa pun, dan ini merupakan pencapaian nyata dari arsitektur tri-hybrid, bukan kebetulan.

• Jejak memori — sekitar 1 GB pada 4-bit dibandingkan dengan sekitar 7 GB. Di ponsel, perbedaan itu adalah perbedaan antara bisa dirilis dan tidak bisa dirilis.

• Bahasa — 16 bahasa bernama dibandingkan 140+ yang telah dilatih sebelumnya dengan dukungan siap pakai yang kuat. Untuk produk beraksara Latin, kesenjangan ini jarang terasa; untuk penerapan regional, ini menentukan.

• Lisensi — LFM Open License v1.0 gratis untuk penggunaan komersial di bawah pendapatan tahunan $10 juta dan memerlukan lisensi berbayar di atasnya. Gemma 4 12B adalah Apache 2.0 tanpa pemicu pendapatan.

Kedua tagihan tersebut tidak dinyatakan dalam mata uang yang sama.

Gemma 4 12B memiliki harga pasar karena pihak ketiga menyediakannya. Artificial Analysis melaporkan median gabungan sebesar $0.10 per juta token input dan $0.30 per juta token output di berbagai platform yang menghosting bobot terbuka — median lintas penyedia, bukan harga daftar, dan yang bergerak seiring perubahan pasokan. Pada tarif itu, sebagian besar tim tidak pernah berpikir untuk menjalankan model 12B sendiri.

LFM3-1.7B tidak memiliki harga seperti itu. Kartu Hugging Face menyatakan dengan jelas bahwa model tersebut tidak di-deploy oleh penyedia inferensi mana pun, dan itu konsisten dengan apa yang kami lihat di sisi kami sendiri: OrcaRouter saat ini tidak merutekan LFM3-1.7B. Jika Anda ingin memanggilnya, Anda mengunduh bobot BF16 sebesar 3,46 GB atau build 4-bit sekitar 1 GB lalu menjalankan vLLM, SGLang, llama.cpp, MLX, atau ONNX sendiri. API milik Liquid akan melayaninya, dan beberapa platform pihak ketiga juga akan melakukannya.

Jadi, perbandingan biayanya bukanlah token dengan token. Ini adalah tagihan fine-tuning dan serving versus tagihan per panggilan. Pada volume rendah, API menang tanpa diragukan lagi; pada volume berkelanjutan di perangkat keras yang sudah Anda miliki, model 1 GB yang membiarkan sisa GPU tetap bebas adalah bentuk ekonomi yang sama sekali berbeda. Asimetri itulah — bukan selisih empat poin di LiveCodeBench — alasan sebenarnya untuk mempertimbangkan model kecil.

Apa sebenarnya kegunaan masing-masing

Pilih LFM3-1.7B saat target penerapan menjadi kendala: ponsel, laptop, satu GPU kecil yang juga harus mengerjakan pekerjaan lain. Konteks 256K benar-benar tidak biasa pada ukuran ini, kosakata 16 bahasa mencakup sebagian besar produk regional, dan dukungan inferensi enam opsi berarti Anda tidak bertaruh pada satu runtime. Terimalah bahwa Anda membeli model pemanggilan alat dan ekstraksi, bukan model penalaran, dan rencanakan retrieval di sekitar celah pengetahuan yang ditandai sendiri oleh vendor.

Pilih Gemma 4 12B saat tugas membutuhkan keluasan, saat input berupa tangkapan layar atau rekaman, atau saat Apache 2.0 penting bagi proses pengadaan. Model ini mencetak skor 15 poin lebih tinggi dalam penalaran sains pascasarjana, dapat membaca gambar secara native, dan tersedia dengan harga median yang dipublikasikan sejak hari pertama. Biayanya adalah memori: 7 GB pada 4-bit berarti laptop atau GPU sederhana, bukan ponsel.

Pilih keduanya ketika Anda memiliki jalur sempit bervolume tinggi dan jalur luas bervolume rendah. Arahkan jalur luas ke generalis terkelola dan pertahankan model kecil di perangkat untuk panggilan sempit yang sensitif terhadap latensi. OrcaRouter dirancang untuk separuh pertama pemisahan itu — satu kunci untuk lebih dari 200 model, harga daftar penyedia diteruskan tanpa markup 0% sehingga perubahan harga berlaku pada hari yang sama, dan failover otomatis jika penyedia menurun performanya. Ini tidak membantu Anda menghosting LFM3-1.7B, karena kami tidak menyajikan model tersebut, dan tidak jujur untuk menyiratkan sebaliknya.

Apa yang bisa menyelesaikannya

Satu evaluasi independen terhadap LFM3-1.7B pada harness yang tidak dipilihnya sendiri akan lebih berarti daripada seluruh halaman ini. Tabel peluncuran Liquid terperinci dan konsisten secara internal, dan blog ini memperlakukannya sebagai laporan vendor rather than terverifikasi, dan memang demikian adanya. Hal-hal spesifik yang layak diperhatikan adalah uji LiveCodeBench atau SWE-bench pihak ketiga yang mereproduksi angka 73.46, profil Artificial Analysis yang akan menempatkan kedua model pada satu skala, dan laporan apa pun tentang model yang menangani tugas repositori nyata — penggunaan persis yang diperingatkan oleh kartu tersebut.

Sampai saat itu, tafsiran yang bisa dipertahankan lebih sempit daripada judulnya. Model 1.73B dengan konteks 256K, jejak 1 GB, dan profil pemanggilan alat yang kuat telah menyusul model generalis 12B pada satu benchmark pengodean yang terisolasi dan tertinggal jauh dalam hal pengetahuan. Itu bukan kejutan. Itu adalah dua model yang dibuat untuk pekerjaan berbeda, dan pertanyaan yang berguna adalah pekerjaan mana yang Anda miliki.