LFM3-1.7B-Base vs LFM2.5-2.6B-Base: Parameter Lebih Sedikit, Token Lebih Sedikit, Konteks Lebih Banyak

Aritmetikanya berjalan ke arah yang salah. LFM3-1.7B-Base, yang diterbitkan pada 26 Oktober 2026, berukuran 36% lebih kecil daripada LFM2.5-2.6B-Base, yang dirilis Liquid AI pada 4 Agustus 2026 — 1,73 miliar parameter dibandingkan 2,69 miliar. Model ini juga dilatih dengan lebih sedikit token: 22 triliun dibandingkan sekitar 34 triliun. Berdasarkan dua angka yang biasanya digunakan industri untuk memeringkat model pra-latih, checkpoint yang lebih baru seharusnya lebih buruk. Klaim Liquid justru sebaliknya, setidaknya untuk model pasca-latih yang dibangun di atasnya, dan pertanyaan menarik bagi siapa pun yang memilih trunk untuk di-fine-tune adalah perbedaan mana yang nyata dan mana yang merupakan cerita yang disampaikan lewat rangkaian benchmark. Menjalankan perbandingan seharusnya membutuhkan komputasi, bukan kontrak kedua. Markup 0% OrcaRouter meneruskan harga daftar penyedia dengan markup 0%.

Ini adalah perbandingan dalam satu keluarga, yang membuatnya luar biasa bersih. Vendor sama, keluarga lisensi sama, kosakata 128.000 token sama, ukuran tersembunyi 2.048 sama, peran base-ke-base sama. Kedua checkpoint berbeda dalam arsitektur, volume data, panjang konteks, dan banyaknya pasca-pelatihan yang tertanam di trunk. Hampir semua hal lainnya dijaga konstan.

Delta, dimensi demi dimensi

• Parameter — 1,73B untuk LFM3-1.7B-Base dibandingkan dengan 2,69B untuk LFM2.5-2.6B-Base. Pengurangan sebesar 35,7%, yang menjadi asal frasa "35% lebih sedikit parameter" dalam postingan peluncuran Liquid.

• Lapisan — 24 berbanding 30. Model yang lebih baru juga lebih dangkal serta lebih sempit.

• Kombinasi lapisan — tiga belas konvolusi pendek bergerbang, lima blok atensi jendela geser, dan enam blok atensi penuh untuk LFM3; dua puluh dua konvolusi dan delapan blok atensi penuh untuk LFM2.5, tanpa tingkat jendela geser.

• Perhatian — enam belas kepala query dan empat kepala key-value di LFM3, dibandingkan dengan tiga puluh dua dan delapan di LFM2.5. Keduanya mempertahankan dimensi kepala 128 dan ukuran tersembunyi 2,048.

• Lebar feed-forward — 7.680 untuk LFM3 dibandingkan 10.752 untuk LFM2.5. Di sinilah sebagian besar pengurangan parameter sebenarnya berada.

• Cache konvolusi — tujuh untuk LFM3 dibandingkan tiga untuk LFM2.5, dengan tambahan jendela geser 256 token.

• Konteks — 262.144 token dibandingkan 128.000. Checkpoint yang lebih baru menggandakannya.

• Token pra-pelatihan — 22 triliun dibandingkan sekitar 34 triliun, dengan 3,5 triliun terakhir dari proses yang lebih baru dialokasikan untuk data mid-training terkurasi yang mencakup jejak agentik dan pemanggilan alat.

• Artefak — LFM3-1.7B-Base hanya tersedia sebagai safetensors BF16, sebesar 3,46 GB. LFM2.5-2.6B-Base tersedia dalam Safetensors plus build GGUF, ONNX, dan MLX, berjalan di bawah 2,5 GB dalam versi terkuantisasi, dan didukung oleh Transformers, vLLM, SGLang, llama.cpp, serta MLX.

Ke mana parameternya pergi

Pengurangannya tidak tersebar merata, dan itu penting bagi siapa pun yang memperkirakan biaya fine-tuning. Embedding terikat di kedua model dan kosakatanya identik pada 128.000 token, jadi matriks embedding tidak berubah. Ukuran hidden tidak berubah pada 2.048. Penghematan berasal dari tiga tempat: enam lapisan lebih sedikit, jumlah attention head setengahnya, dan blok feed-forward sekitar 29% lebih sempit.

Mempersempit blok feed-forward adalah cara termurah untuk mengecilkan transformer, karena blok itu menyimpan sebagian besar parameter di setiap lapisan. Mengurangi separuh jumlah attention head juga mengurangi cache key-value sekaligus bobot, itulah sebabnya model dengan konteks dua kali lipat masih dapat digambarkan muat dalam sekitar 1 GB pada 4-bit. Komprominya adalah kapasitas: MLP yang lebih sempit punya lebih sedikit ruang untuk menyimpan asosiasi faktual, dan jumlah head yang lebih kecil memberi model lebih sedikit pola attention independen untuk digunakan. Argumen Liquid adalah bahwa data yang lebih baik dan campuran lapisan yang lebih baik lebih dari cukup untuk mengompensasi hal itu. Argumen itu dapat diuji, dan pada saat publikasi belum ada pihak di luar perusahaan yang mengujinya.

Dari mana konteks itu berasal

Menggandakan konteks dari 128K ke 256K tanpa menggandakan biaya atensi mengharuskan tidak melakukan atensi secara global. Tumpukan LFM3 melakukannya dengan mengirim lima dari dua puluh empat lapisnya ke jendela geser 256 token dan tiga belas ke konvolusi, sehingga hanya menyisakan enam lapis yang melihat seluruh urutan. Konfigurasi ini juga membawa faktor rotary parsial 0,5 pada lapis atensi global, menerapkan embedding rotary pada setengah dimensi tiap head, dan theta rotary sebesar satu juta pada lapis-lapis tersebut versus sepuluh ribu pada lapis-lapis geser.

Posting peluncuran Liquid memberikan satu angka konkret untuk apa yang diperoleh dari ini: pada 128K token, cache KV model teks adalah 1,6 GB. Untuk LFM2.5-2.6B-Base, tidak ada angka setara yang dipublikasikan. Karena itu, perbandingannya bersifat indikatif, bukan persis — arsitektur yang lebih baru dirancang untuk menampung konteks yang lebih panjang dengan memori yang lebih sedikit, dan angka dari vendor sendiri adalah satu-satunya pengukuran yang tersedia.

Mengapa token yang lebih sedikit adalah klaim yang menarik

Tiga puluh empat triliun token turun menjadi dua puluh dua triliun adalah pengurangan 35% dalam komputasi pra-pelatihan pada tingkat data, dan itu adalah arah yang berlawanan dari sebagian besar generasi model. Kisah yang biasa adalah lebih banyak data, lebih banyak parameter, model yang lebih baik. Kisah Liquid adalah lebih sedikit keduanya, dengan arsitektur baru dan campuran data yang menambahkan makalah ilmiah, kode tingkat repositori, matematika, dan sebaran sumber pengetahuan yang lebih luas.

Tahap pelatihan menengah 3,5 triliun token adalah bagian yang membedakan checkpoint ini dari pra-pelatihan biasa. Tahap ini menggunakan data terkurasi yang berkualitas lebih tinggi dengan porsi jejak agentik dan panggilan tool yang lebih besar, dan di sinilah jendela konteks diperluas. Tahap tersebut juga menjadi alasan model dasar ini membawa templat obrolan: data pelatihan menengah diformat sebagai percakapan, dengan maupun tanpa jejak pemikiran.

Tidak ada satu pun dari ini yang dapat diverifikasi dari luar. Jumlah token dilaporkan sendiri, campuran data tidak dipublikasikan, dan tidak ada uji ablasi yang menunjukkan perubahan mana menghasilkan peningkatan mana. Klaim itu masuk akal — kualitas data berulang kali mengalahkan volume mentah dalam dua tahun terakhir — tetapi masuk akal bukan berarti terukur.

Apa yang dapat diselesaikan oleh perbandingan basa per basa

Yang bisa dituntaskan adalah soal spesifikasi, biaya, dan kompatibilitas, dan halaman ini melakukannya. Yang tidak bisa dituntaskan adalah soal kualitas, karena tidak ada checkpoint yang memiliki benchmark terbit. Liquid tidak menerbitkan evaluasi apa pun untuk LFM2.5-2.6B-Base dan juga tidak menerbitkan apa pun untuk LFM3-1.7B-Base. Kedua kartu tersebut merekomendasikan checkpoint itu untuk fine-tuning ekstensif dan mengarahkan pembaca ke tempat lain untuk urusan chat.

Satu-satunya bukti kualitas dalam keluarga ini adalah pasangan yang telah menjalani pasca-pelatihan. Liquid melaporkan LFM3-1.7B dengan rata-rata 49,37 pada suite miliknya sendiri terhadap 31,55 untuk LFM2.5-2.6B, dengan model yang lebih baru menggunakan 35% lebih sedikit parameter. Itu adalah selisih yang besar, dan itu adalah angka vendor yang diukur pada suite pilihan vendor, membandingkan dua model yang berbeda dalam pasca-pelatihan serta dalam trunk. Itu adalah bukti bahwa resep LFM3 menghasilkan model instruct yang lebih baik. Itu bukan bukti bahwa checkpoint dasar adalah titik awal yang lebih baik, karena pasca-pelatihan di atasnya dapat menjelaskan seluruh perbedaan.

Catatan migrasi untuk siapa pun yang menggunakan LFM2.5

Kedua checkpoint tersebut memiliki ukuran kosakata, ukuran hidden, dan keluarga tokenizer yang sama, sehingga migrasi tampak lebih mudah daripada kenyataannya. Keduanya tidak memiliki kode pemodelan yang sama: LFM2.5 dimuat sebagai Lfm2ForCausalLM dan LFM3 sebagai Lfm3ForCausalLM, keduanya melalui kode kustom dengan trust_remote_code=True. Skrip pelatihan yang ditulis untuk salah satunya tidak akan memuat yang lain tanpa mengubah kelas model, dan templat chat keduanya berbeda dalam penanganan jejak pemikiran.

Perbedaan operasional yang lebih besar adalah pengemasan. LFM2.5-2.6B-Base memiliki build GGUF, ONNX, dan MLX serta berjalan di bawah llama.cpp, vLLM, SGLang, Transformers, dan MLX. LFM3-1.7B-Base dikirim sebagai satu file safetensors BF16; build terkuantisasi dan lintas platform tersedia untuk LFM3-1.7B pasca-pelatihan, bukan untuk checkpoint base-nya. Jika pipeline Anda bergantung pada artefak GGUF, Anda mengonversinya sendiri dan memvalidasi hasilnya.

Dukungan fine-tuning adalah penyeimbangnya. LFM3-1.7B-Base menautkan notebook TRL untuk fine-tuning terawasi dan pra-pelatihan lanjutan, dan dokumentasinya mencakup jalur dari sana. Checkpoint yang lebih kecil, konteks 256K, dan mid-training agentik semuanya ditujukan tepat pada jenis adaptasi domain yang ditunjukkan oleh notebook tersebut.

Dari trunk mana untuk memulai

Mulai dari LFM3-1.7B-Base jika Anda memulai fine-tune baru, tugas Anda mendapat manfaat dari konteks panjang, dan Anda dapat bekerja dalam BF16 dengan Transformers atau mengonversi bobotnya sendiri. Pengurangan 35% parameter itu benar-benar menghemat biaya pada sesi pelatihan GPU tunggal, konteks yang digandakan merupakan perubahan kemampuan yang sesungguhnya, dan templat chat mempersingkat fase terawasi.

Tetap gunakan LFM2.5-2.6B-Base jika Anda sudah memiliki pipeline yang berfungsi, bergantung pada artefak GGUF atau ONNX, atau membutuhkan checkpoint yang sudah memiliki dukungan ekosistem perkakas komunitas selama setahun. Model yang lebih baru baru berusia tiga hari. Varian instruct-nya memiliki build terkuantisasi dan dukungan sejak hari pertama di vLLM, SGLang, llama.cpp, Ollama, LM Studio, MLX, dan ONNX Runtime, tetapi checkpoint base tidak, dan kesenjangan itu merupakan biaya praktis dari menjadi yang lebih awal.

Jika Anda tidak yakin, jalankan eksperimennya daripada membaca materi pemasaran. Ambil sebagian kecil data Anda sendiri, jalankan resep pra-pelatihan lanjutan yang sama pada kedua trunk untuk jumlah langkah yang sama, dan evaluasi pada set held-out yang Anda buat sebelum memulai. Itu hanya beberapa jam GPU dan menjawab pertanyaan yang tidak bisa dijawab tabel vendor mana pun. Saat kedua hasil fine-tuning tersedia, tempatkan keduanya di belakang satu endpoint: DSL routing OrcaRouter dapat membagi lalu lintas di antara keduanya, dan failover otomatis berarti eksperimen yang buruk tidak menjadi hari produksi yang buruk. Platform meneruskan harga daftar penyedia dengan markup 0%, sehingga biaya menjalankan pengujian adalah biaya komputasi, bukan kontrak kedua.

Angka yang perlu diperhatikan

Klaim yang akan menuntaskan ini bukanlah rata-rata lain. Klaim itu adalah evaluasi model dasar — evaluasi model dasar apa pun — yang diterbitkan oleh Liquid atau pihak ketiga, yang membandingkan LFM3-1.7B-Base dan LFM2.5-2.6B-Base setelah resep fine-tuning yang identik. Sampai itu ada, delta antargenerasi terdokumentasi dalam arsitektur dan konfigurasi, masuk akal dalam jumlah token, dan belum terbukti di bagian yang penting. Checkpoint yang lebih baru lebih kecil, berkonteks lebih panjang, dan lebih siap dikemas untuk pelatihan. Apakah ia lebih baik adalah pertanyaan yang tidak dijawab oleh repositori.