LFM3-1.7B-Base vs MiniCPM5 2B: Dua Vendor, Dua Papan Skor, Satu Jawaban Jujur

Liquid AI membuat LFM3-1.7B-Base repositori di Hugging Face pada 26 Oktober 2026 dan menerbitkan pengumuman keluarga LFM3 keesokan harinya — dan tabel benchmark pengumuman itu melakukan sesuatu yang luar biasa berguna: tabel itu menempatkan LFM3-1.7B yang telah menjalani pasca-pelatihan secara langsung berhadapan dengan MiniCPM5-2B, model 2,5B yang oleh OpenBMB disebut sebagai state of the art open-source kelas 2B sejak bobotnya dirilis pada September. Pada rangkaian 27 uji milik Liquid sendiri, LFM3-1.7B menang di 23 baris dan MiniCPM5-2B menang di empat baris. Namun, checkpoint dalam judul artikel ini bukan yang ada di tabel tersebut, dan tidak memuat angka benchmark apa pun. Kesenjangan itulah intinya.

Tiga hal menjadi kabur dalam setiap perbandingan model kecil, jadi penting untuk memisahkannya sejak awal: apa yang diukur Liquid, apa yang diukur OpenBMB, dan apa yang belum diterbitkan oleh kedua vendor tentang checkpoint dasar yang sebenarnya di-fine-tune orang. Hanya kategori ketiga yang menggambarkan perbandingan yang adil antara kedua nama di halaman ini.

Tabel yang diterbitkan Liquid, dan model yang dijelaskannya

Kartu model LFM3-1.7B memuat 27 baris yang tersebar di tujuh kategori — agen, penggunaan alat, pengodean agentik, pengodean, mengikuti instruksi, pengetahuan, dan konteks panjang — dengan kolom untuk LFM2.5-2.6B, MiniCPM5 2B, Gemma 4 E4B, Qwen3.5 4B, dan Qwen3.5 9B. Model milik Liquid sendiri memenangkan semua kecuali empat di antaranya, dan selisih pada baris-baris agentik tidaklah tipis: LiveClaw 45,60 berbanding 30,37, WebArena-Verified 38,42 berbanding 9,11, AutomationBench 41,29 berbanding 4,71, BrowseComp-Plus 37,00 berbanding 16,83. Pola yang sama berlaku pada penggunaan alat (BFCL V4 71,39 berbanding 62,65, ToolSandbox 80,36 berbanding 68,16) dan konteks panjang, dengan RULER 128K tercatat 65,56 berbanding 37,96 milik MiniCPM5-2B.

Empat kemenangan MiniCPM5-2B semuanya adalah pengetahuan atau ketahanan multi-giliran: τ³-bench pada 69,44 berbanding 68,01, GPQA Diamond pada 65,15 berbanding 63,37, Humanity's Last Exam tanpa alat pada 8,20 berbanding 7,17, dan akurasi AA-Omniscience pada 9,13 berbanding 7,07. Itu adalah selisih tipis pada tolok ukur yang sebagian kecil poinnya sering kali hanya noise. Kesenjangan kemampuan agentik tidak demikian.

Setiap angka dalam paragraf itu dilaporkan oleh vendor. Liquid menjalankan harness-nya sendiri, memilih kumpulan pembandingnya sendiri, dan tidak menerbitkan metodologi per pengujian pada kartu tersebut. Per 28 Oktober 2026, kami tidak menemukan entri LFM3 di Artificial Analysis, sehingga tidak ada reproduksi independen untuk dibandingkan dengannya. Anggaplah perbandingan 23–4 itu sebagai argumen Liquid, bukan sebagai hasil industri.

Apa sebenarnya checkpoint dasar itu

Jika pasca-pelatihan dihilangkan, Anda mendapatkan model khusus teks 1.73B dengan 24 lapisan: 13 konvolusi pendek bergerbang, lima lapisan atensi jendela geser dengan jendela 256 token, dan enam lapisan atensi global. Angka konteks 256K itu yang sebenarnya — max_position_embeddings dalam konfigurasi yang diterbitkan tertulis 262,144 — bukan jendela 256 token yang membuat liputan awal keliru. Kosakatanya 128,000 token, kartunya mencantumkan 16 bahasa, dan lisensinya adalah LFM Open License v1.0, yang izin komersialnya tidak lagi berlaku bagi entitas hukum dengan pendapatan tahunan $10 juta atau lebih.

Resep pelatihannya didokumentasikan lebih rinci dibandingkan sebagian besar rilis basis: total 22 triliun token, dengan 3,5 triliun terakhir digunakan untuk data mid-training terkurasi yang mencakup jejak agentic dan pemanggilan alat, plus ekstensi konteks 128K dan 256K. Pada presisi 4-bit, checkpoint tersebut dijelaskan memakan sekitar 1 GB, angka yang penting jika targetnya adalah ponsel atau laptop, bukan server.

Yang tidak diberikan kartu ini kepada Anda adalah evaluasi apa pun terhadap model dasar itu sendiri. Skor yang dipublikasikan Liquid adalah milik LFM3-1.7B setelah SFT, RL campuran, distilasi on-policy multi-domain, dan RL agentic. Tidak ada cara, dari materi publik, untuk memisahkan berapa banyak dari rata-rata 49,37 itu yang berasal dari 22 triliun token pra-pelatihan dan berapa banyak yang berasal dari tumpukan pasca-pelatihan. Itu bukan kritik yang khusus ditujukan kepada Liquid — hampir tidak ada yang mempublikasikan evaluasi model dasar — tetapi itu berarti nama dalam judul artikel ini tidak memiliki papan skor sendiri.

Papan skor penghitung milik OpenBMB

Kartu MiniCPM5-2B membuat klaim berbeda pada rangkaian sumbu yang berbeda. Radar kemampuannya menilai sembilan dimensi dan melaporkan rata-rata 53,9, dibandingkan dengan 51,1 untuk Qwen3.5-4B, 42,7 untuk granite-4.2-3B, dan 33,2 untuk LFM2.5-2.6B. Pada papan itu, model tersebut merupakan state of the art kelas 2B dan kompetitif dengan model kelas 4B. Model ini tidak menyertakan LFM3-1.7B, yang belum ada saat kartu tersebut ditulis.

Dua papan skor itu tidak bisa saling dikurangkan. Keduanya memakai tes berbeda, normalisasi berbeda, dan set perbandingan berbeda — dan satu-satunya benchmark yang tumpang tindih, τ³-bench, justru di situlah model OpenBMB sedikit unggul dalam tabel Liquid. Jika Anda menempatkan 53,9 di samping 49,37 dan menyimpulkan bahwa MiniCPM5-2B adalah model yang lebih kuat, Anda telah membandingkan rata-rata vendor sembilan sumbu dengan rata-rata vendor 27 tes dan tidak mendapatkan wawasan apa pun.

Fakta perangkat kerasnya tidak terlalu ambigu. MiniCPM5-2B adalah LlamaForCausalLM standar dengan total 2.516.756.480 parameter, 1.981.982.720 di antaranya non-embedding, 42 lapisan, grouped-query attention dengan 16 head query dan 2 head KV, serta konteks 131.072 token dalam konfigurasi rilisnya. Lisensinya Apache 2.0, tersedia dalam build GGUF, MLX, GPTQ, dan LiteRT bersama model draf untuk decoding spekulatif, dan OpenBMB merilis korpus pelatihannya bersamanya. Itu produk jadi yang sekaligus membawa pabriknya.

Base melawan base adalah satu-satunya perbandingan yang bersih.

Kedua keluarga model menyertakan checkpoint terlatih, yang untuk pertama kalinya memungkinkan perbandingan setara. MiniCPM5-2B-Base dibuat pada 27 Agustus 2026, berlisensi Apache 2.0, dan ada karena alasan yang sama seperti LFM3-1.7B-Base: untuk dilatih lanjut menjadi sesuatu yang lain. Tidak ada kartu base yang menerbitkan tabel evaluasi. Jadi keputusan harus dibuat berdasarkan spesifikasi, lisensi, dan ekosistem, bukan berdasarkan skor.

Pembingkaian ulang itu penting karena kesalahan paling umum dengan pasangan ini adalah mengunduh basis Liquid, memberinya prompt seperti model chat, lalu menyimpulkan bahwa model itu lebih buruk daripada MiniCPM5-2B. Memang akan begitu. LFM3-1.7B-Base adalah keluaran tahap tengah pelatihan dengan templat chat dan mode berpikir, bukan asisten; kartu resmi Liquid sendiri menyatakan untuk menggunakan LFM3-1.7B bagi chat, pemanggilan alat, dan agen. Checkpoint final dari OpenBMB adalah hal yang tepat untuk dibandingkan dengan LFM3-1.7B, dan perbandingan itu sudah ada di tabel Liquid. Perbandingan basis-ke-basis ditujukan bagi orang yang berniat melakukan pelatihan sendiri.

Lembar spesifikasi, dimensi demi dimensi

• Parameter — LFM3-1.7B-Base: 1,73B di 24 lapisan. MiniCPM5-2B: total 2,52B, 1,98B non-embedding, di 42 lapisan.

• Konteks — LFM3-1.7B-Base: 256K token, input ditambah output. MiniCPM5-2B: 131.072 token dalam konfigurasi yang dikirim.

• Arsitektur — LFM3-1.7B-Base: tri-hibrida dengan konvolusi pendek bergerbang serta atensi jendela geser dan global, dimuat dengan trust_remote_code. MiniCPM5-2B: dekoder Llama standar yang berjalan pada perkakas tanpa modifikasi.

• Lisensi — LFM3-1.7B-Base: LFM Open License v1.0, penggunaan komersial dengan syarat pendapatan tahunan tetap di bawah $10M. MiniCPM5-2B: Apache 2.0, tanpa syarat pendapatan.

Format yang dirilis — LFM3-1.7B-Base: hanya bobot BF16 pada kartu base; model serumpun pasca-pelatihan memiliki build GGUF, MLX, ONNX, FP8, dan NVFP4. MiniCPM5-2B: BF16, GGUF, MLX, GPTQ, dan LiteRT, serta checkpoint SFT dan pertengahan pelatihan dan model draf DSpark.

• Jejak memori — LFM3-1.7B-Base: sekitar 1 GB pada 4-bit, menurut Liquid. MiniCPM5-2B: model dense 2,5B tanpa jejak memori 4-bit yang dipublikasikan di kartu model; perkirakan biaya memori kelas 2,5B yang biasa, bukan 1 GB.

• Bahasa — LFM3-1.7B-Base: 16 bahasa bernama, termasuk Arab, Hindi, Thai, dan Vietnam. MiniCPM5-2B: kartu yang berpusat pada bahasa Inggris dan Tionghoa, dengan data yang dirilis di baliknya.

• Data pelatihan — LFM3-1.7B-Base: 22T token, resep dijelaskan tetapi data tidak dirilis. MiniCPM5-2B: korpus UltraData dirilis bersama bobot.

Apa yang diberitahukan repositori kepada Anda tentang deployment

MiniCPM5-2B adalah model yang lebih mudah dipasang di perangkat saat ini. Arsitekturnya standar, jadi dukungan llama.cpp, Ollama, dan LM Studio cukup dengan menggunakan GGUF yang telah dipublikasikan alih-alih menunggu kernel. Apple Silicon memiliki build MLX, Android memiliki jalur LiteRT, dan model draf DSpark hadir khusus untuk membuat decoding lebih cepat pada perangkat keras dengan sumber daya terbatas.

LFM3-1.7B-Base menuntut lebih banyak dari runtime. Model ini memerlukan kode pemodelan kustom, dan checkpoint dasar hanya diterbitkan dalam BF16. Keluarga di sekitarnya lebih terlayani: Liquid mencantumkan dukungan vLLM, SGLang, dan Transformers untuk BF16, SGLang untuk FP8 dan NVFP4, llama.cpp dan Ollama untuk GGUF, MLX untuk Apple Silicon, serta ONNX Runtime untuk pekerjaan lintas platform. Masalahnya, build tersebut milik LFM3-1.7B, bukan checkpoint dasar. Pull request SGLang yang menambahkan dukungan LFM3, #46858, masih terbuka saat tulisan ini dibuat; pull request cookbook pendampingnya telah di-merge.

Jika pertanyaannya adalah model mana yang harus diletakkan di belakang sebuah endpoint minggu ini, perhatikan bahwa baik MiniCPM5-2B maupun LFM3-1.7B-Base tidak ada dalam katalog OrcaRouter hari ini. Keduanya untuk sekarang merupakan opsi unduh-dan-self-host. Itulah tepatnya situasi ketika lapisan routing baru berguna nanti, bukan lebih cepat: satu kunci kompatibel OpenAI untuk 200+ model, markup 0% dengan harga daftar penyedia diteruskan apa adanya, dan failover otomatis ketika mesin self-hosted atau satu upstream saja mati. Anda tidak memerlukan semua itu untuk menjalankan model 1 GB di laptop; Anda memerlukannya ketika model kecil menjadi salah satu bagian dari jalur produksi dan ada sesuatu yang harus menangkap kegagalan.

Apa yang belum dapat diketahui

Daftar jujurnya singkat dan spesifik. Kami tidak dapat menemukan tolok ukur independen untuk model LFM3 mana pun, jadi setiap klaim kemampuan tentang keluarga ini berasal dari Liquid sendiri. Tidak ada evaluasi yang diterbitkan untuk LFM3-1.7B-Base, jadi tidak ada yang bisa mengatakan seberapa bagus checkpoint mentah itu sebelum pasca-pelatihan. Tidak ada harga per token untuk LFM3 di API yang dihosting, sehingga perbandingan biaya dengan MiniCPM5-2B — yang juga dihosting sendiri di sebagian besar penerapan — menjadi soal perangkat keras dan listrik, bukan soal daftar tarif. Dan belum ada bukti, baik independen maupun tidak, tentang apakah jendela geser 256 token membebani model dalam tugas konteks panjang yang banyak melibatkan pengambilan informasi; skor RULER 128K Liquid sendiri sebesar 65,56 jauh di bawah 87,11 yang dilaporkannya untuk Qwen3.5 9B, yang merupakan sinyal yang perlu diperhatikan, bukan vonis.

Tiga pertanyaan yang perlu dijawab sebelum Anda mengunduh salah satu dari keduanya

Apakah Anda ingin sebuah model, atau titik awal?

Jika Anda menginginkan sesuatu yang menjawab pertanyaan, memanggil tool, dan tetap lolos demo pada hari Senin, MiniCPM5-2B adalah produk jadi dan LFM3-1.7B-Base bukan. Jika Anda memiliki korpus domain, pipeline pasca-pelatihan, dan alasan model bawaan tidak akan memadai, checkpoint dasar adalah pembelian yang tepat — dan notebook TRL Liquid untuk SFT, DPO, GRPO, dan pra-pelatihan lanjutan memberikan panduan lebih banyak daripada yang disediakan sebagian besar vendor.

Apakah organisasi Anda akan pernah mencapai pendapatan tahunan sebesar $10 juta?

LFM Open License v1.0 hanya memberikan hak komersial di bawah ambang batas tersebut. Di atasnya, karya tersebut sama sekali tidak dilisensikan berdasarkan perjanjian itu, dan Anda memerlukan pengaturan terpisah dengan Liquid. Apache 2.0 tidak memiliki jurang seperti itu. Untuk proyek hobi atau startup tahap awal, perbedaannya bersifat teoretis; bagi perusahaan yang sudah mapan, perbedaan itu menentukan daftar pendek sebelum benchmark apa pun dijalankan.

Apakah konteks 256K layak mendapatkan arsitektur khusus?

LFM3-1.7B-Base menawarkan konteks dua kali lipat dibandingkan MiniCPM5-2B dengan jumlah parameter yang lebih kecil, yang merupakan argumen teknis terkuat yang mendukungnya. Harga yang harus dibayar adalah model non-standar yang memerlukan kode jarak jauh, kumpulan build siap pakai yang lebih terbatas pada checkpoint dasar, dan integrasi runtime yang masih dalam proses. Jika beban kerja Anda muat dalam 131K, Anda membayar harga itu untuk ruang lebih yang tidak akan Anda gunakan.

Mana yang harus dipilih

Bagi sebagian besar tim yang membandingkan dua nama ini, jawabannya adalah MiniCPM5-2B — bukan karena model ini memenangkan kontes benchmark, tetapi karena ini adalah produk Apache-2.0 yang sudah matang dengan build terkuantisasi, data pelatihan yang dirilis, dan tanpa batasan lisensi. Ini adalah cara yang lebih rendah risiko untuk membawa model 2,5B yang mumpuni ke dalam perangkat.

LFM3-1.7B-Base adalah taruhan yang lebih menarik bagi audiens yang lebih sempit: tim yang menginginkan checkpoint 1,73B dengan konteks 256K, 16 bahasa, dan arsitektur nonstandar yang dapat mereka lanjutkan pelatihannya di satu GPU, serta dapat menerima lisensi LFM dan ekosistem model dasar yang lebih tipis. Liquid telah memberi audiens tersebut titik awal yang nyata dan resep pelatihan yang luar biasa terperinci. Namun, Liquid belum memberi siapa pun alasan untuk percaya bahwa checkpoint dasar tersebut lebih baik daripada model jadi milik OpenBMB, dan tabel dari vendor itu sendiri tidak berupaya mengklaim demikian.

Angka yang perlu diperhatikan bukanlah pembagian 23–4. Angka itu adalah evaluasi independen pertama untuk model LFM3 mana pun — titik ketika papan skor Liquid tidak lagi menjadi satu-satunya papan skor.