LFM3-1.7B vs MiniCPM5-2B: Menguji Papan Skor 23-ke-4 Liquid

Pada 27 Oktober 2026, Liquid AI menerbitkan tabel benchmark 27 baris yang mempertemukan LFM3-1.7B dengan MiniCPM5-2B. Model Liquid menang di 23 baris tersebut. MiniCPM5 menang empat. Jumlah itu menyebar dengan cepat, dan itu menjadi masalah, karena jumlah kemenangan adalah hal paling tidak informatif yang bisa Anda ambil dari tabel ketika satu vendor memilih benchmark, menulis harness, dan menjalankan kedua model. Ini adalah uji tentang apa yang sebenarnya disampaikan angka 23–4 itu — dan dimulai dengan sebuah pengakuan: perbandingan yang diam-diam dijawab Liquid telah diterbitkan di blog ini sehari sebelumnya, dan artikel itu memilih untuk tidak membuat argumen yang persis sama ini. Tulisan itu membandingkan dua checkpoint dasar dan menyimpulkan bahwa keduanya tidak memiliki evaluasi yang dapat digunakan. Berikut versi dengan bobot pasca-pelatihan di kedua sisi.

MiniCPM5-2B adalah model penalaran dense 2,52B dari OpenBMB, dirilis pada awal September 2026 di bawah Apache 2.0. LFM3-1.7B adalah model teks dan agen 1,73B dari Liquid AI, dirilis pada 27 Oktober 2026 di bawah LFM Open License v1.0. Keduanya berada di kelas bobot yang sama, bersaing untuk slot perangkat yang sama, dan dibangun untuk pekerjaan yang jelas berbeda.

Dua vendor, dua harness, satu tabel

Angka 23–4 hanya ada karena Liquid menjalankan ulang kompetitornya. Itu adalah hal yang sah dan luar biasa ketat untuk dilakukan dalam sebuah peluncuran — sebagian besar vendor membandingkan dengan angka papan peringkat publik dan membiarkan kerangka metodenya tidak disebutkan. Namun, menjalankan ulang kompetitor dengan harness milik Anda sendiri tidak menghasilkan hasil yang netral, dan petunjuknya ada pada baris-baris di mana benchmark yang sama muncul di kartu kedua vendor.

Ambil BFCL V4. Liquid mengukur MiniCPM5-2B pada 62,65. Kartu milik OpenBMB sendiri melaporkan 66,6. Ambil Humanity's Last Exam: Liquid mendapat 8,20 untuk MiniCPM5, OpenBMB mengklaim 8,9. Selisih itu kecil — dalam rentang empat poin pada skala 0–100 — dan menunjukkan bahwa perbedaan harness tidak besar pada benchmark terstandardisasi. Sekarang ambil SWE-bench Verified, di mana OpenBMB melaporkan 46,4 untuk MiniCPM5-2B dan Liquid melaporkan 43,40 untuk LFM3-1.7B. Bandingkan kedua angka itu secara berdampingan dan MiniCPM5 menang. Letakkan baris MiniCPM5 milik Liquid sendiri di samping baris LFM3 milik Liquid sendiri dan LFM3 menang. Benchmark yang sama, dua model yang sama, jawaban berlawanan, karena angka-angka itu berasal dari harness yang berbeda.

Inilah seluruh masalahnya dalam satu contoh. Tidak ada vendor yang menerbitkan konfigurasi harness, kebijakan percobaan ulang, atau scaffolding prompt. Sampai seseorang menjalankan kedua model melalui satu harness yang tidak mereka kendalikan, setiap baris lintas-vendor dalam perbandingan ini hanyalah lemparan koin yang berlagak sebagai pengukuran.

Jika selisihnya terlalu besar untuk dianggap sebagai noise harness

Beberapa baris tidak dapat dijelaskan begitu saja. Navigasi web agentik adalah yang paling jelas:

• WebArena-Verified — LFM3-1.7B 38.42 vs MiniCPM5-2B 9.11 pada harness Liquid.

• AutomationBench — 41,29 vs 4,71.

• RULER 128K — 65,56 vs 37,96.

• BFCL V4 — 71,39 vs 62,65.

Selisih empat poin hanyalah perancah. Selisih dua puluh sembilan poin pada WebArena-Verified, atau selisih tiga puluh tujuh poin pada AutomationBench, bukanlah demikian. Itu adalah perbedaan dalam hal apakah model dapat menjaga rencana multi-langkah tetap utuh sama sekali, dan itu selaras dengan apa yang masing-masing vendor katakan tentang dirinya sendiri: Liquid membangun LFM3 di sekitar pelatihan menengah agentik dengan jejak pemanggilan alat, dan dokumentasi OpenBMB sendiri menandai MiniCPM5 sebagai lemah pada tugas multi-langkah panjang dan rentan terhadap pengulangan. Dua deskripsi independen tentang kelemahan yang sama, yang datang dari arah berlawanan, adalah bukti terkuat dalam seluruh perbandingan ini.

Baris konteks panjang perlu mendapat perhatian tersendiri karena itulah yang akan disalahpahami orang. RULER 128K sebesar 37,96 untuk MiniCPM5 adalah skor retrieval pada 128K, bukan pernyataan bahwa model dibatasi hingga 128K — MiniCPM5-2B secara resmi mendukung 131.072 token. Artinya, pada panjang tersebut, MiniCPM5 menemukan lebih sedikit dari apa yang Anda minta untuk ditemukan. LFM3 mencetak 65,56 pada panjang yang sama. Jika beban kerja Anda adalah "telusuri dokumen panjang lalu jawab", selisih itu adalah seluruh keputusan.

Empat baris yang dimenangkan MiniCPM5 — dan mengapa itu penting

Tabel Liquid memberi MiniCPM5-2B empat kemenangan: τ³-bench pada 69,44 berbanding 68,01, GPQA Diamond pada 65,15 berbanding 63,37, HLE pada 8,20 berbanding 7,17, dan AA-Omniscience pada 9,13 berbanding 7,07. Tiga dari empat merupakan tolok ukur pengetahuan. Selisihnya satu hingga dua poin, yang berada di dalam noise floor sebagian besar rangkaian evaluasi.

Namun polanya konsisten dengan desain MiniCPM5. OpenBMB melatihnya sebagai model penalaran dengan mode berpikir eksplisit, melalui rangkaian yang menjalankan SFT berpikir mendalam atas 400 miliar token lalu pembelajaran penguatan dengan guru-guru spesialis sebelum distilasi on-policy ke satu checkpoint dense. Itu adalah resep yang bertujuan mendapatkan lebih banyak dari pengetahuan tersimpan per parameter. Pelatihan LFM3 ditujukan untuk pemanggilan alat dan kepatuhan terhadap instruksi. GPQA Diamond dimenangkan MiniCPM5 dengan selisih 1,8 poin bukanlah kejutan; itu adalah dua filosofi pelatihan yang muncul di tempat yang Anda perkirakan.

Perbandingan yang jauh lebih menarik adalah perbandingan yang tidak dapat dibuat oleh tabel Liquid. MiniCPM5-2B memiliki Artificial Analysis Intelligence Index sebesar 12. LFM3-1.7B, per 28 Oktober 2026, tidak memiliki entri Artificial Analysis sama sekali — tidak ada indeks, tidak ada kecepatan yang diukur secara independen, tidak ada angka latensi yang netral. Jadi, model yang kalah pada 23 dari 27 baris adalah model yang memiliki titik data independen, sedangkan model yang memenangkan baris-baris itu adalah model yang meminta untuk dipercaya begitu saja. Asimetri itu seharusnya lebih berbobot daripada jumlah kemenangannya.

Spesifikasi yang benar-benar dapat dibandingkan dengan jelas

Ketika tidak ada vendor yang menjalankan benchmark milik pihak lain, angkanya membosankan dan dapat diandalkan:

• Parameter — LFM3-1.7B 1,73B dense vs MiniCPM5-2B total 2,52B, 1,98B non-embedding.

• Lapisan — 24 hibrida (13 konvolusi, 5 jendela geser, 6 global) vs 42 lapisan transformer standar dengan grouped-query attention pada 16 kepala query dan 2 kepala KV.

• Konteks — 256K vs 131,072.

• KV cache pada 128K — 1,6 GB vs 5,6 GB, berdasarkan pengukuran Liquid atas keduanya.

• Jejak memori pada 4-bit — sekitar 1 GB vs sekitar 1,1 GB dalam laporan pengujian langsung.

• Kosakata — 128K vs 130.560.

• Lisensi — LFM Open License v1.0, gratis di bawah pendapatan $10M vs Apache 2.0, tanpa ambang batas.

Baris KV-cache adalah yang menentukan perangkat keras. Perbedaan 3,5× pada panjang konteks yang sama adalah perbedaan antara agen konteks panjang yang muat di ponsel dan yang tidak. Ini juga menjelaskan mengapa LFM3 dapat menawarkan 256K sementara MiniCPM5 menawarkan 131K: campuran lapisan tri-hybrid lebih murah per token konteks, yang justru menjadi inti dari pembuatannya.

Perbedaan lisensi lebih penting daripada perbedaan memori bagi sebagian tim. Apache 2.0 tidak memiliki ambang pendapatan, tidak ada perjanjian komersial yang perlu dinegosiasikan, dan tidak ada ambiguitas tentang redistribusi. LFM Open License gratis di bawah pendapatan tahunan $10 juta dan memerlukan pembicaraan di atasnya. Startup di bawah garis itu mendapatkan keduanya secara gratis. Perusahaan di atasnya mendapatkan satu secara gratis dan satu lagi setelah panggilan telepon, dan itu merupakan biaya pengadaan yang nyata terlepas dari model mana yang mendapat skor lebih tinggi.

Dukungan ekosistem adalah bidang di mana MiniCPM5 masih unggul

Kedua keluarga menghadirkan dukungan runtime yang luas sejak hari pertama, jadi kesenjangan ini lebih sempit dibandingkan setahun lalu. LFM3 mencantumkan vLLM, SGLang, Transformers, llama.cpp, MLX, ONNX, Ollama, dan LM Studio, dengan build BF16, FP8, NVFP4, GGUF, MLX, dan ONNX. MiniCPM5-2B mencantumkan runtime yang sama plus GPTQ dan DSpark, model draf speculative decoding yang dipasangkan dengan checkpoint utama.

Perbedaan praktisnya adalah kematangan, bukan ketersediaan. MiniCPM5-2B sudah dapat diunduh sejak awal September, yaitu tujuh minggu laporan bug komunitas, eksperimen kuantisasi, dan patch framework yang belum dimiliki LFM3. Model yang dirilis kemarin akan memiliki kekurangan pada konversi GGUF dan paket Ollama-nya. Itu bukan kritik terhadap Liquid; begitulah kondisi pada hari pertama. Jika Anda memerlukan model ini untuk produksi minggu ini, tujuh minggu orang lain yang lebih dulu menghadapi masalah tersebut memiliki nilai tersendiri.

Cara memutuskan, dan di mana router layak digunakan

Tidak ada model yang masuk dalam katalog OrcaRouter — keduanya adalah open weights yang Anda jalankan sendiri, dan kami lebih suka mengatakan itu secara terus terang daripada menyiratkan sebaliknya. Router menjadi penting di batas. Cara jujur menjalankan evaluasi ini adalah menempatkan kedua model di belakang satu endpoint dan mengirim lalu lintas nyata ke keduanya, dan cara jujur menjalankan salah satunya di produksi adalah tidak membiarkan model 2B menjadi satu-satunya yang bisa menjawab.

Itulah gunanya failover otomatis. Rutekan permintaan ke LFM3-1.7B, biarkan model itu menangani panggilan alat atau ekstraksi yang menjadi pelatihannya, lalu beralih ke model yang dihosting ketika tugas ternyata membutuhkan lebih banyak langkah daripada yang dapat ditangani model 2B. Karena OrcaRouter meneruskan harga daftar penyedia dengan markup 0%, jalur mahal hanya dikenai biaya yang ditagih penyedia saat benar-benar digunakan — penghematan dari merutekan ke model lokal kecil tidak termakan oleh router. DSL perutean memungkinkan Anda menyatakannya sebagai aturan alih-alih penulisan ulang: spesialis lebih dulu, generalis saat gagal atau pada ambang keyakinan.

Fusi model adalah opsi yang kurang dimanfaatkan di sini. Ketika dua model 2B tidak sepakat tentang suatu klasifikasi, membiarkan keduanya menjawab dan merekonsiliasi sering kali lebih murah daripada meningkatkan ke model 27B, dan tingkat ketidaksepakatan itu sendiri merupakan sinyal berguna tentang input mana yang sulit. Dengan model yang belum terverifikasi di salah satu sisi pipeline Anda, pemeriksaan silang semacam itu lebih murah daripada mempercayai tabel vendor.

Apa yang bisa menyelesaikannya

Tiga puluh hari dari sekarang, seseorang harus menerbitkan LFM3-1.7B dan MiniCPM5-2B melalui satu harness dengan konfigurasi yang di-commit bersama hasilnya. Jika LFM3 bertahan di sekitar 38 pada WebArena-Verified dan 65 pada RULER 128K, hitungan 23–4 akan kira-kira benar karena alasan yang salah dan kesenjangan agentic itu nyata. Jika angkanya turun ke arah angka MiniCPM5, maka tabel peluncuran itu mengukur scaffolding.

Sampai saat itu, posisi yang dapat dipertahankan lebih sempit daripada pemasaran kedua vendor. Jika beban kerja Anda bersifat multi-langkah, pemanggilan alat, atau dokumen panjang, LFM3-1.7B adalah pilihan yang lebih baik dan keunggulan memorinya menjadikannya satu-satunya dari keduanya yang muat pada perangkat keras terbatas dengan sisa ruang. Jika beban kerja Anda adalah pengambilan pengetahuan, penalaran satu putaran, atau membutuhkan lisensi yang tidak ambigu dan model dengan skor independen yang disertakan, MiniCPM5-2B adalah pilihan yang lebih aman dan empat baris yang dimenangkannya mengarah tepat ke arah itu. Hitungan 23–4 bukanlah salah, melainkan lebih tepatnya tidak layak diperoleh — dan jumlah model dalam tabel peluncuran bukanlah hal yang sama dengan sebuah hasil.