MiniCPM-V 4.7 vs LFM3-VL-2B: Skor Tolok Ukur yang Lebih Baik Adalah Sensor yang Salah

Liquid AI menempatkan MiniCPM-V 4.7 1B dalam tabel perbandingannya sendiri lalu mengalahkannya. Dalam rangkaian 62 tolok ukur yang dijalankan Liquid, LFM3-VL-2B rata-rata 71,4 dengan reasoning diaktifkan dan 62,1 tanpanya; MiniCPM-V 4.7 1B rata-rata 57,5. Itu selisih 13,9 poin di tingkat model kecil, dan itulah angka tempat sebagian besar postingan perbandingan berhenti. Itu juga angka yang paling tidak berguna dalam keputusan, karena kedua model tidak bersaing untuk posisi yang sama. Yang satu adalah model dense 1,92 miliar parameter yang dibuat untuk menjadi jawaban utuh. Yang lain adalah separuh murah dari sistem dua model yang separuh mahalnya adalah mixture of experts 35 miliar parameter.

The version of this matchup that matters depends on which MiniCPM-V 4.7 you mean. The 1B is a 1.55-billion-parameter dense model that fits in a 672 MB Q4_K_M file — 641 MiB, which is where the 641 MB on the cards comes from. The 35B-A3B is 35.2 billion stored parameters with roughly 3 billion active per token, and it is not in Liquid's table at all. LFM3-VL-2B sits between them and is, on Liquid's own numbers, a better general vision model than the small MiniCPM and a much weaker one than the large MiniCPM. Everything below is about which of those facts should decide your architecture.

Tiga tingkatan yang berpura-pura menjadi dua model

LFM3-VL-2B adalah satu artefak. Model ini memiliki 1,92 miliar parameter yang terdiri dari tulang punggung bahasa 1,73B, encoder visi internal 164M, dan proyektor 25M, dengan konteks 128K token, video yang disampel pada dua frame per detik, serta satu set bobot yang melakukan deteksi, OCR, grafik, dan deskripsi. Liquid mengumumkan keluarga LFM3 pada 27 Oktober 2026; repositori LFM3-VL-2B dipublikasikan pada 19 Oktober.

MiniCPM-V 4.7 adalah dua artefak dengan menara visi bersama. Varian 1B adalah tulang punggung qwen3_5_text padat dengan 24 lapisan, konteks 262,144 token, dan tiga lapisan atensi linear untuk setiap lapisan atensi penuh. Varian 35B-A3B adalah model sparse 256 pakar yang merutekan delapan pakar per token, mempertahankan konteks 262,144 token yang sama, dan ada karena OpenBMB menginginkan model besar yang dapat melakukan streaming pakar dari penyimpanan alih-alih menyimpannya di memori. Keduanya berlisensi Apache-2.0. Bobotnya muncul pada 6 dan 7 Oktober 2026, kartu model menyusul pada 12 Oktober, dan ModelBest menerbitkan siaran pers berbahasa Inggris pada 15 Oktober.

Jadi, cara membingkai yang jujur bukanlah "2B versus 1B". Ini adalah "satu model yang harus melakukan segala hal" versus "sebuah keluarga model tempat Anda memilih seberapa besar model yang layak untuk setiap pertanyaan". Jika pipeline Anda mengajukan satu pertanyaan per gambar, bentuk LFM3-VL-2B lebih sederhana dan, pada sisi kecil, lebih kuat. Jika pipeline Anda mengajukan sepuluh ribu pertanyaan murah dan satu pertanyaan mahal, bentuk MiniCPM lebih murah secara konstruksi.

Apa yang dikatakan tabel milik Liquid sendiri, dan berapa biaya untuk membacanya

Rangkaian 62 tolok ukur itu milik Liquid, dijalankan pada vLLM 0.27.1, dinormalisasi ke skala 0–100, dengan mode penalaran diaktifkan untuk setiap model kecuali baris yang ditandai sebaliknya. Vendor yang melakukan benchmark terhadap pesaing adalah hal normal dan layak dibaca, tetapi harness-nya milik vendor, kumpulan prompt-nya milik vendor, dan agregatnya milik vendor. Anggap baris-baris itu sebagai klaim.

• MMMU — LFM3-VL-2B 55.7 with thinking and 48.6 without, against 51.0 for MiniCPM-V 4.7 1B in the same column set. OpenBMB's own page reports no MMMU for the 1B, so this row exists only in Liquid's run.

• OCRBench v1 — LFM3-VL-2B 86.3 against 82.1 for MiniCPM-V 4.7 1B inside Liquid's table. OpenBMB reports 86.1 for its own 1B, which is a 4-point spread on the same named benchmark and a fair illustration of what a different harness does to a number.

• MathVista (mini) — 84.2 with thinking and 68.5 without for LFM3-VL-2B, against 71.2 for MiniCPM-V 4.7 1B in the same table. OpenBMB's page says 74.3 for that model.

• CharXiv reasoning — 70.2 for LFM3-VL-2B against 44.5 for MiniCPM-V 4.7 1B. OpenBMB's page claims 48.8 for the same model, so even the direction of the gap is harness-dependent.

• LongVideoBench — 53.4 for MiniCPM-V 4.7 1B on OpenBMB's page. Liquid's table carries no LongVideoBench row at all, so there is nothing to compare it with.

Polanya konsisten: dengan reasoning aktif, model dense 2B lebih baik dalam penalaran visual multi-langkah dan interpretasi grafik, serta kurang lebih setara pada OCR biasa. Dengan reasoning nonaktif, selisihnya menyusut menjadi sekitar 4,6 poin, yang menunjukkan bahwa sebagian besar keunggulannya diperoleh melalui token waktu uji, bukan melalui parameter. Hal ini lebih penting bagi latensi daripada bagi kualitas, dan latensi adalah sumbu yang biasanya diabaikan dalam perbandingan ini.

Uji independen yang membalik peringkat

Pada akhir Oktober, WebBrain menerbitkan benchmark tangkapan layar browser 100 kasus yang dijalankan sepenuhnya offline dalam Q4_K_M GGUF pada dua kartu RTX 5060 Ti, dengan set tangkapan layar yang dibekukan, satu prompt produksi, dan rubrik deterministik. MiniCPM-V 4.7 1B mencetak 37 kelulusan ketat dari 100 dan skor rubrik rata-rata 68,2 persen pada 1,30 detik per tangkapan layar. LFM3-VLD-2B — varian saudara dari model Liquid, bukan checkpoint LFM3-VL-2B yang persis — mencetak 4 kelulusan ketat dan 44,7 persen pada 2,20 detik.

Kaveatnya penting dan bisa menjadi pedang bermata dua. Di bawah regex judul bernomor yang ketat, MiniCPM memperoleh nol kelulusan karena menulis judul bagian sebagai label teks, bukan angka. Angka 37 kelulusan berasal dari penilaian ulang keluaran yang sama berdasarkan nama bagian. Itu adalah kegagalan pemformatan yang nyata, dan jika parser hilir Anda mengharapkan judul bernomor, itu mendiskualifikasi. Namun skor kontennya tidak dekat: 68,2 berbanding 44,7, pada 60 persen latensi, dalam tugas — membaca viewport browser yang padat — yang jauh lebih mendekati produksi daripada tolok ukur bagan.

Ini adalah satu-satunya evaluasi independen yang dimiliki kedua model di tingkat ini, ini satu harness pada satu pasang GPU, dan model Liquid yang diujinya adalah varian VLD. Ini tetap lebih informatif daripada agregat 62 benchmark, karena ini mengukur hal yang benar-benar Anda lakukan dengan model visi kecil: melihat layar dan menjawab pertanyaan tetap dengan cepat.

Lisensi adalah penentu yang senyap

MiniCPM-V 4.7 dirilis di bawah Apache-2.0 tanpa syarat pendapatan. LFM3-VL-2B dirilis di bawah LFM Open License v1.0, yang oleh Liquid dijelaskan sebagai gratis untuk penggunaan komersial jika pendapatan tahunan di bawah 10 juta dolar. Di atas ambang tersebut, persyaratannya berubah dan Anda perlu membacanya.

Untuk proyek hobi, perbedaannya bersifat teoretis. Untuk sebuah produk, itu adalah hal pertama yang akan ditanyakan seorang pengacara, dan itu adalah satu baris dalam tabel perbandingan mana pun yang tidak dapat diabaikan oleh benchmark mana pun. Model yang empat poin lebih baik dalam penalaran grafik dan membawa pemicu pendapatan tidak otomatis menjadi dependensi yang lebih baik. Di sinilah juga pilihan Apache-2.0 pada kedua ukuran MiniCPM-V 4.7 bekerja lebih besar daripada angka benchmark: pilihan itu menghilangkan satu percakapan.

Cadence: angka yang tidak dilaporkan oleh tabel mana pun

Monitor kucing esp32-eye adalah contoh publik paling jelas tentang bagaimana MiniCPM 1B benar-benar digunakan. Ia berjalan sebagai Q4_K_M GGUF di belakang llama-server pada MacBook dan dipanggil paling banyak sekali setiap 1,5 detik, dikendalikan oleh pemeriksaan perbedaan latar belakang sehingga sebagian besar frame tidak pernah mencapainya. Build yang sama menemukan bahwa 1B tidak andal membedakan empat kucing yang mirip dan memindahkan identitas ke 35B daripada merilis tebakan.

Itulah profil penerapan yang tidak ditangkap oleh tabel benchmark. Model yang Anda panggil setiap 1,5 detik harus cukup kecil untuk tetap residen di memori, cukup cepat agar jawabannya tiba sebelum bingkai berikutnya, dan cukup permisif agar Anda dapat merilisnya. Model 1B memenuhi ketiganya. LFM3-VL-2B berukuran 1,25 GB dalam Q4 dan 2,2 detik per tangkapan layar dalam pengujian independen, yang memadai untuk pipeline per gambar dan terlalu lambat untuk gerbang 1,5 detik pada perangkat keras yang sama.

Jika Anda menginginkan endpoint yang dihosting alih-alih file lokal, saat ini tidak satu pun model ada dalam katalog OrcaRouter, jadi jawaban jujurnya adalah model 1B berjalan di tempat Anda menempatkannya dan model 35B berjalan pada API milik OpenBMB sendiri. Yang ditawarkan router adalah arsitektur di sekitarnya: satu kunci untuk lebih dari 200 model, markup 0% atas harga daftar penyedia, dan failover otomatis, yang merupakan cara Anda menjaga pipeline dua model tetap hidup ketika segmen yang mahal adalah satu endpoint eksternal. Ini tidak membuat model yang tidak dihosting menjadi dihosting, dan hal itu layak dikatakan secara terus terang.

Mana yang harus dipilih

Jika Anda membangun pipeline gambar model tunggal dan menginginkan generalis kelas 2B terkuat pada benchmark yang diterbitkan kedua lab, LFM3-VL-2B adalah pilihan yang dapat dipertahankan, dengan catatan kaveat lisensi yang dituliskan. Jika Anda membangun agen yang melihat layar secara berulang, uji browser independen menempatkan MiniCPM 1B unggul baik pada skor maupun latensi, dan disiplin pemformatannya adalah hal yang perlu diperbaiki di parser Anda, bukan di model.

Jika Anda membutuhkan model yang dapat membaca dokumen 262.144 token, menonton video, dan mampu bersaing di MMMU, tidak ada model kecil yang menjadi jawabannya: itu kelas 35B-A3B, dengan OpenBMB melaporkan 80,2 pada MMMU, 91,2 pada OCRBench, dan 68,9 pada LongVideoBench, semuanya dilaporkan vendor dan tidak ada yang direproduksi secara independen. Keputusan sebenarnya bukanlah 2B mana yang menang. Melainkan apakah pipeline Anda mampu mengajukan pertanyaan kecil dengan murah dan pertanyaan sulit jarang-jarang — dan jika bisa, desain dua model lebih murah daripada model tunggal mana pun yang berusaha bagus di keduanya.

Satu kalibrasi terakhir. Selisih 13,9 poin yang dipublikasikan Liquid nyata pada suite Liquid, dan selisih 23,5 poin yang dipublikasikan WebBrain nyata pada suite WebBrain, dan keduanya mengarah ke arah yang berlawanan karena mengukur tugas yang berbeda. Siapa pun yang mengutip salah satunya tanpa yang lain sedang menjual kesimpulan kepada Anda. Pertanyaan yang berguna bukanlah model mana yang lebih baik; melainkan berapa kali sehari Anda perlu bertanya, dan berapa banyak yang bersedia Anda bayar untuk jawabannya.