LFM3-VL-2B vs MiniCPM-V 4.7 1B: Kesenjangan 14 Poin yang Menyusut menjadi 4 Saat Anda Mematikan Mode Berpikir

Perbedaan yang paling berdampak antara LFM3-VL-2B dan MiniCPM-V 4.7 1Btidak terletak pada tabel benchmark mana pun. Itu terletak pada baris lisensi. Model OpenBMB adalah Apache 2.0. Model Liquid AI adalah LFM Open License v1.0, yang membawa ketentuan komersial alih-alih ketentuan permisif biasa. Kedua model ini selain itu cukup dekat ukurannya untuk menjadi substitusi langsung — 1,92B versus 1,55B — dan keduanya muncul dalam rentang tiga minggu satu sama lain: MiniCPM-V 4.7 1B muncul di Hugging Face pada 6 Oktober dan bertanggal 12 Oktober dalam catatan rilis vendor, sementara LFM3-VL-2B berada di repositori publik sejak 19 Oktober dan diumumkan pada 27 Oktober. Pada rangkaian 62 benchmark milik Liquid sendiri, model baru ini rata-rata 71,4 berbanding 57,5, selisih 13,9 poin yang menyusut menjadi 4,6 poin begitu Anda menonaktifkan penalaran pada model Liquid.

Dua model dalam kelas berat yang sama, dengan aturan berbeda.

MiniCPM-V 4.7 1B adalah yang lebih kecil di antara keduanya dengan selisih sekitar 370 juta parameter. Model ini menggabungkan menara visi bergaya SigLIP dengan tulang punggung bahasa yang diturunkan dari Qwen3.5, menggunakan kompresi token visual 4× atau 16× yang dapat dipilih per permintaan, dan mengklaim jendela konteks 256K dalam dokumentasi vendor. Model ini tersedia dalam build BF16, int4, AWQ, GPTQ, dan GGUF, dengan model draf DSpark khusus untuk decoding spekulatif.

LFM3-VL-2B memasangkan model bahasa LFM3-1.7B dengan encoder visi internal baru berukuran 164M dan proyektor 25M, pada konteks 128K yang terdokumentasi, dengan input video pada 2 frame per detik dan mode no-thinking yang terdokumentasi.

• Parameter — 1,92B untuk LFM3-VL-2B vs 1,55B untuk MiniCPM-V 4.7 1B, menurut dokumentasi OpenBMB; lencana ukuran model Hugging Face membulatkan yang terakhir menjadi 2B.

• Lisensi — LFM Open License v1.0 vs Apache 2.0.

• Konteks — 128K token vs 256K yang diklaim, meskipun konfigurasi inferensi umumnya menetapkan batas atasnya jauh lebih rendah.

• Jalur visi — encoder internal 164M dengan satu token per blok patch 2×2 vs menara bergaya SigLIP dengan kompresi 4×/16×.

• Video — 2 frame per detik, model visi LFM pertama yang menerima video vs didukung, dengan angka LongVideoBench dan MotionBench yang diterbitkan oleh vendor.

• Mode penalaran — tersedia dan diukur dengan dua cara vs tersedia dan digunakan dalam jalannya benchmark.

• Rata-rata vendor pada suite 62 benchmark Liquid — 71.4 thinking, 62.1 no-thinking, dibandingkan 57.5.

Kesenjangan agregatnya adalah 13,9 poin. Baca catatan kaki terlebih dahulu.

Tabel Liquid adalah satu-satunya artefak yang menilai kedua model pada 62 tolok ukur yang sama dengan normalisasi yang sama, dan itulah alasan perbandingan ini dapat dilakukan sama sekali. Kartu milik OpenBMB sendiri tidak melakukan tolok ukur terhadap LFM3-VL-2B, yang belum ada saat MiniCPM-V 4.7 1B dirilis.

Catatan kaki yang penting: mode penalaran digunakan untuk setiap model dalam tabel kecuali LFM2.5-VL-3B, yang tidak mendukungnya, dan konfigurasi no-thinking LFM3-VL-2B. Jadi, 71,4 dan 57,5 keduanya merupakan skor dengan penalaran aktif, sehingga perbandingan ini lebih adil daripada perbandingan dengan LFM2.5. Kedua model diukur pada pengaturan terbaiknya, dengan instrumen yang sama, oleh laboratorium yang sama.

Adil tidak sama dengan independen. Liquid memilih tolok ukur dan menjalankannya. Tabel itu luar biasa lengkap — mencakup baris tingkat kategori dan per tolok ukur, serta menyebutkan setiap pesaing — tetapi belum ada pihak ketiga yang mereproduksi satu pun darinya.

Matikan mode berpikir dan 1B menang 24 dari 62

LFM3-VL-2B menerbitkan skor kedua untuk bobot yang sama dengan penalaran dinonaktifkan. Kolom itulah yang menarik, karena menunjukkan dari mana agregat 13,9 poin sebenarnya berasal. Tanpa berpikir, LFM3-VL-2B menang di 35 benchmark, MiniCPM-V 4.7 1B menang di 24, dan 3 seri. Rata-rata selisihnya turun menjadi 4,6 poin.

Yang lebih mencolok adalah apa yang dimenangkan 1B dalam konfigurasi tersebut. Model ini menguasai sebagian besar kluster penalaran matematika dan bagan, sering kali dengan selisih yang lebar.

• We-Math (testmini, ketat) — 47,8 untuk MiniCPM-V 4.7 1B vs 20,1 untuk LFM3-VL-2B tanpa mode berpikir, dan 68,6 dengan mode berpikir.

• LogicVista — 46,1 vs 30,2 tanpa berpikir, 60,4 dengan berpikir.

• MathVista (mini) — 71,2 vs 68,5 tanpa berpikir, 84,2 dengan berpikir.

• ChartQA (tes) — 88.8 vs 81.4 tanpa thinking, 92.7 dengan thinking.

• CharXiv (deskriptif) — 73,4 vs 65,5 tanpa berpikir, 87,5 dengan berpikir.

• DynaMath — 63,8 vs 57,7 tanpa berpikir.

• MMMU (val) — 51.0 vs 48.6 tanpa thinking, 55.7 dengan thinking.

Hasil We-Math adalah yang patut diperhatikan: keunggulan 27,7 poin untuk 1B ketika tidak ada model yang diizinkan bernalar — dan keunggulan 20,8 poin untuk LFM3-VL-2B begitu model itu diizinkan bernalar. We-Math adalah tolok ukur akurasi ketat pada matematika visual multi-langkah, dan skornya tidak bergerak secara bertahap antara kedua model. Skor itu berbalik. Itu adalah ilustrasi tunggal paling jelas dalam tabel tentang apa yang diperoleh dari mode penalaran.

Terjemahan praktisnya: jika Anda menonaktifkan penalaran demi latensi dan beban kerja Anda melibatkan angka dalam bagan atau diagram, keunggulan agregat model yang lebih besar tidak melindungi Anda. Model 1B adalah alat yang lebih baik.

Di mana LFM3-VL-2B unggul terlepas dari mode

Kebalikannya juga benar, dan kategorinya sama konkretnya. Lima di antaranya hampir sepihak bahkan dalam kolom tanpa berpikir.

• Pemahaman GUI — 83,1 thinking, 81,5 no-thinking, vs 45,3 untuk MiniCPM-V 4.7 1B. ScreenSpot-Pro adalah 55,5 vs 4,9; ScreenSpot-v2 Desktop adalah 94,6 vs 51,5.

• Visual grounding — 77.3 mode berpikir, 72.6 mode tanpa berpikir, dibandingkan 51.1. RefCOCO-avg mencapai 90.5 dibandingkan 86.3.

• Penalaran berwujud — 64,4 mode berpikir, 57,9 mode tanpa berpikir, vs 45,3.

• Agentic — 42,5 berpikir, 32,9 tanpa berpikir, vs 16,9. Kategori terlemah bagi keempat model dalam tabel, dan selisih relatif terbesar di antara keduanya.

• Multibahasa — 84,4 thinking, 76,2 no-thinking, vs 77,4. Satu-satunya kategori di mana model Liquid no-thinking kalah dari 1B.

ScreenSpot-Pro pada 55,5 versus 4,9 adalah selisih terbesar antara kedua model di mana pun dalam 62 benchmark. Jika Anda membangun otomasi UI, tidak ada keputusan yang perlu dibuat di sini; jika Anda membangun tutor matematika, peringkatnya berbalik. Rata-rata 13,9 poin adalah artefak dari merata-ratakan dua populasi yang berperilaku sangat berbeda.

Dua harness, dua angka untuk benchmark yang sama

Inilah bagian yang membuat perbandingan antar vendor menjadi rawan, dan bagian ini pantas mendapat seksinya sendiri karena kedua vendor sama-sama menerbitkan angka untuk benchmark dengan nama yang sama.

OpenBMB melaporkan MathVista 74,3 untuk MiniCPM-V 4.7 1B di halamannya sendiri. Uji ulang Liquid atas model yang sama pada benchmark bernama sama melaporkan 71,2. OpenBMB melaporkan OCRBench 86,1; harness Liquid melaporkan OCRBench v1 pada 82,1. Tidak ada lab yang berbohong. Mereka menjalankan format prompt yang berbeda, aturan ekstraksi jawaban yang berbeda, atau subset yang berbeda, dan perbedaan 3,1 dan 4,0 poin yang dihasilkan adalah variasi harness yang biasa.

Konsekuensinya, Anda tidak dapat mengambil angka 74,3 dari OpenBMB dan mengurangkan angka MathVista tanpa-thinking sebesar 68,5 milik Liquid untuk LFM3-VL-2B untuk mendapatkan kemenangan 5,8 poin. Itu adalah pembacaan yang dapat dipertahankan sebelum 27 Oktober, ketika satu-satunya benchmark bersama antara MiniCPM-V 4.7 1B dan LFM2.5-VL-3B diukur pada dua harness yang berbeda. Sekarang hal itu tidak dapat dipertahankan karena Liquid telah menerbitkan kedua model dalam satu tabel. Gunakan tabel tersebut, dan perlakukan setiap angka di halaman vendor sebagai milik instrumennya sendiri.

Dasi yang diam-diam menuntaskan perdebatan lama

Di dalam tabel yang sama itu terdapat hasil yang tidak diumumkan oleh kedua perusahaan. MiniCPM-V 4.7 1B rata-rata 57,5 pada 62 tolok ukur. LFM2.5-VL-3B rata-rata 57,6.

Halaman produk OpenBMB mengklaim bahwa model 1B melampaui LFM2.5-VL-3B dalam OCR, penalaran diagram, dan pemahaman video. Pada suite Liquid, klaim itu separuh benar dan separuh salah, dan hasil agregatnya imbang sempurna:

• Dokumen, OCR dan grafik — 73.0 untuk MiniCPM-V 4.7 1B vs 71.2 untuk LFM2.5-VL-3B. Klaim didukung, meski tipis.

• Video — 53,7 vs 41,3. Klaim didukung, secara meyakinkan.

• Matematika — 51,8 vs 40,6. Klaim didukung, dan tidak disebutkan dalam klaim asli.

• Visual grounding — 51,1 vs 68,3. Klaim tersebut gagal total.

• Pemahaman GUI — 45.3 vs 66.0. Klaim gagal total.

• Agentic — 16.9 vs 21.1. Klaim gagal.

Jadi model Apache 2.0 1,55B menyamai model 3,1B dari laboratorium dengan pendanaan besar pada rangkaian 62 benchmark bersama, dan melakukannya dengan menang secara meyakinkan di beberapa kategori serta kalah secara meyakinkan di kategori lain. Itu hasil nyata tentang kepadatan kemampuan, dan juga peringatan tentang apa yang disembunyikan oleh rata-rata. Ini membawa perbandingan kembali ke LFM3-VL-2B: model yang mengalahkan keduanya adalah model yang mode penalarannya mengangkat kategori terlemahnya, bukan model yang secara merata lebih baik.

Lisensi, unduhan, dan apa yang benar-benar bisa Anda rilis

Perbedaan lisensi akan menentukan lebih banyak penerapan daripada baris mana pun di atas. Apache 2.0 tidak memerlukan pembicaraan dengan tim hukum. LFM Open License v1.0 membawa ketentuan komersial, dan meskipun lisensi itu cukup terbuka sehingga Liquid merilis setiap model dalam keluarga tersebut di bawahnya, lisensi tersebut bukan izin yang sama.

Adopsi menunjukkan cerita serupa. Di Hugging Face, MiniCPM-V 4.7 1B telah mengumpulkan sekitar 155.000 unduhan dan sedikit lebih dari 400 suka sejak 6 Oktober. LFM3-VL-2B, pada saat penulisan, berada di beberapa ratus unduhan dan 16 suka, setelah publik selama sembilan hari dan diumumkan selama satu hari. Jumlah unduhan adalah sinyal yang bising — pipeline CI dan mirror kuantisasi menggelemungkannya — tetapi selisih tiga orde besaran bukanlah noise. Ini mencerminkan bahwa satu model memiliki sebulan perkakas, tutorial, dan kuantisasi komunitas di belakangnya dan yang lain baru sehari.

Perangkat pendukungnya mengikuti pola yang sama. MiniCPM-V 4.7 1B mencantumkan Transformers, SGLang, vLLM, llama.cpp, Ollama, dan OpenVINO, serta aplikasi native iOS, Android, dan HarmonyOS. LFM3-VL-2B memiliki SGLang saat peluncuran, bobot GGUF tersedia, dan dukungan llama.cpp masih dalam peninjauan — tanpa input video dalam implementasi yang tertunda, menurut kartu modelnya sendiri.

Model mana untuk pekerjaan mana

• Otomasi UI, pembacaan layar, persepsi robotika — LFM3-VL-2B, tanpa ragu, dan mode tanpa berpikir tidak masalah. ScreenSpot-Pro pada 55,5 versus 4,9 bukanlah selisih yang bisa Anda akali lewat rekayasa.

• Penalaran grafik, matematika visual, pertanyaan diagram — MiniCPM-V 4.7 1B jika Anda menjalankannya tanpa penalaran, dan kontes sungguhan jika tidak. Periksa We-Math pada data Anda sendiri; selisih 27,7 poin tanpa berpikir adalah hal yang langsung terlihat di produksi.

• Video panjang — lebih dekat daripada yang tersirat oleh rata-rata kategori. LFM3-VL-2B memimpin kategori Video 61,2 berbanding 53,7, tetapi MiniCPM-V 4.7 1B sebenarnya memenangi Video-MMMU 50,1 berbanding 49,6 bahkan terhadap konfigurasi thinking.

• Apa pun yang harus lolos legal tanpa peninjauan — MiniCPM-V 4.7 1B, hanya dengan Apache 2.0.

• Apa pun yang membutuhkan stack inferensi yang matang saat ini — MiniCPM-V 4.7 1B, setidaknya untuk beberapa minggu ke depan, hingga llama.cpp menggabungkan dukungan LFM3-VL.

Di mana router cocok ketika tidak ada model yang ada di atasnya

Tidak satu pun dari checkpoint ini ada dalam katalog OrcaRouter; keduanya adalah bobot yang Anda unduh, kuantisasi, dan jalankan. Penggunaan menarik dari lapisan routing di sini bukan untuk menyajikan keduanya, melainkan untuk menyusun di sekitarnya. Fusi modelmemungkinkan panel model menjawab pertanyaan yang sama bersama-sama, dan spesialis lokal 1.55B dalam matematika visual yang dipasangkan dengan model terkelola yang lebih kuat pada kategori tempatnya kalah — grounding, pekerjaan agentic — adalah konfigurasi yang mengalahkan salah satu model saja. DSL routing adalah cara Anda menyatakan bagian mana yang menangani pertanyaan mana tanpa menulis ulang aplikasi setiap kali sebuah checkpoint dirilis.

Ringkasan jujurnya adalah bahwa angka utama 13,9 poin itu nyata, diukur pada harness satu laboratorium, dan menyesatkan sebagai keputusan pembelian. LFM3-VL-2B adalah model yang lebih baik untuk layar dan grounding dengan selisih yang tidak didekati oleh apa pun di kelas ukurannya. MiniCPM-V 4.7 1B adalah model yang lebih baik untuk matematika visual tanpa penalaran, hadir dengan lisensi yang tidak perlu dinegosiasikan, dan menyamai model dua kali ukurannya pada suite yang sama. Jawaban yang tepat bergantung pada kalimat mana yang menggambarkan beban kerja Anda — dan rata-rata dari kedua vendor tidak akan memberi tahu Anda hal itu.