MiniCPM-V 4.7 1B vs LFM2.5-VL 3B: OpenBMB Mengklaim Model 1B-nya Mengalahkan Model 3B. Inilah yang Disembunyikan Klaim Itu

MiniCPM-V 4.7 1B dan LFM2.5-VL 3B keduanya merupakan model visi-bahasa berbobot terbuka yang dibuat untuk ponsel dan komputer kecil, dan tanggal keduanya terpaut kurang dari tiga minggu. MiniCPM-V 4.7 1B diunggah oleh OpenBMB pada 6 Oktober 2026 dan tertanggal 12 Oktober dalam catatan rilis vendor. LFM2.5-VL 3B diterbitkan oleh Liquid AI pada 11 Agustus 2026. Satu model memiliki 1,55 miliar parameter dan Apache 2.0. Model lainnya memiliki 3,12 miliar parameter di bawah LFM Open License v1.0. Dan halaman produk OpenBMB sendiri membuat klaim yang seharusnya menghentikan siapa pun yang memilih hanya berdasarkan ukuran: bahwa model 1B miliknya melampaui LFM2.5-VL 3B pada OCR, penalaran bagan, dan pemahaman video. Kegagalan AI dan insiden agen yang terdokumentasi di balik rilis seperti ini dikumpulkan di the OrcaRouter AI Incident Archive di mana setiap entri membawa sumbernya sendiri, tingkat keparahan, tingkat keyakinan, dan penanda perselisihan.

Kalimat itu memikul banyak beban. Kalimat itu juga, sejauh yang bisa diperiksa siapa pun, tidak dibantah oleh angka-angka — dan itu lebih menarik daripada seandainya angka-angka membantahnya. Tulisan ini menelusuri apa yang sebenarnya diterbitkan setiap vendor, di mana perbandingannya nyata, dan dua tempat di mana klaim itu diam-diam mengalihkan topik.

Klaim tersebut, dalam kata-kata vendor sendiri

Halaman 1B OpenBMB menyatakan bahwa model tersebut "merupakan peningkatan menyeluruh dibandingkan MiniCPM-V 4.6-1.3B dan melampaui Qwen3.5-0.8B serta LFM2.5-VL-3B, tetap unggul di kelas ukurannya dalam OCR, penalaran bagan, dan pemahaman video." Klausa yang penting adalah "tetap unggul di kelas ukurannya." Perbandingan dengan LFM2.5-VL 3B diajukan sebagai bukti kepadatan kemampuan; kalimat berikutnya membatasi klaim itu pada kelas ukuran yang tidak dihuni LFM.

Kartu Liquid AI tidak membalas budi. Kartu itu sama sekali tidak menyebut MiniCPM, dan membandingkan modelnya dengan Gemma4 E2B dan E4B, InternVL 3.5 2B dan 4B, serta Qwen3.5-2B dan 4B. Jadi ini perbandingan sepihak: satu vendor mengukur dirinya terhadap pihak lain, dan pihak lain itu tidak pernah mengakui perbandingan tersebut. Asimetri itu adalah hal pertama yang perlu diketahui sebelum membaca perbandingan langsung apa pun, termasuk yang ini.

Apa yang dinyatakan setiap vendor secara resmi

Liquid AI menerbitkan tabel numerik. LFM2.5-VL-3B melaporkan MathVista 68,5, MMMU Pro 30,5, ChartQA 81,3, dan OCRBenchv2 47,5 (subset khusus bahasa Inggris), bersama dengan skor model saudaranya pada baris yang sama. Itu adalah angka dari vendor, dijalankan oleh vendor, dan tidak ada pihak independen yang harus menyetujuinya — tetapi angka-angka itu dapat difalsifikasi, dan itulah yang membuatnya berguna. Jika Anda mereproduksi 55 pada MathVista, Anda tahu ada sesuatu dalam pengaturan Anda yang berbeda.

OpenBMB menerbitkan ringkasan numerik dalam bentuk prosa dan bagan lengkap di bawahnya. Untuk model 1B, halaman tersebut menyatakan OCRBench 86,1, MathVista 74,3, CharXiv Reasoning 48,8, LongVideoBench 53,4, dan MotionBench 54,55, serta menyajikan sisa perbandingan sebagai gambar dengan kolom 4× dan 16×. Kartu model itu sendiri sama sekali tidak memuat tabel benchmark.

Bandingkan keduanya pada satu benchmark yang keduanya sebutkan. MathVista: MiniCPM-V 4.7 1B pada 74,3, LFM2.5-VL 3B pada 68,5. Yang 1B unggul 5,8 poin berdasarkan pelaporan vendor sendiri. Pada OCR, keduanya menggunakan instrumen berbeda — OCRBench versus subset bahasa Inggris OCRBenchv2 — dan angkanya tidak dapat dibandingkan, yang justru merupakan jenis detail yang dilewatkan oleh kalimat "melampaui".

Jika perbandingannya benar-benar setara

• Parameter — 1,55B dense, BF16, 3,1 GB di disk vs 3,12B dense, BF16; LFM kira-kira dua kali ukuran model tersebut

• Encoder visi — menara bergaya SigLIP2, 27 lapisan, 1152 hidden, ubin 980 piksel vs SigLIP2 NaFlex 400M, patch 512×512 tidak tumpang tindih ditambah thumbnail yang diubah ukurannya

• Tulang punggung teks — konfigurasi turunan Qwen3.5 dengan 24 lapisan, 1024 hidden, pola atensi linear-ke-penuh 3:1 vs LFM2.5-2.6B, arsitektur hibrida rancangan Liquid AI sendiri

• Konteks — 262.144 token vs 32.768 token

• Anggaran token visual — kompresi 4× atau 16× yang dapat dialihkan per permintaan vs anggaran patch NaFlex tetap yang ditetapkan berdasarkan resolusi

• Lisensi — Apache 2.0 vs LFM Open License v1.0, yang membawa ketentuan komersial alih-alih sifat permisif biasa

• Bahasa yang disebutkan — Inggris dan Tionghoa dalam contoh kartu vs 16 bahasa yang tercantum secara eksplisit (Arab hingga Vietnam)

• Evaluasi yang diterbitkan — lima angka dalam bentuk prosa plus perbandingan hanya-bagan dengan tabel numerik pada empat tolok ukur dan enam model sekelas

• Evaluasi independen — tidak ada entri Artificial Analysis untuk keduanya per saat penulisan ini vs tidak ada entri Artificial Analysis juga

• Kecepatan yang dilaporkan vendor — tidak ada angka token per detik untuk 1B pada perangkat mana pun vs 228 tok/s pada Apple M5 Max, 116 tok/s pada AMD Ryzen AI Max+ 395, 20 tok/s pada Galaxy S26 Ultra

• Memori — sekitar 3,1 GB BF16; Q4 GGUF 0,67 GB plus proyektor visi 0,90–1,11 GB dibandingkan di bawah 3,3 GB sebagaimana dipublikasikan, dengan build GGUF, ONNX, dan MLX yang ditawarkan

• Jalur penyajian yang disebutkan — Transformers, SGLang, vLLM, llama.cpp, Ollama, OpenVINO, decoding spekulatif DSpark vs Transformers, vLLM, SGLang, llama.cpp, serta ekspor GGUF, ONNX, dan MLX

• Kisah on-device — aplikasi iOS, Android, HarmonyOS dan dukungan day-0 Rockchip, Houmo, Intel, AMD, dan Arm, didemonstrasikan pada angka decode iPhone 17 Pro Max vs Galaxy S26 Ultra serta build MLX untuk Apple Silicon

Dua baris perlu ditinjau ulang. Jendela konteks adalah perbedaan delapan kali lipat yang menguntungkan MiniCPM, dan itu adalah jenis angka yang tampak menentukan sampai Anda ingat bahwa model 1B yang menampung 262k token memegang cache KV yang lebih besar daripada bobotnya sendiri. Dalam praktiknya, di ponsel, tidak ada model yang akan berjalan mendekati batas maksimalnya. Dan baris lisensi adalah yang lebih sering menentukan adopsi komersial daripada tolok ukur apa pun: Apache 2.0 tidak memerlukan percakapan dengan pengacara, sedangkan LFM Open License memerlukannya.

Bagian yang menjadi pokok perubahan subjek dalam klaim

OpenBMB membandingkan modelnya dengan pesaing yang ukurannya dua kali lipat, pada benchmark yang dipilihnya sendiri, dan melaporkan hasilnya dalam bentuk prosa. Itu bukan tidak jujur — angkanya dipublikasikan dan perbandingannya dinyatakan. Namun, itu menjawab pertanyaan yang sebenarnya tidak ditanyakan oleh orang yang men-deploy model. Tidak ada yang memilih antara 1B dan 3B karena ingin model yang lebih kecil lebih baik. Mereka memilih karena yang satu cocok untuk perangkat mereka dan yang lain tidak, atau karena yang satu memiliki cakupan bahasa yang mereka butuhkan, atau karena lisensi yang satu lolos tinjauan hukum.

Mengenai poin pertama itu, pembacaan yang jujur adalah bahwa keduanya cocok. Kartu LFM2.5-VL-3B mengklaim di bawah 3,3 GB dan menunjukkan 20 token per detik pada Galaxy S26 Ultra. MiniCPM-V 4.7 1B pada Q4 dengan proyektornya berada di sekitar 1,8 GB. Jadi keunggulan sesungguhnya dari 1B bukanlah "ia berjalan di ponsel dan yang lain tidak" — melainkan ruang cadangan: sekitar satu setengah gigabyte lebih sedikit memori, yang pada perangkat Android kelas menengah adalah perbedaan antara aplikasi yang bertahan dan aplikasi yang dimatikan oleh sistem.

Pada poin kedua, perbandingannya terbalik. LFM2.5-VL-3B mencantumkan 16 bahasa di kartunya dan menyediakan build ONNX serta MLX bersama GGUF. Dokumentasi MiniCPM-V 4.7 1B berorientasi pada contoh berbahasa Inggris dan Mandarin, dan narasi perangkatnya berorientasi pada dukungan chip iOS, Android, dan HarmonyOS, bukan pada cakupan bahasa. Jika produk Anda dirilis dalam bahasa Turki, Polandia, atau Vietnam, model yang lebih besar dengan lisensi yang lebih ketat itulah yang memiliki klaim terpublikasi untuk mendukung Anda.

Pada poin ketiga, Apache 2.0 menang telak dan tidak banyak yang perlu dibahas.

Dalam hal apa masing-masing benar-benar lebih baik

LFM2.5-VL-3B dibangun untuk serangkaian pekerjaan tertentu, dan kartunya menyatakan hal itu: pekerjaan satu giliran, throughput tinggi, dan latensi rendah seperti deteksi objek hampir real-time dalam pengaturan otomotif, OCR batch dokumen hasil pindai dengan anotasi tata letak, serta penerjemahan menu dan rambu jalan di perangkat. Kartu itu juga menyebutkan untuk apa model ini tidakdirancang — tugas berkonteks panjang dan intensif penalaran, desain web visual, pertanyaan teknis tentang cetak biru. Panduan negatif semacam itu jarang ada dan lebih layak dipercaya daripada klaim positifnya.

MiniCPM-V 4.7 1B dibangun dengan fokus pada kepadatan kapabilitas di ujung bawah rentang ukuran. Kompresi token campuran 4×/16× adalah ekspresi paling jelas dari itu: checkpoint yang sama dapat melayani pembacaan dokumen terperinci dan pemrosesan thumbnail yang murah, dipilih per permintaan. Kontrol pemotongan (36 slice untuk gambar, 1 untuk video), parameter pengambilan sampel frame untuk video, serta entri cookbook parsing PDF dan grounding yang terpisah semuanya mengarah pada beban kerja dokumen dan layar, bukan beban kerja deteksi. Model ini juga menyertakan head speculative-decoding DSpark sebagai artefak 213M parameter terpisah, yang merupakan pengungkit throughput nyata jika runtime Anda mendukungnya dan menjadi beban mati jika tidak.

Pembagian praktisnya: jika Anda mendeteksi objek dalam feed kamera atau menerjemahkan papan tanda pada 20 frame per detik, angka latensi dan cakupan bahasa LFM adalah argumennya. Jika Anda mengubah tangkapan layar, struk, dan gambar halaman menjadi teks terstruktur dengan anggaran token yang Anda kendalikan, sakelar kompresi MiniCPM adalah argumennya.

Kesenjangan yang harus diperhitungkan oleh pembeli

LFM2.5-VL-3B telah tersedia sejak 11 Agustus 2026 — sepuluh minggu pada saat penulisan — yang dalam ukuran open-weight sudah cukup lama bagi ekosistem kuantisasi untuk mapan. Build GGUF, ONNX, dan MLX dikirim langsung dari vendor itu sendiri. Runtime apa pun yang kemungkinan Anda gunakan sudah memiliki jalur yang berfungsi.

MiniCPM-V 4.7 1B baru berusia tiga minggu, dan kartunya dibuka dengan peringatan tentang ketidakcocokan versi CUDA yang merusak dekode video melalui torchcodec, dengan dua solusi sementara yang didokumentasikan. Arsitekturnya baru — sebuah model_type yang belum ada sebulan lalu — dan versi minimum Transformers adalah 5.18.0. Semua itu bukan cacat. Itu adalah pajak standar dalam mengadopsi model pada bulan pertamanya, dan alasan sebuah rilis senyap dengan evaluasi berbasis bagan menjadi kandidat yang baik untuk uji berdampingan dan kandidat yang dipertanyakan untuk jalur produksi pada minggu pertama.

Cara murah untuk menjalankan pengujian itu adalah dengan tetap melayani model yang sudah ada sambil Anda mengevaluasi pendatang baru, yang merupakan masalah perutean, bukan masalah pemodelan. OrcaRouter menjalankan lebih dari 200 model yang dihosting di balik satu endpoint yang kompatibel dengan OpenAI dengan markup 0%, meneruskan harga daftar setiap penyedia tanpa perubahan, sehingga pemotongan harga dari vendor muncul di tagihan Anda pada hari yang sama, bukan setelah siklus penetapan harga ulang. DSL peruteannya dapat menampung model primer dan fallback dalam satu panggilan, dan failover otomatis menjaga jalur tetap hidup saat penyedia mengalami gangguan — yang Anda inginkan ketika model yang sedang diuji adalah checkpoint lokal 1B dan model di produksi adalah sesuatu yang Anda bayar. Tidak ada satu pun model dalam artikel ini yang ada di katalog tersebut: keduanya adalah checkpoint yang Anda jalankan sendiri, dan router berada di sekitarnya, bukan menawarkan cara untuk memanggilnya.

Klaim, sudah diselesaikan

Apakah MiniCPM-V 4.7 1B mengalahkan LFM2.5-VL 3B? Pada MathVista, dengan selisih 5,8 poin sebagaimana dilaporkan kedua vendor. Pada OCR, keduanya menerbitkan instrumen yang berbeda dan perbandingannya tidak dapat dilakukan. Pada penalaran diagram dan pemahaman video, OpenBMB menyatakan kemenangan dan menerbitkannya sebagai diagram, dan Liquid AI belum pernah menanggapi. Satu perbandingan yang sepenuhnya dapat diperiksa mendukung klaim tersebut; yang lainnya adalah vendor yang menilai pekerjaan rumahnya sendiri dalam format yang sulit dikutip.

Yang tidak bisa dipertahankan dari klaim itu adalah pembacaannya sebagai "model yang lebih kecil simply lebih baik." LFM2.5-VL-3B menawarkan enam belas bahasa, build ONNX dan MLX yang diekspor, angka kecepatan yang terdokumentasi pada ponsel Android yang sudah dipasarkan, dan kartu yang memberi tahu Anda di mana model ini tidak sebaiknya digunakan. MiniCPM-V 4.7 1B menawarkan anggaran token yang dapat dialihkan, jendela konteks 262k, Apache 2.0, dan sekitar 1,8 GB memori terkuantisasi. Itu adalah produk-produk berbeda yang dibungkus dalam baris benchmark yang sama, dan jawaban yang tepat bergantung pada daftar mana yang cocok dengan deployment Anda — bukan pada angka mana yang lebih besar.

Uji keduanya pada gambar Anda sendiri dengan kuantisasi Anda sendiri. Bobotnya gratis dan satu-satunya biaya adalah waktu sore Anda.