LFM3-Omni-2B vs MiniCPM-V 4.7 1B: Ketika Model yang Lebih Kecil Membaca Lebih Baik

Di atas kertas, ini bukan pertarungan yang adil. LFM3-Omni-2B memiliki 2,17 miliar parameter; MiniCPM-V 4.7 1B dipasarkan sebagai model 1B. Model yang lebih besar seharusnya memenangkan tolok ukur visi. Kenyataannya tidak. MiniCPM mencetak 86,1 pada OCRBench versus 80,6, 69,5 pada MMStar versus 55,67, 56,9 pada MMMU versus 42,44, dan 74,3 pada MathVista versus 62,5. Setiap tolok ukur visi yang dimiliki bersama oleh kedua kartu memihak pada model dengan nama yang lebih kecil, biasanya dengan selisih yang lebar, dan MiniCPM juga membawa jendela konteks delapan kali lipat. Fusion memakan biaya lebih tinggi per panggilan daripada merutekan ke satu model. Biayanya ditagih pada harga daftar penyedia tanpa markup tambahan.

Tiga hal menjelaskan itu, dan tidak satu pun merupakan cacat pada salah satu model. MiniCPM-V 4.7 1B adalah spesialis yang menghabiskan seluruh anggaran parameternya untuk melihat. LFM3-Omni-2B adalah generalis yang menghabiskan anggarannya untuk melihat, mendengar, dan berbicara. Dan angka MiniCPM yang paling penting — 86,1 pada OCRBench — diukur dengan pengaturan token visual 4×, yang mengorbankan komputasi demi detail dengan cara yang tidak bisa dilakukan batas 2.048 token per gambar. Memahami pertukaran itu adalah keseluruhan inti keputusannya.

Mengapa model yang lebih kecil membaca lebih baik

MiniCPM-V 4.7 1B dibangun di sekitar satu gagasan: kompres token visual sejak awal, dan biarkan pengguna memilih seberapa kuat kompresinya. Model ini menerapkan kompresi token 4× atau 16× di dalam encoder visi, sebelum model bahasa melihat apa pun. Pada 16×, model ini murah dan cepat, cocok untuk pembuatan keterangan dan deskripsi pemandangan. Pada 4×, model ini mempertahankan empat kali lebih banyak token, yang dibutuhkan untuk OCR dokumen dan pembacaan grafik yang padat. Angka-angka utama OpenBMB dilaporkan pada pengaturan 4×.

LFM3-Omni-2B mengambil pendekatan yang berlawanan. Model ini memproses gambar pada resolusi asli tetapi membatasi anggaran visual pada 2.048 token per gambar, dan batas tersebut dibagi dengan encoder audio, jalur video, dan decoder ucapan di dalam jaringan dense 2,17B. Plafon 2.048 token adalah pilihan yang wajar untuk model yang harus muat di ponsel bersama tiga modalitas lainnya. Ini adalah batas atas yang ketat atas seberapa banyak detail halaman yang dapat mencapai model bahasa, dan DocVQA 92,47 menunjukkan model ini memeras banyak manfaat darinya — tetapi OCRBench 80,6 menunjukkan itu belum cukup untuk mengalahkan spesialis yang dapat menghabiskan 4× token pada halaman yang sama.

Ada faktor kedua yang lebih senyap. Jendela konteks MiniCPM adalah 262.144 token. LFM3-Omni-2B adalah 32.768. Untuk satu tangkapan layar, keduanya tidak penting. Untuk PDF 40 halaman, video panjang, atau percakapan dokumen multi-giliran, perbedaannya bukan sekadar satu baris benchmark — melainkan apakah tugas itu mungkin dilakukan sama sekali.

Spesifikasi, tanpa pembulatan pemasaran

Satu angka perlu dikoreksi sebelum perbandingan apa pun. MiniCPM-V 4.7 1B disebut model 1B, dan jumlah parameter dense-nya sekitar 1,3 hingga 1,55 miliar tergantung cara menghitung menara visinya. Sidebar Hugging Face membulatkannya menjadi "2B params," dan itulah sebabnya model 1B akhirnya tampak seperti model 2B dalam katalog. Ukuran file adalah panduan yang jujur: sekitar 3,1 GB dalam BF16, dibandingkan 4,3 GB untuk LFM3-Omni-2B.

• Parameter — 2,17B dense untuk LFM3-Omni-2B vs sekitar 1,3B hingga 1,55B dense untuk MiniCPM-V 4.7 1B.

• Input — teks, gambar, video dengan audio, audio 16 kHz vs teks, gambar, multi-gambar, dan video.

• Output — teks dan ucapan 24 kHz vs hanya teks.

• Konteks — 32,768 token vs 262,144 token.

• Token visual — dibatasi hingga 2.048 per gambar vs kompresi 4× atau 16× yang dapat dialihkan di dalam encoder.

• Lisensi — LFM Open License v1.0 vs Apache-2.0.

• Rilis — 27 Oktober 2026 vs 12 Oktober 2026.

• Jejak — sekitar 4,3 GB BF16 vs sekitar 3,1 GB BF16, kira-kira 5 GB VRAM untuk menyajikannya.

Setiap baris yang dimiliki bersama oleh kedua kartu

Perbandingan ini luar biasa rapi untuk sebuah tabel lintas lab, karena kedua vendor melaporkan empat dataset visi yang sama dan keduanya merupakan model non-penalaran yang dievaluasi dalam mode instruct. Namun ini tetap dua evaluasi vendor, dan tidak satu pun telah direproduksi secara independen.

• OCRBench — 80,6 untuk LFM3-Omni-2B (806 dari 1.000) vs 86,1 untuk MiniCPM-V 4.7 1B. Selisih 5,5 poin dalam pengenalan teks dokumen.

• MMStar — 55,67 vs 69,5. Selisih 13,8 poin, yang terbesar dalam set ini.

• Validasi MMMU — 42,44 vs 56,9. Kesenjangan 14,5 poin pada penalaran multimodal tingkat universitas.

• MathVista mini — 62.50 vs 74.3. Kesenjangan 11.8 poin pada matematika visual.

Empat baris, empat kekalahan, selisih antara lima dan lima belas poin. Tidak ada baris di mana model omni menang, yang merupakan hasil lebih bersih daripada yang dihasilkan perbandingan LFM3-versus-LFM2.5 dan lebih sulit dijelaskan. Bacaan yang paling bisa dipertahankan adalah bahwa spesialis 1,4B dengan konteks 256K dan anggaran token 4× hanyalah pembaca yang lebih baik daripada generalis 2,17B dengan konteks 32K dan batas gambar 2.048 token. Kapasitas yang dialokasikan untuk satu modalitas mengalahkan kapasitas yang dibagi ke empat, pada skala ini.

Dua peringatan perlu disebut bersamaan, karena tidak ada kartu yang menyebutkannya secara sukarela. Angka 86,1 milik MiniCPM diukur pada kompresi 4×, dan model yang sama pada pengaturan bawaan 16× akan memperoleh skor lebih rendah dan berjalan lebih murah — kartu tersebut tidak mempublikasikan angka itu. Kartu model OpenBMB sama sekali tidak memuat tabel benchmark; angka-angka itu muncul sebagai prosa dan gambar bagan di halaman produk, yang merupakan bentuk publikasi lebih lemah daripada tabel dengan catatan metodologi. Kedua kumpulan angka tersebut adalah klaim vendor. Arah selisihnya cukup konsisten sehingga kemungkinan bertahan dalam pengujian independen; besaran persisnya kemungkinan tidak.

Konteks adalah baris yang menentukan beban kerja nyata

Konteks 32K cukup luas untuk satu gambar dan terlalu sempit untuk sebuah dokumen. Dengan sekitar 2.048 token visual per gambar, LFM3-Omni-2B dapat menampung sekitar selusin gambar penuh di jendelanya sebelum riwayat percakapan mulai bersaing untuk ruang. 262.144 token milik MiniCPM-V 4.7 1B bukan peningkatan kecil; itu kelas beban kerja yang berbeda. PDF panjang, formulir multi-halaman, ringkasan video berdurasi satu jam, dan loop agen yang menjaga tangkapan layar tetap dalam konteks semuanya layak pada 256K dan semuanya terbatas pada 32K.

Ini adalah perbedaan yang paling jarang dibahas dan paling berdampak antara kedua model. Tabel benchmark memberi imbalan pada akurasi satu gambar; alur dokumen produksi gagal pada halaman keempat belas. Jika kasus penggunaan Anda melibatkan lebih dari beberapa gambar per percakapan, jendela 32K adalah batas yang lebih ketat daripada salah satu dari empat kesenjangan benchmark di atas.

Apa yang tidak bisa dilakukan MiniCPM

Ia tidak dapat mendengar. Tidak ada jalur masukan audio, tidak ada keluaran ucapan, dan tidak ada penanganan audio video. Jika aplikasi tersebut adalah seseorang yang berbicara kepada perangkat tentang apa yang dilihat kamera, MiniCPM-V 4.7 1B adalah salah satu komponen dari pipeline yang memerlukan setidaknya dua model lagi — sistem ASR dan sistem TTS — ditambah logika penghubung untuk memindahkan teks di antara keduanya.

LFM3-Omni-2B meringkas pipeline itu menjadi satu checkpoint 4,3 GB. Skor audionya tidak menonjol dibandingkan model ucapan khusus — ASR bahasa Inggris 6,36 word error rate, VoiceBench 64,73 — tetapi skor itu berada di dalam forward pass yang sama dengan jalur visi, yang berarti model dapat menjawab pertanyaan lisan tentang sebuah gambar tanpa transkrip pernah ditulis. Bagi alat lapangan hands-free atau kios, itulah fiturnya. Bagi pipeline dokumen, itu beban mati dalam anggaran parameter.

OrcaRouter memiliki fusi model, yang merupakan cara lain untuk mendapatkan kedua perilaku tersebut: sebuah panel tempat spesialis dokumen dan model omni menjawab prompt yang sama dan responsnya disusun dari keduanya. Itu adalah kapabilitas produk, bukan klaim tentang dua checkpoint ini — tidak satu pun dari keduanya ada di katalog kami saat ini — tetapi itu adalah jawaban arsitektural untuk adu di mana setiap model jelas lebih baik pada separuh pekerjaan yang berbeda. Fusi membutuhkan biaya lebih tinggi per panggilan daripada perutean ke satu model, dan itu layak justru ketika jawaban yang salah lebih mahal daripada tokennya.

Keputusan

Jika pekerjaannya adalah membaca — OCR, faktur, formulir, bagan, tangkapan layar, PDF panjang, UI yang padat — MiniCPM-V 4.7 1B adalah model yang lebih baik pada setiap ukuran yang dipublikasikan, konteksnya delapan kali lebih besar, lisensinya Apache-2.0 alih-alih lisensi kustom dengan ambang pendapatan, dan ukurannya di disk lebih kecil. Itu bukan perbandingan yang tipis, dan fakta bahwa model ini disebut model 1B seharusnya tidak mengaburkan hal itu.

Jika pekerjaannya adalah percakapan dengan perangkat yang memiliki kamera dan mikrofon, LFM3-Omni-2B adalah satu-satunya dari keduanya yang dapat berpartisipasi. Kemampuannya membaca lebih rendah, menyimpan konteks lebih sedikit, dan dirilis dengan ketentuan yang lebih ketat, tetapi semua itu tidak penting jika alternatifnya membutuhkan tiga model dan sebuah pipeline.

Ada kasus ketiga yang layak disebut: produk yang membutuhkan keduanya, dengan jalur dokumen dan jalur suara sebagai fitur terpisah. Maka arsitektur yang tepat bukanlah satu model melainkan dua, yang dirutekan berdasarkan jenis permintaan — reader untuk dokumen, model omni untuk suara — dan satu-satunya pertanyaan adalah apakah Anda ingin menjalankan keduanya atau membiarkan satu endpoint memutuskan. Itulah pertanyaan yang terus muncul dari kumpulan perbandingan ini, dan itu pertanyaan yang tepat. Model-model tersebut cukup dekat dalam hal footprint sehingga menjalankan keduanya adalah opsi yang nyata; namun cukup jauh berbeda dalam kemampuan sehingga menjalankan hanya satu merupakan kompromi, mana pun yang Anda pilih.

Yang akan mengubah putusan adalah evaluasi independen terhadap salah satu model, dan khususnya evaluasi yang menguji MiniCPM pada kompresi default 16× alih-alih pengaturan 4× yang digunakan oleh angka utamanya. Satu angka itu bisa menutup sebagian besar selisih — atau memperlebarnya. Sampai seseorang menerbitkannya, tabel vendor adalah yang kita punya, dan semuanya mengarah ke satu arah.