MiniCPM-V 4.7 vs LFM3-VL-2B: Il punteggio di benchmark migliore è il sensore sbagliato

Liquid AI ha inserito MiniCPM-V 4.7 1B nella propria tabella comparativa per poi superarlo. In una suite di 62 benchmark eseguita da Liquid, LFM3-VL-2B ottiene una media di 71,4 con il ragionamento abilitato e di 62,1 senza; MiniCPM-V 4.7 1B ha una media di 57,5. Si tratta di un divario di 13,9 punti nella fascia dei modelli piccoli, ed è il numero su cui si fermano la maggior parte dei post di confronto. È anche il numero meno utile ai fini della decisione, perché i due modelli non competono per lo stesso posto. Uno è un modello denso da 1,92 miliardi di parametri, progettato per essere la risposta completa. L'altro è la metà economica di un sistema a due modelli la cui metà costosa è un mixture of experts da 35 miliardi di parametri.

The version of this matchup that matters depends on which MiniCPM-V 4.7 you mean. The 1B is a 1.55-billion-parameter dense model that fits in a 672 MB Q4_K_M file — 641 MiB, which is where the 641 MB on the cards comes from. The 35B-A3B is 35.2 billion stored parameters with roughly 3 billion active per token, and it is not in Liquid's table at all. LFM3-VL-2B sits between them and is, on Liquid's own numbers, a better general vision model than the small MiniCPM and a much weaker one than the large MiniCPM. Everything below is about which of those facts should decide your architecture.

Tre livelli che fingono di essere due modelli

LFM3-VL-2B è un artefatto. È composto da 1,92 miliardi di parametri: una backbone linguistica da 1,73B, un encoder visivo interno da 164M e un proiettore da 25M, con una finestra di contesto di 128K token, video campionato a due fotogrammi al secondo e un unico set di pesi che esegue rilevamento, OCR, grafici e descrizione. Liquid ha annunciato la famiglia LFM3 il 27 ottobre 2026; il repository LFM3-VL-2B è stato pubblicato il 19 ottobre.

MiniCPM-V 4.7 è composto da due artefatti con una torre di visione condivisa. Il modello 1B è un backbone denso qwen3_5_text con 24 strati, un contesto di 262.144 token e tre strati di attenzione lineare per ogni strato di attenzione completa. Il 35B-A3B è un modello sparso con 256 esperti che instrada otto esperti per token, mantiene lo stesso contesto di 262.144 token ed esiste perché OpenBMB voleva un modello di grandi dimensioni in grado di trasmettere in streaming gli esperti dallo storage invece di tenerli in memoria. Entrambi sono Apache-2.0. I pesi sono apparsi il 6 e 7 ottobre 2026, la model card è seguita il 12 ottobre e ModelBest ha pubblicato un comunicato stampa in inglese il 15 ottobre.

Quindi l'inquadratura onesta non è "2B contro 1B". È "un modello che deve fare tutto" contro "una famiglia in cui scegli quanto modello merita ogni domanda". Se la tua pipeline pone una domanda per immagine, la forma LFM3-VL-2B è più semplice e, all'estremo piccolo, più forte. Se la tua pipeline pone diecimila domande economiche e una costosa, la forma MiniCPM è più economica per costruzione.

Cosa dice la tabella di Liquid stessa e quanto costa leggerla

La suite di 62 benchmark è di Liquid, eseguita su vLLM 0.27.1, normalizzata su una scala 0–100, con la modalità di ragionamento abilitata per ogni modello tranne le righe contrassegnate diversamente. Che un fornitore valuti un concorrente è normale e vale la pena leggerlo, ma l'harness è del fornitore, il set di prompt è del fornitore e l'aggregato è del fornitore. Considera le righe come affermazioni.

• MMMU — LFM3-VL-2B 55.7 with thinking and 48.6 without, against 51.0 for MiniCPM-V 4.7 1B in the same column set. OpenBMB's own page reports no MMMU for the 1B, so this row exists only in Liquid's run.

• OCRBench v1 — LFM3-VL-2B 86.3 against 82.1 for MiniCPM-V 4.7 1B inside Liquid's table. OpenBMB reports 86.1 for its own 1B, which is a 4-point spread on the same named benchmark and a fair illustration of what a different harness does to a number.

• MathVista (mini) — 84.2 with thinking and 68.5 without for LFM3-VL-2B, against 71.2 for MiniCPM-V 4.7 1B in the same table. OpenBMB's page says 74.3 for that model.

• CharXiv reasoning — 70.2 for LFM3-VL-2B against 44.5 for MiniCPM-V 4.7 1B. OpenBMB's page claims 48.8 for the same model, so even the direction of the gap is harness-dependent.

• LongVideoBench — 53.4 for MiniCPM-V 4.7 1B on OpenBMB's page. Liquid's table carries no LongVideoBench row at all, so there is nothing to compare it with.

Lo schema è coerente: con il reasoning attivo, il modello dense da 2B è migliore nel ragionamento visivo a più passaggi e nell'interpretazione dei grafici, ed è all'incirca equivalente nell'OCR semplice. Con il reasoning disattivato, il divario si riduce a circa 4,6 punti, il che indica che gran parte del vantaggio si ottiene con i token di test-time anziché con i parametri. Questo conta più per la latenza che per la qualità, e la latenza è l'asse che di solito questo confronto ignora.

Il test indipendente che ribalta la classifica

A fine ottobre, WebBrain ha pubblicato un benchmark di 100 casi basato su screenshot del browser, eseguito interamente offline in Q4_K_M GGUF su due schede RTX 5060 Ti, con un set congelato di screenshot, un prompt di produzione e una rubrica deterministica. MiniCPM-V 4.7 1B ha ottenuto 37 superamenti rigorosi su 100 e un punteggio medio della rubrica del 68,2 per cento a 1,30 secondi per screenshot. LFM3-VLD-2B — una variante affine del modello Liquid, non esattamente il checkpoint LFM3-VL-2B — ha ottenuto 4 superamenti rigorosi e il 44,7 per cento a 2,20 secondi.

L'avvertenza è importante e vale in entrambe le direzioni. Con la regex rigorosa per le intestazioni numerate, MiniCPM ha ottenuto zero passaggi perché ha scritto le intestazioni di sezione come etichette testuali invece che come cifre. Il dato dei 37 passaggi deriva da una ri-valutazione degli stessi output in base al nome della sezione. Si tratta di un vero errore di formattazione e, se il parser a valle si aspetta intestazioni numerate, è motivo di esclusione. Ma il punteggio sul contenuto non è vicino: 68,2 contro 44,7, con il 60 percento della latenza, su un compito — la lettura di un viewport del browser denso — molto più vicino alla produzione rispetto a un benchmark sui grafici.

Questa è l'unica valutazione indipendente che ciascuno dei due modelli ha in questo livello, è un unico harness su un'unica coppia di GPU, e il modello Liquid che ha testato è la variante VLD. Resta comunque più informativa dell'aggregato dei 62 benchmark, perché misura ciò che si fa effettivamente con un piccolo modello visivo: guardare uno schermo e rispondere rapidamente a una domanda fissa.

La licenza è il decisore silenzioso

MiniCPM-V 4.7 è distribuito con licenza Apache-2.0 senza condizioni legate ai ricavi. LFM3-VL-2B è distribuito con la LFM Open License v1.0, che Liquid descrive come gratuita per uso commerciale al di sotto di 10 milioni di dollari di ricavi annuali. Oltre quella soglia, i termini cambiano e occorre leggerli.

Per un progetto hobbistico la differenza è teorica. Per un prodotto, è la prima cosa che un avvocato chiederà, ed è l'unica riga in qualsiasi tabella comparativa che nessun benchmark può annullare. Un modello che è quattro punti migliore nel ragionamento sui grafici e comporta un trigger sui ricavi non è automaticamente la dipendenza migliore. È anche qui che la scelta di Apache-2.0 su entrambe le dimensioni di MiniCPM-V 4.7 ha un effetto maggiore dei numeri dei benchmark: elimina una conversazione.

Cadence: il numero che nessuna delle due tabelle riporta

Il monitor per gatti esp32-eye è l'esempio pubblico più chiaro di come venga effettivamente utilizzato il MiniCPM 1B. Viene eseguito come GGUF Q4_K_M dietro llama-server su un MacBook ed è chiamato al massimo una volta ogni 1,5 secondi, condizionato da un controllo della differenza di sfondo così che la maggior parte dei fotogrammi non lo raggiunga mai. La stessa build ha rilevato che il modello 1B non era affidabile nel distinguere quattro gatti simili e ha spostato l'identificazione al 35B invece di rilasciare una supposizione.

Questo è il profilo di deployment che le tabelle di benchmark non catturano. Un modello che chiami ogni 1,5 secondi deve essere abbastanza piccolo da restare residente, abbastanza veloce perché la risposta arrivi prima del frame successivo e abbastanza permissivo da poterlo distribuire. Il modello 1B soddisfa tutti e tre i requisiti. LFM3-VL-2B occupa 1,25 GB in Q4 e richiede 2,2 secondi per screenshot nel test indipendente: va bene per una pipeline per immagine ed è troppo lento per un gate da 1,5 secondi sullo stesso hardware.

Se vuoi un endpoint ospitato invece di un file locale, oggi nessuno dei due modelli è nel catalogo di OrcaRouter, quindi la risposta onesta è che il modello 1B gira dove lo metti e il 35B gira sull'API di OpenBMB. Quello che un router offre è l'architettura circostante: una chiave per più di 200 modelli, 0% di ricarico sui prezzi di listino dei provider, e failover automatico, che è il modo per mantenere viva una pipeline a due modelli quando la parte costosa è un singolo endpoint esterno. Non trasforma un modello non ospitato in uno ospitato, e vale la pena dirlo chiaramente.

Quale scegliere?

Se stai costruendo una pipeline di immagini a modello singolo e vuoi il generalista più forte della classe 2B sui benchmark pubblicati da entrambi i laboratori, LFM3-VL-2B è la scelta difendibile, con l’avvertenza sulla licenza messa per iscritto. Se stai costruendo un agente che osserva schermi in un ciclo continuo, il test indipendente sul browser mette il MiniCPM 1B davanti sia per punteggio sia per latenza, e la sua disciplina di formattazione è ciò che conviene correggere nel tuo parser anziché nel modello.

Se ti serve un modello in grado di leggere un documento da 262.144 token, guardare un video ed essere all'altezza su MMMU, nessuno dei due modelli piccoli è la risposta: quella è la fascia 35B-A3B, in cui OpenBMB riporta 80,2 su MMMU, 91,2 su OCRBench e 68,9 su LongVideoBench, tutti valori dichiarati dal fornitore e nessuno riprodotto in modo indipendente. La vera decisione non è quale 2B vinca. È se la tua pipeline può permettersi di porre una domanda facile a basso costo e una domanda difficile di rado — e, se può, il design a due modelli costa meno di qualsiasi singolo modello che cerchi di essere valido in entrambi i casi.

Un'ultima calibrazione. Il divario di 13,9 punti che Liquid pubblica è reale sulla suite di Liquid, e il divario di 23,5 punti che WebBrain pubblica è reale sulla suite di WebBrain, e puntano in direzioni opposte perché misurano compiti diversi. Chiunque ne citi uno senza l'altro ti sta vendendo una conclusione. La domanda utile non è quale modello sia migliore; è quante volte al giorno devi chiedere, e quanto sei disposto a pagare per la risposta.