LFM3-1.7B vs MiniCPM5-2B: mettiamo alla prova il tabellone 23-a-4 di Liquid

Il 27 ottobre 2026 Liquid AI ha pubblicato una tabella di benchmark di 27 righe che mette LFM3-1.7B contro MiniCPM5-2B. Il modello di Liquid vince 23 di quelle righe. MiniCPM5 ne vince quattro. Il conteggio si è diffuso rapidamente, il che è un problema, perché un numero di vittorie è la cosa meno informativa che si possa estrarre da una tabella in cui un fornitore ha scelto i benchmark, scritto l'harness ed eseguito entrambi i modelli. Questo è un test di ciò che quel 23–4 ti dice davvero — e inizia con un'ammissione: il confronto a cui Liquid sta rispondendo in sordina è stato pubblicato su questo blog un giorno prima, e ha evitato di formulare esattamente questa argomentazione. Quel pezzo confrontava i due checkpoint di base e concludeva che nessuno dei due aveva valutazioni utilizzabili. Ecco la versione con i pesi post-addestrati da entrambe le parti.

MiniCPM5-2B è il modello di ragionamento denso da 2,52 miliardi di parametri di OpenBMB, distribuito all'inizio di settembre 2026 con licenza Apache 2.0. LFM3-1.7B è il modello testuale e per agenti da 1,73 miliardi di parametri di Liquid AI, rilasciato il 27 ottobre 2026 con la LFM Open License v1.0. Appartengono alla stessa fascia di parametri, competono per lo stesso spazio on-device e sono stati costruiti per compiti chiaramente diversi.

Due fornitori, due harness, un'unica tabella

Il conteggio 23–4 esiste solo perché Liquid ha rieseguito il proprio concorrente. È una cosa legittima e insolitamente rigorosa da fare per un lancio: la maggior parte dei fornitori si confronta con un numero pubblico di una classifica e lascia non dichiarati i dettagli del metodo. Ma rieseguire un concorrente sul proprio banco di prova non produce un risultato neutrale, e l’indizio rivelatore sta nelle righe in cui lo stesso benchmark compare sulle schede di entrambi i fornitori.

Prendi BFCL V4. Liquid misura MiniCPM5-2B a 62,65. La scheda di OpenBMB riporta 66,6. Prendi Humanity's Last Exam: Liquid ottiene 8,20 per MiniCPM5, OpenBMB dichiara 8,9. Quei divari sono piccoli — entro quattro punti su una scala 0–100 — e suggeriscono che la differenza tra harness sia modesta sui benchmark standardizzati. Ora prendi SWE-bench Verified, dove OpenBMB riporta 46,4 per MiniCPM5-2B e Liquid riporta 43,40 per LFM3-1.7B. Metti quei due numeri uno accanto all'altro e vince MiniCPM5. Metti la riga di MiniCPM5 di Liquid accanto alla riga di LFM3 di Liquid e vince LFM3. Stesso benchmark, stessi due modelli, risposta opposta, perché i numeri provengono da harness diversi.

Questo è l'intero problema in un solo esempio. Nessuno dei due fornitori ha pubblicato la configurazione dell'harness, la politica di retry o lo scaffolding dei prompt. Finché qualcuno non esegue entrambi i modelli attraverso un unico harness che non controllano, ogni riga inter-fornitore in questo confronto è un lancio di moneta mascherato da misurazione.

Laddove il divario è troppo ampio per essere rumore del cablaggio

Alcune righe non si possono liquidare con una spiegazione. La navigazione web agentica è il caso più chiaro:

• WebArena-Verified — LFM3-1.7B 38.42 contro MiniCPM5-2B 9.11 sull'harness di Liquid.

• AutomationBench — 41,29 vs 4,71.

• RULER 128K — 65,56 vs 37,96.

• BFCL V4 — 71,39 vs 62,65.

Un divario di quattro punti è impalcatura. Un divario di ventinove punti su WebArena-Verified, o di trentasette punti su AutomationBench, non lo è. Sono differenze che riguardano se il modello riesca o meno a tenere insieme un piano multi-step, e coincidono con ciò che ciascun fornitore dice di sé: Liquid ha costruito LFM3 attorno a un mid-training agentico con tracce di chiamate agli strumenti, e la documentazione di OpenBMB stessa segnala MiniCPM5 come debole sui compiti multi-step lunghi e soggetto a ripetizioni. Due descrizioni indipendenti della stessa debolezza, che arrivano da direzioni opposte, sono la prova più forte in tutta questa comparazione.

La riga del contesto lungo merita un'attenzione separata perché è quella che le persone fraintenderanno. RULER 128K a 37,96 per MiniCPM5 è un punteggio di retrieval a 128K, non l'affermazione che il modello si fermi a 128K — MiniCPM5-2B supporta ufficialmente 131.072 token. Significa che a quella lunghezza MiniCPM5 trova meno di ciò che gli chiedi di trovare. LFM3 segna 65,56 alla stessa lunghezza. Se il tuo carico di lavoro è "cerca in un documento lungo e rispondi", quel divario è l'intera decisione.

Le quattro righe in cui vince MiniCPM5 — e perché contano

La tabella di Liquid assegna a MiniCPM5-2B quattro vittorie: τ³-bench a 69,44 contro 68,01, GPQA Diamond a 65,15 contro 63,37, HLE a 8,20 contro 7,17 e AA-Omniscience a 9,13 contro 7,07. Tre delle quattro sono benchmark di conoscenza. I margini sono di uno o due punti, il che rientra nel rumore di fondo della maggior parte delle suite di valutazione.

Ma il pattern è coerente con il design di MiniCPM5. OpenBMB lo ha addestrato come modello di ragionamento con una modalità di pensiero esplicita, su una catena che ha eseguito SFT di deep-thinking su 400 miliardi di token e poi reinforcement learning con insegnanti specialisti prima della distillazione on-policy in un unico checkpoint denso. È una ricetta mirata a ottenere di più dalla conoscenza memorizzata per parametro. L'addestramento di LFM3 è mirato alle chiamate agli strumenti e all'aderenza alle istruzioni. Che GPQA Diamond vada a MiniCPM5 con 1,8 punti non è una sorpresa; è il modo in cui le due filosofie di addestramento emergono proprio dove te lo aspetteresti.

Il confronto di gran lunga più interessante è quello che la tabella di Liquid non può fare. MiniCPM5-2B ha un Artificial Analysis Intelligence Index di 12. LFM3-1.7B, al 28 ottobre 2026, non ha alcuna voce in Artificial Analysis — nessun indice, nessuna velocità misurata in modo indipendente, nessun valore di latenza neutrale. Quindi il modello che perde 23 delle 27 righe è quello con un punto dati indipendente, e il modello che le vince è quello che chiede di essere preso sulla fiducia. Quell'asimmetria dovrebbe pesare più del conteggio delle vittorie.

Le specifiche che si possono davvero confrontare in modo pulito

Dove nessuno dei due fornitori esegue il benchmark dell'altro, i numeri sono noiosi e affidabili:

• Parametri — LFM3-1.7B 1,73B denso vs MiniCPM5-2B 2,52B totale, 1,98B non-embedding.

• Livelli — 24 ibridi (13 a convoluzione, 5 a finestra scorrevole, 6 globali) rispetto a 42 livelli transformer standard con attenzione grouped-query a 16 teste query e 2 teste KV.

• Contesto — 256K vs 131.072.

• KV cache a 128K — 1,6 GB vs 5,6 GB, secondo la misurazione di Liquid di entrambi.

• Ingombro a 4 bit — circa 1 GB contro circa 1,1 GB nelle prove pratiche.

• Vocabolario — 128K vs 130.560.

• Licenza — LFM Open License v1.0, gratuita sotto i 10 milioni di dollari di ricavi, rispetto ad Apache 2.0, senza soglia.

La riga della KV-cache è quella che determina l'hardware. Una differenza di 3,5× alla stessa lunghezza di contesto è la differenza tra un agente a contesto lungo che entra su un telefono e uno che non ci entra. Spiega anche perché LFM3 possa offrire 256K dove MiniCPM5 offre 131K: il mix di layer tri-ibrido costa meno per token di contesto, che è esattamente il motivo per cui è stato costruito.

La differenza di licenza conta più della differenza di memoria per alcuni team. Apache 2.0 non prevede soglie di fatturato, nessun accordo commerciale da negoziare e nessuna ambiguità sulla ridistribuzione. La LFM Open License è gratuita sotto i 10 milioni di dollari di fatturato annuo e richiede un confronto al di sopra di tale soglia. Una startup sotto quella linea ottiene entrambe gratuitamente. Un'azienda che la supera ne ottiene una gratis e l'altra dopo una telefonata, e questo è un costo di approvvigionamento reale a prescindere da quale modello ottenga il punteggio più alto.

Il supporto all'ecosistema è il punto in cui MiniCPM5 è ancora in vantaggio.

Entrambe le famiglie hanno offerto un ampio supporto runtime fin dal primo giorno, quindi questo divario è più ristretto rispetto a un anno fa. LFM3 elenca vLLM, SGLang, Transformers, llama.cpp, MLX, ONNX, Ollama e LM Studio, con build BF16, FP8, NVFP4, GGUF, MLX e ONNX. MiniCPM5-2B elenca gli stessi runtime più GPTQ e DSpark, un modello draft per il decoding speculativo che si abbina al checkpoint principale.

La differenza pratica è la maturità, non la disponibilità. MiniCPM5-2B è scaricabile dall'inizio di settembre, il che significa sette settimane di segnalazioni di bug della comunità, esperimenti di quantizzazione e patch ai framework che LFM3 non ha avuto. Un modello rilasciato ieri avrà imperfezioni nella sua conversione GGUF e nel suo packaging Ollama. Non è una critica a Liquid; è ciò che sembra il primo giorno. Se ti serve il modello in produzione questa settimana, sette settimane di altre persone che hanno incontrato i problemi per prime valgono qualcosa.

Come decidere e dove un router si guadagna il suo posto

Nessuno dei due modelli è nel catalogo OrcaRouter — entrambi sono pesi aperti che esegui tu stesso, e preferiremmo dirlo chiaramente piuttosto che lasciar intendere il contrario. Il router conta al confine. Il modo onesto di condurre questa valutazione è mettere entrambi i modelli dietro un unico endpoint e inviare loro traffico reale, e il modo onesto di eseguire l'uno o l'altro in produzione è non lasciare che un modello 2B sia l'unica cosa in grado di rispondere.

È a questo che servefailover automatico. Instrada una richiesta a LFM3-1.7B, lascia che gestisca la chiamata di strumento o l'estrazione per cui è stato addestrato, e passa a un modello ospitato quando il compito si rivela richiedere più passaggi di quanti un modello da 2B possa sostenerne. Poiché OrcaRouter trasferisce il prezzo di listino del provider con uno 0% di ricarico, il percorso costoso costa solo quanto addebita il provider quando viene effettivamente utilizzato — il risparmio derivante dall'instradamento verso un piccolo modello locale non viene eroso dal router. Il DSL di routing ti consente di esprimerlo come regola anziché come riscrittura: prima lo specialista, il generalista in caso di errore o al raggiungimento di una soglia di confidenza.

La fusione di modelli è l'opzione sottoutilizzata qui. Quando due modelli da 2B non concordano su una classificazione, far rispondere entrambi e riconciliare le risposte è spesso più economico che passare a un modello da 27B, e il tasso di disaccordo è di per sé un segnale utile su quali input siano difficili. Con un modello non verificato su un lato della pipeline, quel tipo di controllo incrociato è più economico che fidarsi di una tabella del fornitore.

Cosa lo risolverebbe

Da qui a trenta giorni, qualcuno dovrebbe pubblicare LFM3-1.7B e MiniCPM5-2B attraverso un unico harness, con la configurazione salvata insieme ai risultati. Se LFM3 si mantiene vicino a 38 su WebArena-Verified e a 65 su RULER 128K, il conteggio 23–4 sarà stato approssimativamente giusto per le ragioni sbagliate, e il divario agentico è reale. Se invece scende verso i numeri di MiniCPM5, allora la tabella di lancio stava misurando lo scaffolding.

Fino ad allora, la posizione difendibile è più ristretta del marketing di entrambi i fornitori. Se il tuo carico di lavoro è a più passaggi, richiede chiamate a strumenti o documenti lunghi, LFM3-1.7B è la scelta migliore e il vantaggio in memoria lo rende l'unico dei due che entra in hardware vincolato con margine. Se il tuo carico di lavoro è recupero di conoscenze, ragionamento a turno singolo, o richiede una licenza inequivocabile e un modello con un punteggio indipendente associato, MiniCPM5-2B è la scelta più sicura e le quattro righe in cui vince puntano esattamente in quella direzione. Il conteggio 23–4 non è tanto sbagliato quanto immeritato — e il numero di modelli in una tabella di lancio non equivale a un risultato.