MiniCPM-V 4.7 35B-A3B vs Qwen2.5-Omni: diciannove mesi dopo, uno di loro ti sente ancora

Metti MiniCPM-V 4.7 35B-A3B accanto a Qwen2.5-Omni su una scheda tecnica e il modello più recente vince quasi ogni riga. Ha otto volte il contesto, un'architettura sparsa che attiva un dodicesimo dei suoi parametri per token, e un decennio di strumenti di inferenza che non esistevano quando è uscito il modello più vecchio. Poi arrivi alla riga dell'audio, e MiniCPM-V 4.7 35B-A3B non ha proprio nulla lì. Qwen2.5-Omni, rilasciato alla fine di marzo 2025, riceve audio in ingresso e restituisce in streaming parlato naturale; MiniCPM-V 4.7, i cui pesi sono apparsi in ottobre 2026, riceve testo, immagini e video e restituisce testo. Diciannove mesi di progresso in questa specifica coppia non hanno prodotto un modello omni migliore. Hanno prodotto un modello di visione migliore che non fa la cosa attorno a cui era stato costruito il modello più vecchio.

Quella impostazione non è una critica a nessuno dei due. È l'intera forma del confronto, ed è il motivo per cui un lettore che ha bisogno della voce e un lettore che ha bisogno di leggere mille pagine scansionate dovrebbero uscirne con risposte diverse. Sulle fonti: le cifre di Qwen2.5-Omni sono quelle del fornitore risalenti a marzo 2025, ormai vecchie di diciannove mesi e in parte convalidate da un'ampia distribuzione. Quelle di MiniCPM-V 4.7 35B-A3B sono di OpenBMB, pubblicate su una model card il 12 ottobre 2026 — la sua prima scheda, dieci giorni dopo la prima comparsa dei pesi — e nessuna di esse è stata riprodotta al di fuori del laboratorio.

Che cosa era in realtà il modello precedente

Qwen2.5-Omni è stato il primo modello omni-modale end-to-end di quella linea, e la presentazione del fornitore all'epoca era esplicita: era la risposta al problema dello "zoo di specialisti", in cui trascrizione, visione e voce richiedevano ciascuna un modello separato e un livello di collegamento separato. Il modello da 7B accettava in input testo, immagini, audio e video e rispondeva in testo o con parlato naturale in streaming, con due voci fisse, Chelsie ed Ethan. Rivendicava risultati all'avanguardia sul benchmark di fusione OmniBench, superando Gemini-1.5-Pro, e un punteggio di qualità della generazione vocale di 4,51 che il fornitore descriveva come di livello umano.

L'ingegnerizzazione ha retto perché è stata progettata per il vincolo anziché aggirarlo. Thinker-Talker ha diviso il compito in due: un transformer Thinker ha fuso gli encoder audio e immagini e ha prodotto semantica e testo, mentre un Talker trasmetteva in streaming token vocali dagli stati nascosti del Thinker e condivideva l'intera cronologia conversazionale. RoPE multimodale allineato temporalmente ha interlacciato le posizioni video e audio, così che i due flussi rimanessero sincronizzati, e lo streaming a blocchi ha permesso agli encoder di svolgere il lavoro di percezione mentre il modello linguistico gestiva sequenze lunghe — ed è ciò che ha reso possibili, in assoluto, risposte vocali a bassa latenza.

I limiti erano altrettanto reali, ed erano di memoria più che di contesto. Le tabelle dello stesso fornitore collocano l'inferenza BF16 con FlashAttention-2 a circa 31 GB di memoria GPU per un video di 15 secondi, 42 GB per 30 secondi e 60 GB per un minuto intero, rispetto a una finestra di contesto di 32.768 token. Un minuto di video su un modello 7B, su una delle più grandi GPU singole che si potessero noleggiare, è il numero da tenere a mente — è il numero che tutto ciò che è venuto dopo è stato costruito per distruggere.

Che cosa fa invece il nuovo modello

MiniCPM-V 4.7 35B-A3B va in una direzione del tutto opposta. È il primo MoE di OpenBMB nella serie MiniCPM-V: 256 esperti con 8 attivi per token su 40 layer, una finestra di contesto di 262.144 token e un vocabolario di 248.144 token, che corrispondono a circa 3B parametri attivi su 35,2B totali. La visione passa attraverso un modulo SigLIP2 con compressione anticipata intra-ViT di LLaVA-UHD v4 e una modalità selezionabile di compressione dei token mista 4x/16x — 16x per impostazione predefinita, 4x quando il dettaglio fine vale i token. Gestisce immagini singole, set multi-immagine e video. Risponde in testo.

L'affermazione principale della scheda è che questo è il primo modello MoE open source con inferenza on-device lossless e fluida, ottenuta tramite Lookahead Expert Scheduling, quantizzazione fine-grained layer-wise e campionamento speculativo attraverso le bozze separate DSpark, a una velocità dichiarata di oltre 13 token al secondo su un iPhone 17 Pro Max. Quel numero è dichiarato dal fornitore, non riprodotto e non qualificato — nessun formato di quantizzazione, nessuna build, nessun prompt, nessun metodo di misurazione. La scheda sostiene inoltre un punteggio complessivo in modalità Instruct superiore a Qwen3.6 35B-A3B in meno tempo di inferenza, e tale affermazione è resa all'interno dell'immagine di un grafico anziché in una tabella, quindi non può essere citata come cifra e non dovrebbe essere trattata come tale.

Sette dimensioni, entrambi i lati

• Modalità di input — Qwen2.5-Omni accetta testo, immagini, audio e video; MiniCPM-V 4.7 35B-A3B accetta testo, immagini e video, senza alcun canale audio.

• Output — testo più parlato naturale in streaming con due voci fisse, rispetto al solo testo.

• Contesto — 32.768 token rispetto a 262.144, un aumento di otto volte.

• Parametri — la cifra 7B con cui il fornitore nomina il modello, rispetto a 35.2B totali con 3B attivi sul lato MiniCPM. Il repository stesso elenca 11B parametri per il checkpoint, perché i 7B contano il modello linguistico e non gli encoder di visione e audio che gli stanno accanto — un utile promemoria che "7B" qui è tanto un nome quanto una misura.

• Impronta di memoria — le tabelle dello stesso fornitore mostrano circa 31 GB per un video di 15 secondi e 60 GB per un minuto; MiniCPM-V 4.7 pesa circa 70 GB di pesi BF16 prima di qualsiasi KV cache, motivo per cui le sue build quantizzate e la sua narrativa on-device occupano così tanto spazio nella scheda.

• Licenza — Apache-2.0 su entrambi, che è l'unica riga in cui concordano senza riserve.

• Strumenti di deployment — diciannove mesi di quantizzazioni e strumenti della community per il supporto a SGLang, vLLM, llama.cpp, Ollama e OpenVINO, build GGUF/BNB/AWQ/GPTQ/FP8 e app per iOS, Android e HarmonyOS.

• Valutazione pubblica — una posizione OmniBench di 0,561 risalente a diciannove mesi fa, che è stata ampiamente citata, contro una scheda che non presenta alcuna tabella di valutazione citabile.

Il buco audio è tutta la decisione

Se la tua pipeline ha bisogno che un modello senta qualcosa, questo confronto finisce nel primo paragrafo. Qwen2.5-Omni è l'unico dei due che accetta l'audio, l'unico che parla e l'unico con uno stack vocale consolidato — Thinker-Talker, TMRoPE, streaming a blocchi, due voci fisse — alle spalle. È anche l'unico dei due che qualcuno abbia distribuito su larga scala, e diciannove mesi di quantizzazioni e strumenti della community valgono più di una scheda tecnica quando cerchi di portare un modello in un'applicazione entro questo trimestre.

Ciò che MiniCPM-V 4.7 offre in cambio è una memoria molto più lunga e un profilo di calcolo per token molto più economico per documenti visivi lunghi. Una finestra da 262K e 3B di parametri attivi è uno strumento davvero diverso da una finestra da 32K su un modello denso da 7B — e per un carico di lavoro fatto di migliaia di immagini di pagine, screenshot o lunghe trascrizioni video, la forma del modello più recente è quella giusta. Semplicemente non può essere il modello che risponde al telefono.

Questo è il compromesso, detto chiaramente: portata contro ampiezza. Il modello più vecchio copre più sensi. Quello più nuovo copre più pagine.

Due percorsi probatori molto diversi

Qui l'asimmetria va nel senso opposto, e vale la pena essere precisi al riguardo.

I numeri di Qwen2.5-Omni sono abbastanza vecchi da essere stati in parte convalidati dall'uso. Un modello di diciannove mesi con una posizione in benchmark ampiamente citata, un decennio di quantizzazioni a valle e una vasta base installata non è una quantità provata in alcun senso formale, ma le sue affermazioni hanno avuto molto tempo per essere contraddette e non lo sono state. Le cifre sulla memoria, in particolare, sono state pubblicate come vincoli ingegneristici, non come marketing, e si sono comportate come vincoli ingegneristici.

I numeri di MiniCPM-V 4.7 sono disponibili da due settimane e non hanno ricevuto alcuna verifica esterna. Il modello è arrivato privo di documentazione il 6 ottobre, mentre la scheda, la licenza e la sezione delle dichiarazioni sono arrivate il 12 ottobre. Non c'è ancora né una tabella di valutazione né un report tecnico, e nessuna terza parte ha pubblicato un risultato. L'unico posto in cui si trovano numeri reali pubblicati è il checkpoint draft separato DSpark, le cui cifre di token accettati per passo sono di OpenBMB e che il laboratorio non ha pubblicato per il modello principale.

Quindi la postura corretta sul nuovo modello è: considerare l'architettura come già letta (si trova nel file di configurazione), considerare la distribuzione come reale (i pesi esistono in sei formati) e considerare ogni cifra di prestazione come un'affermazione in attesa di un secondo parere. Quest'ultima parte non è una condizione permanente. È semplicemente a che punto stanno le cose al 13 ottobre.

Eseguire l'uno o l'altro, e a cosa serve il router

Entrambi questi sono file che servi tu stesso. Né MiniCPM-V 4.7 35B-A3B né Qwen2.5-Omni sono nel catalogo ospitato di OrcaRouter, e nulla di quanto detto qui deve essere letto come un'affermazione che li instradiamo — MiniCPM-V 4.7 è un checkpoint vecchio di due settimane che richiederebbe due acceleratori per essere eseguito senza quantizzazione, e Qwen2.5-Omni è un modello open-weight del 2025 la cui casa pratica è un'istanza vLLM che gestisci tu.

È dall'altra parte di quella linea che un router si guadagna il suo posto. La maggior parte dei team che utilizza un modello di visione self-hosted ha comunque bisogno di un modello hosted per i casi che quello locale non riesce a gestire — ragionamento a lungo termine, uso di strumenti, gli input audio che MiniCPM-V 4.7 non accetta. OrcaRouter mette oltre 200 modelli hosted dietro un'unica chiave, applica il prezzo di listino di ogni provider senza alcun ricarico da parte nostra, e passa automaticamente al failover quando un provider subisce un degrado, il che significa che aggiungere quel secondo modello è una modifica di routing e non un secondo contratto. La configurazione hosted più vicina al modello MiniCPM è Qwen3.6 35B A3B — 35B totali, 3B attivi, contesto 262K, input testo-immagine-video — a 0,25 $ per milione di token di input e 1,48 $ per milione di token di output, che è un metro di paragone equo per ciò che il self-hosting ti fa effettivamente risparmiare.

Quale, e quando

Scegli Qwen2.5-Omni se ti serve anche solo l'audio o la voce, se vuoi un modello con diciannove mesi di deployment alle spalle, o se 32K token e un tetto di 60 GB per un minuto di video rientrano nel tuo budget. I suoi limiti sono noti e documentati, il che è un vantaggio quando si è in fase di rilascio.

Prendi MiniCPM-V 4.7 35B-A3B se il tuo problema è il contesto visivo lungo e l'output testuale, se vuoi la licenza permissiva e se sei disposto a essere tra i primi — perché tra i primi è esattamente quello che saresti. Nessuna terza parte lo ha eseguito, l'affermazione sull'esecuzione on-device non è stata riprodotta e i benchmark non esistono. In cambio ottieni un modello documentato, quantizzabile e multi-runtime con una finestra da 262K e una storia di efficienza plausibile, e hai la possibilità di essere tu a scoprire se questa storia regge.

Cosa cambierebbe la risposta: una tabella di benchmark di OpenBMB, oppure una lunghezza di accettazione riprodotta dalla bozza di DSpark — comunque la via più economica per ottenere un numero esterno su questa famiglia. Ciò che non cambierebbe la risposta è più tempo. Diciannove mesi non hanno dato a MiniCPM-V 4.7 la capacità di sentire, e nulla nella roadmap suggerisce che stia arrivando.