Moondream 3 vs MiniCPM-V 4.7: la bolletta di archiviazione MoE che nessuno cita

Sia Moondream 3 Preview che MiniCPM-V 4.7 sono modelli visione-linguaggio mixture-of-experts, ed entrambi vengono pubblicizzati con un piccolo numero di parametri attivi che li fa sembrare adatti a hardware modesto. Moondream 3 Preview attiva 2B dei suoi 9B parametri per token. La variante di punta di MiniCPM-V 4.7, MiniCPM-V 4.7 35B-A3B, attiva circa 3B su 35B. Leggendo queste due frasi, ti aspetteresti che il checkpoint di Moondream sia quello più facile da distribuire. Che lo sia o no dipende interamente da una domanda che nessuno dei due post di lancio affronta in apertura: dove vivono gli esperti dormienti?

Quella domanda è il punto in cui questi due modelli divergono davvero, e la risposta è l'intera ragione d'esistere di MiniCPM-V 4.7 nella forma in cui esiste. Il suo rilascio — MiniCPM-V 4.7 35B-A3B e MiniCPM-V 4.7 1B, di OpenBMB, pubblicato il 6 ottobre 2026 — è costruito attorno all'esecuzione fluida di un MoE da 35B su un telefono senza degradarlo. Moondream 3 Preview, che Moondream ha rilasciato il 18 settembre 2025 e che ora fa parte di Prime Intellect in seguito all'acquisizione dell'ottobre 2026, ha preso la strada opposta: mantenere piccolo il MoE ed eseguirlo su GPU con Photon, il motore di inferenza di Moondream. Nessuna delle due scelte è sbagliata. Sono risposte a vincoli diversi, e il vincolo a cui sei soggetto decide il confronto per te.

I parametri attivi sono un numero di calcolo, non di archiviazione

Questa è l’aritmetica che rende difficile l’MoE su dispositivo, e OpenBMB lo spiega chiaramente nella propria scheda del modello: un modello MoE può avere un numero totale di parametri molto superiore a quelli che attiva per un singolo token, ma i suoi requisiti di archiviazione su dispositivo non si limitano a quei parametri attivi. Token diversi selezionano esperti diversi a livelli diversi, e la memoria del dispositivo spesso non può contenerli tutti.

• Moondream 3 Preview — 9B totali, 2B attivi. 24 livelli, i primi quattro densi, il resto blocchi feed-forward MoE con 64 esperti e 8 attivati per token. Dimensione nascosta 2048, dimensione inner/gate di GeGLU 1024.

• MiniCPM-V 4.7 35B-A3B — 35B in totale, circa 3B attivi. Il primo MoE della serie MiniCPM-V. La variante 1B della stessa release è densa, non MoE, il che è importante più avanti.

• La discrepanza — dividendo gli attivi per il totale, Moondream 3 Preview sembra il modello più leggero con un ampio margine. Dividendo i byte per i byte, è MiniCPM-V 4.7 35B-A3B a portare quattro volte i pesi.

• Perché non risolve nulla — il resident set è ciò che vincola il dispositivo, e il resident set è più vicino al totale rispetto al conteggio degli attivi. Un MoE da 9B non entra nella memoria in cui entra un modello dense da 2B, a prescindere da ciò che attiva il router.

Quindi "2B active" è un'affermazione sul calcolo per token. Non è un'affermazione sulla memoria necessaria, e trattarla come tale è il modo più comune in cui i team dimensionano male un deployment MoE.

OpenBMB ha affrontato direttamente il problema dello storage

Il design di MiniCPM-V 4.7 si interpreta al meglio come tre tecniche mirate esattamente a quel divario. Lookahead Expert Scheduling utilizza la previsione di routing cross-layer per precaricare gli esperti che il livello successivo probabilmente vorrà, e dà priorità a quelli precaricati con successo tra quelli selezionati dal router effettivo — la previsione guida solo il precaricamento e la pianificazione, mentre il calcolo segue ancora il routing originale a livello di token del modello e qualsiasi esperto richiesto che la previsione ha mancato viene caricato e valutato come al solito. La quantizzazione fine a livello di layer riduce l'occupazione di storage e il traffico di memoria dei pesi degli esperti. Il campionamento speculativo DSpark è integrato nel percorso on-device per migliorare l'efficienza di decodifica oltre a entrambi.

Il risultato dichiarato è di oltre 13 token al secondo con circa 3 GB di memoria su un iPhone 17 Pro Max, che OpenBMB descrive come il primo modello MoE open source a funzionare senza problemi sul dispositivo senza compromettere le prestazioni. Il confronto è esplicito e vale la pena notarlo per quello che è: in modalità Instruct, MiniCPM-V 4.7 35B-A3B raggiunge un punteggio complessivo più alto in meno tempo di inferenza rispetto a Qwen3.6 35B-A3B. Si tratta di un'affermazione dichiarata dal fornitore relativa alla stessa classe dimensionale, ed è del tipo più utile perché entrambi i modelli sono misurati sullo stesso harness.

Il resto della storia di deployment è insolitamente ampio. iOS, Android e HarmonyOS sono supportati, con supporto day-0 per le piattaforme di chip di Rockchip, Houmo, Intel, AMD e Arm. L'inferenza gira su SGLang, vLLM, llama.cpp e Ollama; il fine-tuning su SWIFT e LLaMA-Factory. Vengono distribuite quantizzazioni GGUF, BNB, AWQ e GPTQ, oltre a FP8. La variante 1B è ancora una proposta separata — dense, non MoE — e OpenBMB la posiziona come in continuo miglioramento rispetto a MiniCPM-V 4.6 e al contempo sostanzialmente migliore di Qwen3.5 0.8B sia sul punteggio complessivo sia sull'efficienza di inferenza, che è il confronto onesto per un modello sotto 1B.

La risposta di Moondream è stata spostare l'hardware, non i pesi

Moondream non ha cercato di far stare un MoE da 9B su un telefono. Ha mantenuto l'architettura e ha cambiato dove viene eseguito: Photon, il suo motore di inferenza, compila ogni modello in un singolo programma GPU con kernel personalizzati, e viene eseguito localmente su GPU NVIDIA da Ampere in poi e su Mac Apple Silicon, con la stessa API di Moondream Cloud.

Questa è una strategia difendibile e l'annuncio di acquisizione di Prime Intellect spiega perché era attraente: il team di Moondream ha costruito Photon e il compilatore megakernel che vi sta dietro, e l'argomentazione di Prime per l'acquisto dell'azienda è che è il serving, non l'architettura, a decidere l'utilità di un modello. Le cifre di throughput in quel post — più di 60 inferenze Moondream al secondo su una singola H100, risposte in decine di millisecondi, Moondream 3.1 a 34 richieste al secondo — sono di Prime stessa e ora costituiscono materiale di vendita, quindi etichettale di conseguenza. Ma la direzione è inequivocabile: la scommessa di Moondream era che avresti preferito un modello veloce supportato dalla GPU piuttosto che uno delle dimensioni di un telefono.

C'è una seconda differenza, e non è affatto nella scheda del modello. L'endpoint ospitato di Moondream 3 Preview, Moondream Cloud, verrà disattivato il 13 novembre 2026 in seguito all'acquisizione, con rimborso dei crediti acquistati non utilizzati. MiniCPM-V 4.7 non ha alcuna dipendenza di questo tipo, perché non è mai stato principalmente un prodotto ospitato — è un insieme di pesi con annessa un'ampia storia di implementazione on-device. Se la tua valutazione includeva la comodità di chiamare un endpoint, tale comodità sta per scadere da un lato di questo confronto.

Capacità del compito: le due schede sono oneste su cose diverse

Le quattro competenze native di Moondream 3 Preview sono query, caption, point e detect, tutte con output strutturato, e il post di lancio punta su detection e pointing. La competenza query viene eseguita in modalità reasoning per impostazione predefinita, con un flag reasoning=False documentato per le domande semplici, e le tracce di reasoning sono grounded — fanno riferimento a parti specifiche dell'immagine, ed è per questo che Moondream la chiama visual reasoning with grounding anziché reasoning in generale. Il contesto è di 32K token, in aumento rispetto a circa 2K della generazione precedente, con un tokenizer SuperBPE personalizzato; il post di lancio è schietto nel dire che il post-training non sfrutta appieno la finestra lunga e che i 32K completi servono principalmente per il fine-tuning.

La scheda di MiniCPM-V 4.7 punta invece su efficienza e ampiezza: comprensione di singole immagini, immagini multiple e video, con compressione mista 4x/16x dei token visivi che consente di bilanciare il dettaglio visivo rispetto al costo di inferenza per ogni attività, e compressione anticipata intra-ViT derivata da LLaVA-UHD v4 che riduce il calcolo negli strati successivi dell'encoder. Include inoltre un metodo di fine-tuning — Self-Replay Fine-Tuning — volto a estendere a basso costo le capacità di un modello riducendo al contempo la dimenticanza di ciò che già sapeva.

• Rilevamento e puntamento fondati — Moondream 3 Preview: competenze native nell'architettura, coordinate strutturate, tracce di ragionamento fondate. MiniCPM-V 4.7: la comprensione multi-immagine e video sono i punti di forza dichiarati; la scheda non pone l'accento sul rilevamento a vocabolario aperto.

• Video — MiniCPM-V 4.7 supporta l'input video, con un esempio documentato che utilizza 128 frame. La scheda di Moondream 3 Preview documenta le capacità sulle immagini con la cache di codifica delle immagini per le query ripetute sulla stessa immagine.

• Dettaglio controllabile — MiniCPM-V 4.7: un parametro downsample_mode, 16x per impostazione predefinita e 4x per un dettaglio più fine, scelto per ogni chiamata. Moondream 3 Preview: concatenazione dei canali multi-crop nel codificatore visivo, con il post di lancio che osserva che il codificatore può essere messo in difficoltà da caratteri molto piccoli.

• Licenza — MiniCPM-V 4.7: Apache 2.0, entrambe le varianti. Moondream 3 Preview: Business Source License 1.1 con un Additional Use Grant, che consente l'uso commerciale e in produzione e vieta di offrire Moondream ospitato per uso generale. Moondream 3.1 è passato alla Moondream Model License 1.0 con la stessa restrizione fondamentale enunciata in modo più chiaro.

La questione della licenza non è una nota a piè di pagina per questo confronto. Se intendi ospitare il modello per altre persone, Apache 2.0 e i termini source-available di Moondream non sono affatto la stessa posizione di partenza, e questo vale indipendentemente da quale dei due ottenga risultati migliori nei benchmark sul tuo compito.

Il fine-tuning è il punto verso cui puntano entrambe le schede, per ragioni opposte.

Entrambi i fornitori ti dicono che il modello base non è il prodotto, il che è rinfrescante e anche un indizio su dove risiede il valore.

Il post di lancio di Moondream elenca l'addestrabilità come uno dei quattro obiettivi, sulla base del fatto che i compiti di visione reali richiedono specializzazione — interpretare una radiografia, individuare persone in difficoltà in una folla — e che persino gli esseri umani hanno bisogno di formazione per questi compiti. L'azienda ha rilasciato Lens per questo, e il lancio di Moondream 3.1 è andato oltre: i punteggi del benchmark 3.1 pubblicati sono stati prodotti mettendo a punto LoRA specifici per compito sullo split di addestramento proprio di ciascun benchmark tramite Lens, per poi reincorporare quanto appreso nei pesi di base mediante distillazione on-policy, cosicché il checkpoint scaricabile ottenga buoni punteggi senza alcuna messa a punto. Vale la pena leggerlo due volte. È un flusso di lavoro legittimo e una divulgazione insolitamente trasparente, e significa anche che quei numeri non sono valori freddi out-of-the-box — per i compiti in questione, i loro split di addestramento sono stati dati in pasto al modello.

L'equivalente di OpenBMB è il Self-Replay Fine-Tuning, orientato a un problema diverso: aggiungere capacità senza dimenticare quelle esistenti, a basso costo. La sua rivendicazione principale riguarda il mantenimento più che il punteggio di picco.

Se intendi fare fine-tuning su uno dei due modelli, la differenza pratica è la stessa che attraversa tutta questa comparazione. Il percorso di Moondream presuppone una GPU e un servizio in hosting. Quello di MiniCPM-V 4.7 presuppone che tu possa fare fine-tuning sui framework che già usi e poi distribuire sui dispositivi che già prendi di mira, con una strategia di quantizzazione on-device pubblicata che ti accompagna fin lì.

Dove uno strato di routing si guadagna il suo posto

Nessuno dei due modelli qui è servito tramite OrcaRouter — entrambi sono checkpoint open-weight che ospiti tu stesso, e uno dei due perderà il proprio endpoint ospitato il mese prossimo. Questo rende la domanda interessante proprio quella che entrambe le schede eludono: cosa succede alle richieste che il modello che hai scelto gestisce male?

La risposta standard è un secondo modello, e il costo standard di un secondo modello è l'integrazione: un altro SDK, un altro schema di autenticazione, un'altra politica di retry. È il tipo di lavoro che consuma silenziosamente uno sprint e poi diventa manutenzione permanente. La fusione di modelli di OrcaRouter esiste per la versione più ristretta di quel problema — un panel di modelli che rispondono insieme sulle chiamate in cui la risposta di un solo modello non è abbastanza affidabile — e il DSL di routing per quella più ampia, permettendoti di comporre diversi modelli in un'unica chiamata, così un modello locale economico gestisce la maggioranza facile e qualcosa di più grande si occupa del residuo.

Dietro una sola chiave ci sono più di 200 modelli al prezzo di listino del provider, senza alcun ricarico aggiunto, il che significa che un taglio di prezzo del fornitore ti raggiunge lo stesso giorno anziché al ciclo di fatturazione successivo, e il failover tra provider è automatico quando un upstream peggiora. Per un VLM self-hosted il livello di routing si colloca sopra il modello anziché sostituirlo. Questa è la descrizione onesta di dove si colloca in questo confronto, e per un sistema in cui MiniCPM-V 4.7 35B-A3B è sul dispositivo e un modello hosted copre le lacune, è la parte che impedisce ai due di diventare due sistemi.

Quale, deciso dal vincolo che hai effettivamente

Se il modello deve girare sul dispositivo, MiniCPM-V 4.7 35B-A3B è la risposta e non c'è partita. OpenBMB ha costruito l'intera release attorno al problema di archiviazione che impedisce a un MoE da 35B di girare su un telefono — pianificazione degli esperti, quantizzazione per layer, decodifica speculativa — e ha pubblicato il numero che ne deriva: oltre 13 token al secondo in circa 3 GB. Nulla in Moondream 3 Preview affronta quel problema, perché Moondream ha scelto di non averlo.

Se c'è una GPU di mezzo e il compito è il rilevamento grounded, Moondream 3 Preview è lo strumento più specializzato. Il rilevamento e il pointing nativi con coordinate strutturate e tracce di ragionamento grounded ispezionabili sono un prodotto diverso da un modello multimodale generico che legge anche il testo nelle immagini, e se un essere umano rivede l'output, la traccia è la funzionalità.

Se sei indeciso tra i due, non decidere in base alle tabelle di benchmark. Fai passare le tue immagini attraverso entrambi con i tuoi prompt e valuta gli output, perché l'unico dato in questo confronto che sopravvivrà al contatto con il tuo carico di lavoro è quello che produci tu stesso. E controlla la licenza prima del modello, perché Apache 2.0 e una licenza source-available con restrizione sui servizi ospitati sono una decisione del tutto diversa — una delle due può porre fine alla valutazione prima che i numeri di accuratezza contino.

Anche confronti come questo sono il punto in cui emergono le modalità di guasto: gli incidenti AI documentati e i fallimenti degli agenti dietro i modelli di questa classe sono raccolti in l'OrcaRouter AI Incident Archive, dove ogni voce riporta le proprie fonti, la gravità, il grado di confidenza e il flag di contestazione.