MiniCPM-V 4.7 vs NVIDIA Nemotron 3.5 Super VL: il dispositivo più economico che riesce davvero a eseguirli entrambi

Entrambi sono modelli visione-linguaggio con pesi aperti, entrambi sono mixture-of-experts ed entrambi comprimono i token visivi prima che il modello linguistico li veda. La scelta tra MiniCPM-V 4.7 35B-A3B e NVIDIA Nemotron 3.5 Super VL non è quindi una scelta di architettura. È una scelta sulla macchina più piccola che sei disposto ad acquistare e su ciò che quella macchina ti offre in pagine all'ora. Valutati così, i due modelli finiscono in conversazioni di approvvigionamento del tutto diverse: uno gira con un download da 21 GB su hardware che probabilmente possiedi già, l'altro richiede quattro H100 in BF16 o una singola H200 in FP4. Questo articolo fa i calcoli che le schede tecniche lasciano a te — livello di memoria per livello di memoria, e pagina per pagina. Lo stack di visione resta sul tuo hardware. L'orchestrazione che lo circonda non deve per forza. Vedi il catalogo ospitato Oltre 200 modelli ospitati con una sola chiave, prezzo di listino trasferito con 0% di ricarico. I malfunzionamenti documentati dell'IA e gli incidenti degli agenti dietro rilasci come questo sono raccolti in the OrcaRouter AI Incident Archive dove ogni voce riporta le proprie fonti, gravità, grado di confidenza e flag di contestazione.

Due scale di quantizzazione, due piani molto diversi

OpenBMB e NVIDIA hanno risolto lo stesso problema — un modello troppo grande per il dispositivo su cui vuoi eseguirlo — in direzioni opposte. MiniCPM-V 4.7 35B-A3B mantiene residente un piccolo set attivo e trasmette in streaming gli esperti dallo storage, quindi distribuisce l'intero pacchetto in ogni dimensione GGUF così puoi scegliere il tuo limite minimo. Nemotron 3.5 Super VL mantiene residente il modello completo e addestra invece un tier a 4 bit (NVFP4) che riduce il requisito di memoria di circa quattro volte senza una penalità di quantizzazione post-hoc.

• MiniCPM-V 4.7 35B-A3B, Q4_K_M — 21,2 GB su disco. Sta in una GPU consumer da 24 GB con un margine ridotto, oppure in un Mac da 32 GB con spazio in abbondanza.

• MiniCPM-V 4.7 35B-A3B, Q8_0 / F16 — 36,9 GB / 69,4 GB. Una scheda da 48 GB o una workstation da 96 GB, a seconda di quanto contesto si desidera insieme ai pesi.

• Nemotron 3.5 Super VL, BF16 — circa 231,8 GiB di pesi distribuiti su 64 shard. La ricetta di serving di NVIDIA stessa prevede tensor-parallel 4 su 4x H100, oppure TP2 su 2x GB200.

• Nemotron 3.5 Super VL, NVFP4 — esegue il deployment su 1x DGX Spark, 1x H200, 2x H100 o 1x GB200, secondo la sua model card.

Quell'ultima riga è il numero che cambia la conversazione sugli acquisti. Un modello da 120B su una singola H200 invece di quattro H100 non è un risparmio marginale; è la differenza tra una prenotazione di cluster e un singolo nodo. E poiché NVIDIA esegue la conversione a 4 bit durante l'addestramento con distillazione consapevole della quantizzazione anziché a posteriori, sostiene che non vi sia alcun overhead di inferenza — un'affermazione che la scheda dichiara ma non suffraga con un delta di accuratezza BF16 rispetto a NVFP4 pubblicato.

Pagine all'ora, che è il numero che decide tutto

La velocità effettiva in token al secondo è un indicatore scarso per il lavoro sui documenti, perché il costo di una pagina è dominato da quanti token visivi emette l'encoder prima che il modello linguistico pronunci una parola. È qui che i due design divergono nel modo più netto, ed è qui che il linguaggio di marketing è meno utile.

MiniCPM-V 4.7 35B-A3B comprime all'interno della torre visiva, usando una tecnica di compressione precoce che OpenBMB attribuisce a LLaVA-UHD v4, con downsampling misto 4x e 16x. Il valore predefinito è 16x; 4x è il percorso dedicato ai dettagli fini, scelto in base all'immagine. Una pagina fitta di testo riceve il percorso economico, un diagramma delle parti riceve quello costoso. La compressione avviene prima che il modello linguistico entri in gioco, ed è proprio questo a rendere un modello da 35B utilizzabile su un telefono.

Nemotron 3.5 Super VL non punta sulla compressione. La sua risposta è il contesto: fino a un milione di token, input video fino a due minuti e uno strato ibrido Mamba-2 per evitare che una sequenza molto lunga diventi quadratica. La sua ricetta video campiona a 2 FPS e 256 frame per impostazione predefinita, scendendo a 1 FPS e 128 frame a 1080p — una politica di campionamento anziché un trucco di compressione, e che puoi aumentare se il carico di lavoro è caratterizzato da movimento denso.

La conseguenza pratica: MiniCPM-V 4.7 offre un costo fisso e basso in token per pagina e ti chiede di accettare la perdita di dettaglio; Nemotron 3.5 Super VL ti consente di conservare il dettaglio e ti chiede di pagare per il contesto. Per la revisione di un contratto di cento pagine, il primo costa meno per pagina e il secondo è migliore nella pagina in cui la clausola si trova in una nota a piè di pagina in corpo 6. Per un video chirurgico di due minuti, solo il secondo è anche solo in gioco.

Una di queste versioni include numeri; l'altra include grafici.

È questa la parte del confronto che nessuna quantità di aritmetica hardware può sistemare, perciò va qui anziché sepolta in una nota a piè di pagina.

La scheda modello di NVIDIA contiene una tabella di benchmark di circa quaranta righe ed è insolitamente schietta: elenca i baseline e diverse righe mostrano il modello che perde. Rispetto a Qwen3.5-122B-A10B, i suoi stessi numeri indicano MMLU-ProX a 76,91 contro 83,2, tau2-bench telecom a 73,19 contro 87,2, OCRBench v2 cinese a 59,15 contro 67,3 e MathVision a 78,16 contro 83,3. Vince su GPQA-Diamond 89,52 contro 86,7, SWE-bench Pro 51,78 contro 44,9 e CritPt 10,86 contro 1,1. Ogni cifra, inclusi i baseline, è stata raccolta tramite l'harness NeMo Gym di NVIDIA — la scheda lo dichiara direttamente e pubblica note di riproducibilità. Eseguita dal fornitore, etichettata con onestà, con le sconfitte lasciate visibili.

La scheda di MiniCPM-V 4.7 contiene cinque grafici di valutazione e nessuna tabella numerica. I confronti sono di tipo direzionale: un punteggio complessivo più alto con un tempo di inferenza inferiore rispetto a Qwen3.6 35B-A3B in modalità Instruct, e guadagni sostanziali rispetto a Qwen3.5 0.8B per la variante 1B. Non c'è alcun punteggio per benchmark da citare, nessun elenco di baseline da esaminare e nessuna ponderazione pubblicata per il punteggio composito rappresentato. Questo non equivale a un modello scadente — l'ingegneria è documentata in config.json e i pesi sono verificabili byte per byte — ma significa che la metà di questo confronto relativa all'accuratezza non può essere costruita. Chiunque presenti una tabella dei punteggi di MiniCPM-V 4.7 messa a confronto con i numeri di Nemotron 3.5 Super VL sta leggendo il grafico di un fornitore come se fosse una misurazione e la tabella dell'altro come se fosse neutrale.

I percorsi a runtime, e quale ti si ritorce contro dopo

La storia di deployment di MiniCPM-V 4.7 è un menu: SGLang, vLLM, llama.cpp e Ollama, un percorso OpenVINO per CPU, GPU e NPU Intel, fine-tuning tramite SWIFT e LLaMA-Factory, quantizzazione in GGUF, BNB, AWQ, GPTQ e FP8, e supporto day-0 dichiarato per i chip Rockchip, Houmo, Intel, AMD e Arm insieme a iOS, Android e HarmonyOS. L'ampiezza è il prodotto. Il costo dell'ampiezza è che nessuno ha convalidato la tua particolare combinazione, e l'attuale percorso upstream di llama.cpp presenta un difetto attivo: le posizioni dei marker delle immagini vengono calcolate in modo errato, quindi le coordinate restituite risultano sistematicamente basse quando chiedi dove si trova qualcosa. Una correzione testata è aperta e non ancora unita al 20 ottobre.

La storia di Nemotron 3.5 Super VL è ristretta e profonda: vLLM a un tag immagine fissato e SGLang a un tag fissato, con Multi-Token Prediction integrata nell'architettura così non serve un drafter separato. La scheda specifica le versioni perché le versioni sono la combinazione convalidata. Allontanarsi da esse è il modo in cui un deployment funzionante diventa una sessione di debug.

Se stai scegliendo l'hardware da adattare al modello, prendi MiniCPM-V 4.7. Se stai scegliendo un modello da adattare all'hardware che hai già, prendi Nemotron 3.5 Super VL e segui esattamente le versioni indicate nella sua scheda.

Dove si colloca un router in un’architettura a due box

Lo schema che si vede in produzione non è una scelta tra questi due. È un modello piccolo sul dispositivo o sulla macchina locale che svolge il lavoro che deve essere istantaneo e privato, e un modello grande che gestisce il lavoro che deve essere corretto. MiniCPM-V 4.7 35B-A3B è progettato per il primo ruolo; Nemotron 3.5 Super VL è progettato per il secondo, con una finestra di un milione di token e 12B parametri attivi per gestire documenti lunghi e cicli agentici.

Eseguire entrambi significa due stack di modelli, due insiemi di modalità di errore e — una volta aggiunto un modello testuale per l'orchestrazione attorno a loro — tre. È qui che OrcaRouter aiuta senza sopravvalutare ciò che è: nessuno dei due checkpoint è nel nostro catalogo, perché entrambi sono pesi aperti che ospiti tu stesso, ma i modelli testuali e di codice che li circondano sì. Una sola chiave per oltre 200 modelli ospitati, prezzo di listino del provider trasferito con markup dello 0% e failover automatico quando un upstream si degrada. Lo stack di visione resta sul tuo hardware; il resto della pipeline smette di aver bisogno di un nuovo contratto ogni volta che aggiungi una fase.

Quanto ti costa avere torto su ciascuno di essi

Acquista la macchina piccola e scopri che avevi bisogno del ragionamento su documenti lunghi, e hai speso qualche migliaio di dollari e una settimana. Acquista quattro H100 e scopri che il carico di lavoro era fatto di ricevute, e hai speso molto di più per capacità che non utilizzi mai. Questa asimmetria è il vero argomento a favore del partire dalla fascia economica e poi salire di livello — ed è il motivo per cui il rilascio on-device merita l'attenzione che sta ricevendo anche se il suo racconto sui benchmark è meno solido.

Il criterio discriminante, se hai entrambi i sistemi disponibili, è dove risiedono i pixel. I frame che non possono uscire dall'edificio vanno al modello che gira al suo interno. I frame che richiedono un milione di token di contesto e un ciclo di ragionamento vanno a quello che è stato costruito per questo, e accetti le versioni bloccate del runtime come prezzo d'ingresso.