MiniCPM-V 4.7 vs. NVIDIA Nemotron 3.5 Super VL: Das günstigste Gerät, auf dem jedes von beiden tatsächlich läuft

Beide sind Vision-Language-Modelle mit offenen Gewichten, beide sind Mixture-of-Experts, und beide komprimieren visuelle Token, bevor das Sprachmodell sie sieht. Die Entscheidung zwischen MiniCPM-V 4.7 35B-A3B und NVIDIA Nemotron 3.5 Super VL ist daher keine Entscheidung über die Architektur. Sie ist eine Entscheidung über die kleinste Maschine, die Sie zu kaufen bereit sind, und darüber, was diese Maschine Ihnen in Seiten pro Stunde liefert. So betrachtet, landen die beiden Modelle in völlig unterschiedlichen Beschaffungsgesprächen: Das eine läuft mit einem 21-GB-Download auf Hardware, die Sie wahrscheinlich bereits besitzen, das andere verlangt vier H100s in BF16 oder eine einzelne H200 in FP4. Dieser Artikel erledigt die Rechenarbeit, die die Datenblätter Ihnen überlassen – Speicherebene für Speicherebene und Seite für Seite. Der Vision-Stack bleibt auf Ihrer Hardware. Die Orchestrierung darum herum muss es nicht. Gehosteten Katalog ansehen Über 200 gehostete Modelle mit einem einzigen Schlüssel, Listenpreis ohne Aufschlag weitergegeben. Die dokumentierten KI-Fehler und Agent-Zwischenfälle hinter Veröffentlichungen wie dieser sind gesammelt in the OrcaRouter AI Incident Archive wobei jeder Eintrag eigene Quellen, Schweregrad, Konfidenzgrad und eine Kennzeichnung als umstritten enthält.

Zwei Quantisierungsleitern, zwei sehr unterschiedliche Ebenen

OpenBMB und NVIDIA haben dasselbe Problem – ein Modell, das zu groß für das Gerät ist, auf dem man es ausführen möchte – in entgegengesetzte Richtungen gelöst. MiniCPM-V 4.7 35B-A3B hält ein kleines aktives Set dauerhaft im Speicher und streamt Experten aus dem Massenspeicher ein, anschließend wird das Ganze in jeder GGUF-Größe ausgeliefert, sodass man seine Untergrenze wählen kann. Nemotron 3.5 Super VL hält das vollständige Modell resident und trainiert stattdessen eine 4-Bit-Stufe (NVFP4), die den Speicherbedarf etwa um das Vierfache senkt, ohne eine nachträgliche Quantisierungsstrafe.

• MiniCPM-V 4.7 35B-A3B, Q4_K_M — 21.2 GB auf der Festplatte. Passt mit knapper Reserve auf eine Consumer-GPU mit 24 GB oder mit reichlich Luft nach oben auf einen Mac mit 32 GB.

• MiniCPM-V 4.7 35B-A3B, Q8_0 / F16 — 36,9 GB / 69,4 GB. Eine 48-GB-Karte oder eine 96-GB-Workstation, je nachdem, wie viel Kontext Sie neben den Gewichten wünschen.

• Nemotron 3.5 Super VL, BF16 — etwa 231,8 GiB Gewichte verteilt auf 64 Shards. NVIDIAs eigenes Serving-Rezept ist Tensor-Parallel 4 auf 4x H100 oder TP2 auf 2x GB200.

• Nemotron 3.5 Super VL, NVFP4 — wird laut seiner Modellkarte auf 1x DGX Spark, 1x H200, 2x H100 oder 1x GB200 bereitgestellt.

Die letzte Zeile ist die Zahl, die das Beschaffungsgespräch verändert. Ein 120B-Modell auf einer H200 statt auf vier H100s ist keine marginale Einsparung; es ist der Unterschied zwischen einer Cluster-Reservierung und einem einzelnen Node. Und weil NVIDIA die 4-Bit-Konvertierung während des Trainings mit quantisierungsbewusster Destillation vornimmt und nicht im Nachhinein, behauptet es keinen Inferenz-Overhead — eine Behauptung, die die Karte aufstellt, aber nicht mit einem veröffentlichten Genauigkeitsdelta BF16 gegenüber NVFP4 belegt.

Seiten pro Stunde, die Zahl, die alles entscheidet

Der Durchsatz in Tokens pro Sekunde ist ein schlechter Maßstab für Dokumentarbeit, weil die Kosten einer Seite davon dominiert werden, wie viele visuelle Tokens der Encoder ausgibt, bevor das Sprachmodell ein Wort sagt. Hier gehen die beiden Designs am schärfsten auseinander, und hier ist die Marketingsprache am wenigsten hilfreich.

MiniCPM-V 4.7 35B-A3B komprimiert innerhalb des Vision-Towers und nutzt dabei eine Frühkompressionstechnik, die OpenBMB LLaVA-UHD v4 zuschreibt, mit gemischtem 4x- und 16x-Downsampling. Standard ist 16x; 4x ist der Pfad für feine Details, der pro Bild gewählt wird. Eine dicht beschriebene Textseite bekommt den günstigen Pfad, ein Explosionsdiagramm den teuren. Die Kompression erfolgt, bevor das Sprachmodell ins Spiel kommt, und genau das macht ein 35B-Modell auf einem Smartphone praktikabel.

Nemotron 3.5 Super VL setzt nicht primär auf Kompression. Seine Antwort ist Kontext: bis zu eine Million Tokens, Videoeingabe bis zu zwei Minuten und eine hybride Mamba-2-Schicht, damit eine sehr lange Sequenz nicht quadratisch wird. Sein Video-Rezept tastet standardmäßig mit 2 FPS und 256 Frames ab und geht bei 1080p auf 1 FPS und 128 Frames herunter – eine Sampling-Richtlinie statt eines Kompressionstricks, und eine, die sich nach oben anpassen lässt, wenn die Arbeitslast dichte Bewegung aufweist.

Die praktische Konsequenz: MiniCPM-V 4.7 bietet feste, niedrige Token-Kosten pro Seite und verlangt, dass Sie den Detailverlust akzeptieren; Nemotron 3.5 Super VL lässt Sie die Details behalten und verlangt, dass Sie für den Kontext bezahlen. Bei der Prüfung eines hundertseitigen Vertrags ist Ersteres pro Seite günstiger, und Letzteres ist auf der Seite besser, auf der die Klausel in einer Fußnote in 6-Punkt-Schrift steht. Bei einem zweiminütigen chirurgischen Video kommt überhaupt nur Letzteres infrage.

Eine dieser Versionen liefert Zahlen; die andere liefert Diagramme.

Dies ist der Teil des Vergleichs, den keine noch so große Hardware-Rechenleistung behebt, deshalb gehört er hierhin und nicht in eine Fußnote verbannt.

Die Modellkarte von NVIDIA enthält eine Benchmark-Tabelle mit rund vierzig Zeilen und ist ungewöhnlich offen: Sie nennt die Baselines, und mehrere Zeilen zeigen das Modell unterlegen. Gegenüber Qwen3.5-122B-A10B setzen ihre eigenen Zahlen MMLU-ProX auf 76,91 gegenüber 83,2, tau2-bench telecom auf 73,19 gegenüber 87,2, OCRBench v2 Chinese auf 59,15 gegenüber 67,3 und MathVision auf 78,16 gegenüber 83,3. Es gewinnt bei GPQA-Diamond mit 89,52 gegenüber 86,7, bei SWE-bench Pro mit 51,78 gegenüber 44,9 und bei CritPt mit 10,86 gegenüber 1,1. Jede Zahl, einschließlich der Baselines, wurde mit NVIDIAs eigenem NeMo-Gym-Harness erhoben – die Karte sagt das direkt und veröffentlicht Hinweise zur Reproduzierbarkeit. Vom Anbieter selbst durchgeführt, ehrlich gekennzeichnet – und die Niederlagen bleiben stehen.

Die Model Card von MiniCPM-V 4.7 enthält fünf Evaluationsdiagramme und keine numerische Tabelle. Die Vergleichsaussagen sind lediglich richtungsweisend: ein höherer Gesamtwert bei geringerer Inferenzzeit als Qwen3.6 35B-A3B im Instruct-Modus und erhebliche Zugewinne gegenüber Qwen3.5 0.8B für die 1B-Variante. Es gibt keinen Benchmark-Einzelwert, den man zitieren könnte, keine Baseline-Liste zur Prüfung und keine veröffentlichte Gewichtung für den zusammengesetzten Wert, der dargestellt wird. Das ist nicht dasselbe wie ein schlechtes Modell – die technische Umsetzung ist in config.json dokumentiert, und die Gewichte lassen sich Byte für Byte prüfen –, aber es bedeutet, dass die Genauigkeitshälfte dieses Vergleichs nicht erstellt werden kann. Wer eine Tabelle mit MiniCPM-V 4.7-Werten gegen Nemotron 3.5 Super VL-Zahlen präsentiert, liest das Diagramm des einen Anbieters, als wäre es eine Messung, und die Tabelle des anderen, als wäre sie neutral.

Die Runtime-Pfade – und welcher dir später zum Verhängnis wird

Die Deployment-Geschichte von MiniCPM-V 4.7 ist ein Menü: SGLang, vLLM, llama.cpp und Ollama, ein OpenVINO-Pfad für Intel-CPU, -GPU und -NPU, Fine-Tuning über SWIFT und LLaMA-Factory, Quantisierung in GGUF, BNB, AWQ, GPTQ und FP8 sowie Day-0-Unterstützung, die für Rockchip-, Houmo-, Intel-, AMD- und Arm-Silizium zusammen mit iOS, Android und HarmonyOS beansprucht wird. Breite ist das Produkt. Der Preis der Breite ist, dass niemand Ihre spezifische Kombination validiert hat, und der aktuelle Upstream-Pfad von llama.cpp hat einen aktiven Defekt: Bildmarkerpositionen werden falsch berechnet, sodass zurückgegebene Koordinaten systematisch zu niedrig liegen, wenn Sie fragen, wo etwas ist. Ein getesteter Fix ist offen und seit dem 20. Oktober ungemergt.

Die Geschichte von Nemotron 3.5 Super VL ist eng und tief: vLLM bei einem festgelegten Image-Tag und SGLang bei einem festgelegten Tag, wobei Multi-Token Prediction in die Architektur integriert ist, sodass kein separater Drafter benötigt wird. Die Model Card gibt die Versionen an, weil die Versionen die validierte Kombination sind. Wenn man davon abweicht, wird aus einem funktionierenden Deployment eine Debugging-Session.

Wenn Sie Hardware auswählen, die zum Modell passt, nehmen Sie MiniCPM-V 4.7. Wenn Sie ein Modell auswählen, das zu Ihrer bereits vorhandenen Hardware passt, nehmen Sie Nemotron 3.5 Super VL und halten Sie sich genau an die Versionen auf dessen Modellkarte.

Wo ein Router in einer Zwei-Box-Architektur hingehört

Das Muster, das in der Produktion auftritt, ist keine Wahl zwischen diesen beiden. Es ist ein kleines Modell auf dem Gerät oder der lokalen Box, das Arbeit erledigt, die sofort und privat sein muss, und ein großes Modell, das Arbeit übernimmt, die korrekt sein muss. MiniCPM-V 4.7 35B-A3B ist für die erste Rolle gebaut; Nemotron 3.5 Super VL für die zweite, mit einem Fenster von einer Million Token und 12B aktiven Parametern, um lange Dokumente und agentische Schleifen zu bewältigen.

Beide zu betreiben bedeutet zwei Modell-Stacks, zwei Gruppen von Fehlermodi und – sobald Sie ein Textmodell für die Orchestrierung darum herum hinzufügen – drei. Hier hilft OrcaRouter, ohne zu übertreiben, was es ist: Keiner der Checkpoints ist in unserem Katalog, denn beide sind offene Gewichte, die Sie selbst hosten, aber die Text- und Codemodelle, die sie umgeben, sind es. Ein Schlüssel für mehr als 200 gehostete Modelle, der Listenpreis des Anbieters ohne Aufschlag weitergegeben und automatisches Failover, wenn ein Upstream-Dienst beeinträchtigt ist. Der Vision-Stack bleibt auf Ihrer Hardware; der Rest der Pipeline braucht nicht jedes Mal einen neuen Vertrag, wenn Sie eine weitere Stufe hinzufügen.

Was es dich kostet, bei jedem Einzelnen falsch zu liegen

Kaufen Sie die kleine Box und stellen Sie fest, dass Sie Reasoning über lange Dokumente gebraucht hätten, und Sie haben ein paar tausend Dollar und eine Woche ausgegeben. Kaufen Sie vier H100s und stellen Sie fest, dass die Workload aus Belegen bestand, und Sie haben deutlich mehr für Fähigkeiten ausgegeben, die Sie nie abrufen. Diese Asymmetrie ist das eigentliche Argument dafür, mit der günstigen Stufe zu beginnen und hochzuskalieren – und deshalb verdient die On-Device-Veröffentlichung die Aufmerksamkeit, die sie bekommt, auch wenn ihre Benchmark-Geschichte dünner ist.

Das Zünglein an der Waage ist, wenn Sie beide Boxen zur Verfügung haben, wo die Pixel liegen. Frames, die das Gebäude nicht verlassen können, gehen an das Modell, das darin läuft. Frames, die eine Million Tokens Kontext und eine Reasoning-Schleife brauchen, gehen an dasjenige, das dafür gebaut wurde, und Sie akzeptieren die gepinnten Runtime-Versionen als Eintrittspreis.