NVIDIA Nemotron 3.5 Super VL vs. MiniCPM-V 4.7 35B-A3B: 3 GB in der Tasche gegen 4× H100 im Rack

Eines davon läuft auf einem iPhone. Das andere läuft auf vier H100s. Das ist der ganze Vergleich, und alles andere ist Detail. MiniCPM-V 4.7 35B-A3B ist OpenBMBs erster Mixture-of-Experts-Eintrag in der MiniCPM-V-Reihe, und die Angabe auf der Modellkarte ist konkret genug, um sie zu überprüfen: mehr als 13 Token pro Sekunde auf einem iPhone 17 Pro Max mit ungefähr 3 GB Arbeitsspeicher, wobei der Lauf als flüssig und nicht als Demo beschrieben wird. N​VIDIA N​emotron 3.5 Super VL ist ein Vision-Language-Modell mit insgesamt 120B und 12B aktiven Parametern, dessen Karte den Einsatzrahmen mit 4× H100 oder 2× GB200 angibt. Beide sind offene Gewichte. Beide sind Vision-Language-Modelle. Sie sind keine Optionen für dieselbe Entscheidung.

Was sie dennoch vergleichbar macht, ist, dass sie sich beim Mechanismus einig sind und bei der Größenordnung nicht. Beide sind Mixture-of-Experts-Modelle, die darauf ausgelegt sind, Gesamtgröße gegen Kosten pro Token einzutauschen. Beide komprimieren visuelle Tokens, bevor das Sprachmodell über sie nachdenken muss. Beide wetten darauf, dass die Zukunft der Vision-Language-Arbeit viele Modelle an vielen Orten ist statt eines großen Modells hinter einer einzigen API. Sie haben ihre Wetten lediglich um drei Größenordnungen in der Hardware auseinander verortet.

Die Koinzidenz der aktiven Parameter

NVIDIA Nemotron 3.5 Super VL hat insgesamt 120B Parameter, mit 12B aktiv pro Token – ein Mamba-2-Transformer-Hybrid-MoE mit einem C-RADIO-Vision-Encoder und 512 gerouteten Experten pro MoE-Schicht, der bis zu 1M Token Kontext unterstützt. MiniCPM-V 4.7 35B-A3B hat insgesamt 35B Parameter, mit 3B aktiv. Sie unterscheiden sich um den Faktor vier bei der Gesamtgröße und um den Faktor vier bei der aktiven Rechenleistung, folgen aber demselben architektonischen Instinkt: die Parameteranzahl für Wissen hoch und die Kosten pro Token für Geschwindigkeit niedrig zu halten.

OpenBMBs Beitrag zu diesem Problem ist Lookahead Expert Scheduling, das ein Modell mit 3B aktiven Parametern seine Experten resident halten lässt, ohne den Speicherbus zu überlasten – der Grund, warum es in 3 GB laufen kann, statt eine Workstation zu benötigen. Die Implementierung lebt in einem Fork, llama.cpp-omni, und die damit verbundene Behauptung ist sorgfältig formuliert: das erste Open-Source-MoE-Modell, das auf dem Gerät reibungslos läuft, ohne die Leistung zu beeinträchtigen. Ob „ohne Beeinträchtigung“ gegenüber einem 120B-Modell Bestand hat, wird auf der Karte nicht behandelt, und das sollte sie auch nicht – ein Modell, das auf einem Telefon läuft, konkurriert nicht in puncto Genauigkeit mit einem, das vier H100s benötigt. Es konkurriert darum, überhaupt da zu sein.

• Gesamt- / aktive Parameter — N​emotron 3.5 Super VL: 120B / 12B. MiniCPM-V 4.7 35B-A3B: 35B / 3B.

• Deployment-Ziel — Nemotron 3.5 Super VL: 4× H100 oder 2× GB200, bereitgestellt über vLLM oder SGLang. MiniCPM-V 4.7 35B-A3B: Smartphone, Laptop, Edge-Box — iOS, Android und HarmonyOS werden alle genannt.

• Speicher am unteren Ende – N​emotron 3.5 Super VL: nicht zutreffend. MiniCPM-V 4.7 35B-A3B: etwa 3 GB.

• Kontext — N‍emotron 3.5 Super VL: bis zu 1 Mio. Tokens, Video bis zu zwei Minuten. MiniCPM-V 4.7 35B-A3B: nicht das Verkaufsargument des Modells; die Karte stellt Footprint und Geschwindigkeit in den Vordergrund.

• Lizenz — N​emotron 3.5 Super VL: OpenMDW-1.1. MiniCPM-V 4.7 35B-A3B: Apache-2.0.

Zwei verschiedene Antworten auf „Tokens sind teuer"

Beide Teams griffen dieselbe Engstelle an – die Anzahl der visuellen Token, die ein Bild kostet – und landeten an unterschiedlichen Orten.

MiniCPM-V 4.7 35B-A3B erledigt das im Vision-Encoder, mit früher Kompression abgeleitet von LLaVA-UHD v4, und verwendet dann gemischte 4×- und 16×-Kompression von visuellen Tokens, je nachdem, was das Bild benötigt. Feine Details bekommen den teuren Pfad; ein Kassenbon bekommt den günstigen. Die Kompression erfolgt, bevor das Sprachmodell ins Spiel kommt, was die On-Device-Werte möglich macht.

Nemotron 3.5 Super VL setzt überhaupt nicht auf Token-Kompression als führenden Ansatz. Seine Antwort ist Kontext: 1 Mio. Token, sodass man es sich leisten kann, das Detail zu behalten, statt es wegzuwerfen, sowie eine hybride Mamba-2-Schicht, damit die Kosten einer sehr langen Sequenz nicht explodieren. Der eigene Videopfad des Modells ist standardmäßig großzügig konfiguriert – 2 FPS und 256 Frames, bei 1080p reduziert auf 1 FPS und 128 Frames –, was eine Sampling-Antwort ist, keine Kompressionsantwort.

Das sind unvereinbare Philosophien, und beide sind für ihren Einsatz richtig. Wenn du 3 GB hast, komprimierst du. Wenn du 4× H100 hast, behältst du die Details und zahlst für den Kontext.

Was die Zahlen Ihnen sagen können und was nicht

Hier ist die ehrliche Position zu beiden Seiten.

Die Benchmark-Tabelle von Nemotron 3.5 Super VL ist umfangreich und wurde vom Anbieter über NeMo Gym erhoben: GPQA-Diamond 89,52, SWE-bench Verified 71,10, MMLongBench-Doc 62,82, OCRBench v2 mit 68,12 für Englisch und 59,15 für Chinesisch, CharXiv Reasoning 80,82, V* 85,60. NVIDIA wählte die Baselines aus. Nichts davon wurde unabhängig reproduziert.

Die Modellkarte von MiniCPM-V 4.7 35B-A3B präsentiert ihre Benchmark-Ergebnisse als Herstellerdiagramme statt als numerische Tabelle, sodass es keine Zahl zum Zitieren und keine Baseline-Liste zur Überprüfung gibt. Die stärkste spezifische Aussage in der Modellkarte ist vergleichend und richtungsweisend – eine höhere Gesamtpunktzahl in weniger Inferenzzeit als Qwen3.6 35B-A3B im Instruct-Modus –, was eine Aussage über die Effizienz innerhalb seiner eigenen Gewichtsklasse ist, nicht über die Leistungsfähigkeit gegenüber einem Modell, das zwölfmal so groß ist.

Es gibt also keine Vergleichstabelle dieser beiden anhand von Benchmark-Zahlen, und eine solche lässt sich auch nicht erstellen. Wer eine vorlegt, kombiniert ein Herstellerdiagramm mit einer Herstellertabelle und nennt das Ergebnis eine Messung.

Das Deployment-Detail, das mehr Projekte entscheidet als die Genauigkeit

MiniCPM-V 4.7 35B-A3B wurde mit Day-0-Unterstützung für Silizium von Rockchip, Houmo, Intel, AMD und Arm ausgeliefert, zusammen mit SGLang, vLLM, llama.cpp und Ollama sowie Quantisierung in GGUF, BNB, AWQ, GPTQ und FP8. Es lässt sich außerdem mit SWIFT und LLaMA-Factory für das Fine-Tuning integrieren. Diese Liste ist das eigentliche Produkt. Ein Modell, das auf dem Beschleuniger läuft, den Sie bereits gekauft haben, im Quantisierungsformat, das Ihre Laufzeitumgebung bereits unterstützt, ist ein Modell, das Sie in diesem Quartal ausliefern können.

Die Runtime-Story von Nemotron 3.5 Super VL ist enger und tiefer: vLLM unter vllm/vllm-openai:v0.32.0 und SGLang unter lmsysorg/sglang:v0.5.20, mit EAGLE-Speculative-Decoding bei topk 1 und in die Architektur integrierter Multi-Token Prediction. Zwei Runtimes, beide erstklassig, beide auf die exakte Version festgelegt. Genau das will ein Datacenter-Deployment – einen validierten Pfad, kein Menü.

Wenn du Hardware auswählst, die zum Modell passt, nimm MiniCPM-V 4.7 35B-A3B. Wenn du das Modell auswählst, das zu der Hardware passt, die du bereits hast, nimm N​emotron 3.5 Super VL und halte dich genau an die Versionen auf seiner Karte.

Das Plädoyer dafür, beide zu betreiben

Das Muster, das in echten Produkten auftritt, ist keine Wahl zwischen diesen beiden. Es ist ein kleines VLM auf dem Gerät, das die Arbeit übernimmt, die sofort und lokal erledigt werden muss – ein Formular lesen, eine Szene beschreiben, die Frames herausfiltern, für die sich niemand interessiert –, und ein großes VLM im Rechenzentrum, das die Arbeit übernimmt, die stimmen muss. MiniCPM-V 4.7 35B-A3B ist ausdrücklich für die erste Rolle ausgelegt. N​emotron 3.5 Super VL ist für die zweite ausgelegt.

Diese Architektur hat einen Preis, und der Preis ist, dass Sie jetzt zwei Modell-Stacks und einen Text-Stack betreiben – mit drei Sätzen von Zugangsdaten und drei Sätzen von Fehlermodi. OrcaRouter ist der Teil, der das zweite Problem beseitigt: 207 Modelle hinter einem einzigen Schlüssel zum Listenpreis des Anbieters ohne Aufschlag, sodass eine Preisänderung eines Anbieters noch am selben Tag auf Ihrer Rechnung landet, plus automatisches Failover, wenn ein Upstream an Leistung verliert. Weder N​VIDIA N​emotron 3.5 Super VL noch MiniCPM-V 4.7 35B-A3B steht in diesem Katalog – beide sind offene Gewichte, die Sie selbst hosten, und genau darum entscheidet man sich für eines von beiden. Was ein Schlüssel Ihnen bringt, sind die umgebenden Text- und Codemodelle, damit die Pipeline nicht jedes Mal einen neuen Vertrag braucht, wenn Sie eine Stufe hinzufügen.

Welche, bestimmt dadurch, wo die Pixel liegen.

Nehmen Sie MiniCPM-V 4.7 35B-A3B, wenn die Inferenz dort stattfinden muss, wo die Daten liegen – auf einem Telefon, in einem Fahrzeug, in einer Fabrikhalle, in einer Klinik, in der das Bild das Gebäude nicht verlassen darf – oder wenn Ihre Nutzer offline sind, oder wenn die Kosten pro Aufruf eines gehosteten VLM das sind, was die Unit Economics ruiniert. Seine Lizenz ist Apache-2.0, seine Quantisierungsauswahl ist breit, und seine Liste unterstützter Chips ist bewusst lang.

Nimm N​VIDIA N​emotron 3.5 Super VL, wenn die Arbeit langkontextlastig und reasoningintensiv ist: mehrseitige Dokumente, gemischte Layouts, Diagramme, die interpretiert werden müssen, zwei Minuten lange Videoclips, agentische Tool-Nutzung. Der 1-Million-Token-Kontext und die 12 Mrd. aktiven Parameter sind der Grund für seine Existenz, und kein On-Device-Modell kann sie ersetzen.

Wenn Sie unsicher sind, ist die entscheidende Frage nicht die Genauigkeit. Sie lautet, ob das Bild das Gerät verlassen darf. Diese Antwort bestimmt das Modell, bevor irgendein Benchmark herangezogen wird.

Die Modellkarte von MiniCPM-V 4.7 35B-A3B ist die Quelle für die On-Device-Angaben – die mehr als 13 Token pro Sekunde, der ungefähre Speicherbedarf von 3 GB, die Day-0-Siliziumliste und die Quantisierungsformate – allesamt Ergebnisse, die das Modell selbst gemeldet hat. Lesen Sie die Siliziumliste, bevor Sie sich festlegen, denn „unterstützt“ bedeutet dort, dass ein Runtime-Pfad existiert, nicht dass Ihr konkretes Board gebenchmarkt wurde.

Die Nemotron-Entwicklerseite von NVIDIA ist die Anlaufstelle, auf der die Empfehlungen 4× H100 / 2× GB200 und die Laufzeitversionen veröffentlicht werden, zusammen mit dem Link zum technischen Bericht hinter der Benchmark-Tabelle. Die Versionsnummern auf der Karte sind nicht ohne Grund exakt: vLLM v0.32.0 und SGLang v0.5.20 mit EAGLE topk 1 sind die validierte Kombination, und davon abzuweichen ist der Weg, auf dem aus einem funktionierenden Deployment eine Debugging-Session wird.

Das Entscheidende ist, dass sich das Vision-Language-Feld nicht mehr auf eine einzige Form zubewegt. OpenBMB bringt ein 3B-aktives Modell in Hosentaschen, und N​VIDIA bringt ein 12B-aktives Modell über eine Million Token Kontext hinweg – im selben Monat, unter Lizenzen, die beide kommerzielle Nutzung erlauben. Sich zwischen ihnen zu entscheiden, heißt, sich für ein Deployment zu entscheiden, und das Deployment wird davon bestimmt, wo die Pixel leben.

Benchmarks veralten und Preise bewegen sich; die Fehlerhistorie nicht: Die dokumentierten KI-Vorfälle und Agentenfehler hinter Modellen dieser Klasse sind gesammelt im OrcaRouter AI Incident Archive, wo jeder Eintrag seine eigenen Quellen, seinen Schweregrad, seinen Konfidenzgrad und eine Kennzeichnung als umstritten enthält.