NVIDIA Nemotron 3.5 Super VL vs MiniCPM-V 4.7 35B-A3B: 3 GB w kieszeni kontra 4× H100 w szafie rackowej

One of these runs on an iPhone. The other runs on four H100s. That is the whole comparison, and everything else is detail. MiniCPM-V 4.7 35B-A3B is OpenBMB's first Mixture-of-Experts entry in the MiniCPM-V line, and the model card's claim is specific enough to check: more than 13 tokens per second on an iPhone 17 Pro Max using roughly 3 GB of memory, with the run described as smooth rather than as a demo. N​VIDIA N​emotron 3.5 Super VL is a 120B-total, 12B-active vision-language model whose card puts the deployment envelope at 4× H100 or 2× GB200. Both are open weights. Both are vision-language models. They are not options for the same decision.

Co sprawia, że w ogóle warto je porównywać, to fakt, że zgadzają się co do mechanizmu, a różnią się co do skali. Oba są modelami Mixture-of-Experts zbudowanymi tak, by wymieniać całkowity rozmiar na koszt przypadający na token. Oba kompresują tokeny wizualne, zanim model językowy musi o nich pomyśleć. Oba obstawiają, że przyszłością prac nad modelami wizyjno-językowymi jest wiele modeli w wielu miejscach, a nie jeden duży model za pojedynczym API. Po prostu postawiły swoje zakłady w odległości trzech rzędów wielkości od siebie, jeśli chodzi o sprzęt.

Koincydencja aktywnego parametru

N​VIDIA N​emotron 3.5 Super VL is 120B total with 12B active per token — a Mamba-2–Transformer hybrid MoE with a C-RADIO vision encoder and 512 routed experts per MoE layer, holding up to 1M tokens of context. MiniCPM-V 4.7 35B-A3B is 35B total with 3B active. Different by a factor of four in total size and four in active compute, but the same architectural instinct: keep the parameter count high for knowledge and the per-token cost low for speed.

Wkład OpenBMB w rozwiązanie tego problemu to Lookahead Expert Scheduling, który pozwala modelowi z 3 mld aktywnych parametrów utrzymać swoich ekspertów w pamięci bez zapychania szyny pamięci — dzięki temu może działać w 3 GB, a nie wymagać stacji roboczej. Implementacja znajduje się w forku llama.cpp-omni, a związane z nią twierdzenie jest ostrożne: pierwszy otwartoźródłowy model MoE, który działa płynnie na urządzeniu bez kompromisów w wydajności. To, czy „bez kompromisów” utrzymuje się w porównaniu z modelem 120B, nie jest kwestią, którą karta adresuje — i nie powinna być; model, który działa na telefonie, nie konkuruje pod względem dokładności z modelem wymagającym czterech H100. Konkuruje tym, że w ogóle istnieje.

• Total / active parameters — N​emotron 3.5 Super VL: 120B / 12B. MiniCPM-V 4.7 35B-A3B: 35B / 3B.

• Deployment target — N​emotron 3.5 Super VL: 4× H100 or 2× GB200, served via vLLM or SGLang. MiniCPM-V 4.7 35B-A3B: phone, laptop, edge box — iOS, Android and HarmonyOS are all named.

• Memory at the smallest end — N​emotron 3.5 Super VL: not applicable. MiniCPM-V 4.7 35B-A3B: about 3 GB.

• Context — N​emotron 3.5 Super VL: up to 1M tokens, video up to two minutes. MiniCPM-V 4.7 35B-A3B: not the model's selling point; the card leads on footprint and speed.

• Licence — N​emotron 3.5 Super VL: OpenMDW-1.1. MiniCPM-V 4.7 35B-A3B: Apache-2.0.

Dwie różne odpowiedzi na „tokeny są drogie”

Oba zespoły zaatakowały to samo wąskie gardło — ile tokenów wizualnych kosztuje obraz — i dotarły do różnych miejsc.

MiniCPM-V 4.7 35B-A3B robi to wewnątrz enkodera wizyjnego, z wczesną kompresją wywodzącą się z LLaVA-UHD v4, a następnie stosuje mieszaną kompresję tokenów wizualnych 4× i 16× w zależności od potrzeb obrazu. Drobne szczegóły trafiają na kosztowną ścieżkę; paragon — na tanią. Kompresja odbywa się, zanim zaangażowany zostanie model językowy, i to właśnie umożliwia uzyskanie takich wyników na urządzeniu.

N​emotron 3.5 Super VL does not lead with token compression at all. Its answer is context: 1M tokens, so you can afford to keep the detail rather than throw it away, and a hybrid Mamba-2 layer to keep the cost of a very long sequence from exploding. The model's own video path is configured generously by default — 2 FPS and 256 frames, dropping to 1 FPS and 128 frames at 1080p — which is a sampling answer, not a compression answer.

To niekompatybilne filozofie i obie są słuszne w swoim zastosowaniu. Jeśli masz 3 GB, kompresujesz. Jeśli masz 4× H100, zachowujesz szczegóły i płacisz za kontekst.

Co liczby mogą, a czego nie mogą ci powiedzieć

Oto uczciwe stanowisko obu stron.

N​emotron 3.5 Super VL's benchmark table is broad and vendor-collected through NeMo Gym: GPQA-Diamond 89.52, SWE-bench Verified 71.10, MMLongBench-Doc 62.82, OCRBench v2 at 68.12 English and 59.15 Chinese, CharXiv reasoning 80.82, V* 85.60. N​VIDIA chose the baselines. None of it has been independently reproduced.

Karta MiniCPM-V 4.7 35B-A3B przedstawia wyniki benchmarków w formie wykresów producenta, a nie tabeli liczbowej, więc nie ma liczby, którą można by przytoczyć, ani listy modeli bazowych do sprawdzenia. Najmocniejszym konkretnym twierdzeniem w karcie jest twierdzenie porównawcze i kierunkowe — wyższy ogólny wynik w krótszym czasie wnioskowania niż Qwen3.6 35B-A3B w trybie Instruct — które dotyczy wydajności w obrębie własnej klasy wagowej, a nie możliwości wobec modelu dwunastokrotnie większego.

Zatem tabela porównawcza tych dwóch pod względem wyników benchmarków nie istnieje i nie można jej zbudować. Każdy, kto ją przedstawia, łączy wykres dostawcy z tabelą dostawcy i nazywa wynik pomiarem.

Szczegół wdrożeniowy, który decyduje o większej liczbie projektów niż dokładność

MiniCPM-V 4.7 35B-A3B został wydany ze wsparciem od pierwszego dnia dla układów Rockchip, Houmo, Intel, AMD i Arm, wraz z SGLang, vLLM, llama.cpp i Ollama oraz kwantyzacją w GGUF, BNB, AWQ, GPTQ i FP8. Integruje się także z SWIFT i LLaMA-Factory w zakresie dostrajania. Ta lista to prawdziwy produkt. Model, który działa na akceleratorze, który już kupiłeś, w formacie kwantyzacji, który już obsługuje Twoje środowisko uruchomieniowe, to model, który możesz wdrożyć w tym kwartale.

N​emotron 3.5 Super VL's runtime story is narrower and deeper: vLLM at vllm/vllm-openai:v0.32.0 and SGLang at lmsysorg/sglang:v0.5.20, with EAGLE speculative decoding at topk 1 and Multi-Token Prediction built into the architecture. Two runtimes, both first-class, both specified to the exact version. That is what a datacenter deployment wants — a validated path, not a menu.

If you are choosing hardware to fit the model, take MiniCPM-V 4.7 35B-A3B. If you are choosing the model to fit hardware you already have, take N​emotron 3.5 Super VL and follow its card's versions exactly.

Argumenty za uruchamianiem obu

The pattern that shows up in real products is not a choice between these two. It is a small VLM on the device handling the work that has to be instant and local — reading a form, describing a scene, filtering out the frames nobody cares about — and a large VLM in the datacenter handling the work that has to be right. MiniCPM-V 4.7 35B-A3B is explicitly designed for the first role. N​emotron 3.5 Super VL is designed for the second.

That architecture has a cost, and the cost is that you are now running two model stacks and a text stack, with three sets of credentials and three sets of failure modes. OrcaRouter is the part that removes the second problem: 207 models behind one key at provider list price with zero markup, so a vendor price change lands on your bill the same day, and automatic failover when an upstream degrades. Neither N​VIDIA N​emotron 3.5 Super VL nor MiniCPM-V 4.7 35B-A3B is in that catalogue — both are open weights you host yourself, which is the point of choosing either. What one key gets you is the surrounding text and code models, so the pipeline does not need a new contract every time you add a stage.

Który, ustalany na podstawie tego, gdzie znajdują się piksele.

Wybierz MiniCPM-V 4.7 35B-A3B, jeśli wnioskowanie musi odbywać się tam, gdzie są dane — na telefonie, w pojeździe, na hali fabrycznej, w klinice, w której obraz nie może opuścić budynku — albo jeśli twoi użytkownicy są offline, albo jeśli koszt za wywołanie hostowanego VLM jest tym, co zabija ekonomikę jednostkową. Jego licencja to Apache-2.0, menu kwantyzacji jest szerokie, a lista obsługiwanych układów jest celowo długa.

Take N​VIDIA N​emotron 3.5 Super VL if the work is long-context and reasoning-heavy: multi-page documents, mixed layouts, charts that need interpretation, two-minute video clips, agentic tool use. The 1M-token context and 12B active parameters are the reason it exists, and no on-device model substitutes for them.

Jeśli nie masz pewności, decydującym pytaniem nie jest dokładność. Jest nim to, czy obraz może opuścić urządzenie. Ta odpowiedź wybiera model, zanim sprawdzi się jakikolwiek benchmark.

Karta modelu MiniCPM-V 4.7 35B-A3B jest źródłem twierdzeń dotyczących działania na urządzeniu — ponad 13 tokenów na sekundę, około 3 GB śladu pamięciowego, lista układów scalonych wspieranych od dnia premiery i formaty kwantyzacji — a wszystkie one są wynikami podanymi przez sam model. Przeczytaj listę układów scalonych, zanim podejmiesz decyzję, ponieważ „obsługiwany” oznacza tam istnienie ścieżki uruchomieniowej, a nie to, że Twoja konkretna płytka została poddana benchmarkom.

N​VIDIA's N​emotron developer page is where the 4× H100 / 2× GB200 guidance and the runtime versions are published, along with the link to the technical report behind the benchmark table. The version numbers in the card are exact for a reason: vLLM v0.32.0 and SGLang v0.5.20 with EAGLE topk 1 are the validated combination, and drifting from them is how a working deployment becomes a debugging session.

The larger point is that the vision-language field has stopped converging on one shape. OpenBMB is pushing a 3B-active model into pockets and N​VIDIA is pushing a 12B-active model across a million tokens of context, in the same month, under licences that both permit commercial use. Picking between them is picking a deployment, and the deployment is decided by where the pixels live.

Benchmarki się starzeją, a ceny się zmieniają; rejestr awarii pozostaje taki sam: udokumentowane incydenty AI i awarie agentów dotyczące modeli z tej klasy są gromadzone w OrcaRouter AI Incident Archive, gdzie każdy wpis zawiera własne źródła, poziom istotności, stopień pewności i oznaczenie sporności.