MiniCPM-V 4.7 vs NVIDIA Nemotron 3.5 Super VL: najtańszy komputer, który faktycznie uruchomi każdy z nich

Oba te modele to modele wizyjno-językowe z otwartymi wagami, oba są mieszaniną ekspertów i oba kompresują tokeny wizualne, zanim zobaczy je model językowy. Wybór między MiniCPM-V 4.7 35B-A3B a NVIDIA Nemotron 3.5 Super VL nie jest więc decyzją o architekturze. To decyzja o najmniejszej maszynie, jaką jesteś gotów kupić, i o tym, co ta maszyna daje ci w stronach na godzinę. Przy takim podejściu do wyceny oba modele trafiają do zupełnie innych rozmów zakupowych: jeden działa po pobraniu 21 GB na sprzęcie, który prawdopodobnie już masz, drugi wymaga czterech H100 w BF16 albo pojedynczego H200 w FP4. Ten artykuł wykonuje obliczenia, które karty specyfikacji zostawiają tobie — poziom pamięci po poziomie pamięci i strona po stronie. Stos wizyjny pozostaje na twoim sprzęcie. Otaczająca go orkiestracja nie musi. Zobacz hostowany katalog Ponad 200 hostowanych modeli na jednym kluczu, cena katalogowa przekazywana bez narzutu 0%. Udokumentowane awarie AI i incydenty z agentami, które kryją się za takimi wydaniami jak to, są zebrane w Archiwum Incydentów AI OrcaRouter gdzie każdy wpis ma własne źródła, poziom dotkliwości, stopień pewności i znacznik sporności.

Dwie drabiny kwantyzacji, dwa bardzo różne poziomy

OpenBMB i NVIDIA rozwiązały ten sam problem — model zbyt duży dla urządzenia, na którym chcesz go uruchomić — w przeciwnych kierunkach. MiniCPM-V 4.7 35B-A3B utrzymuje w pamięci mały aktywny zestaw i strumieniuje ekspertów z pamięci masowej, a następnie dostarcza całość w każdym rozmiarze GGUF, abyś mógł wybrać swoją minimalną konfigurację. Nemotron 3.5 Super VL utrzymuje cały model w pamięci, a zamiast tego trenuje 4-bitowy wariant (NVFP4), który zmniejsza zapotrzebowanie na pamięć mniej więcej czterokrotnie bez kary za kwantyzację po fakcie.

• MiniCPM-V 4.7 35B-A3B, Q4_K_M — 21,2 GB na dysku. Z niewielkim marginesem mieści się na 24 GB konsumenckiej karcie graficznej lub z zapasem na 32 GB Macu.

• MiniCPM-V 4.7 35B-A3B, Q8_0 / F16 — 36.9 GB / 69.4 GB. Karta 48 GB lub stacja robocza 96 GB, w zależności od tego, ile kontekstu chcesz mieć obok wag.

• Nemotron 3.5 Super VL, BF16 — około 231,8 GiB wag w 64 shardach. Własny przepis NVIDII na serwowanie to tensor-parallel 4 na 4x H100 lub TP2 na 2x GB200.

• Nemotron 3.5 Super VL, NVFP4 — można wdrożyć na 1x DGX Spark, 1x H200, 2x H100 lub 1x GB200, zgodnie z jego kartą modelu.

Ta ostatnia linijka to liczba, która zmienia rozmowę zakupową. Model 120B na jednym H200 zamiast czterech H100 to nie marginalna oszczędność; to różnica między rezerwacją klastra a pojedynczym węzłem. A ponieważ NVIDIA wykonuje konwersję do 4 bitów podczas treningu za pomocą destylacji świadomej kwantyzacji, a nie po fakcie, twierdzi, że nie ma narzutu na wnioskowanie — twierdzenie, które karta podaje, ale nie popiera opublikowaną różnicą dokładności BF16 versus NVFP4.

Stron na godzinę, czyli liczba, która o wszystkim decyduje

Przepustowość w tokenach na sekundę to słabe przybliżenie pracy z dokumentami, ponieważ o koszcie strony decyduje przede wszystkim to, ile tokenów wizualnych emituje enkoder, zanim model językowy wypowie słowo. To tutaj oba rozwiązania najbardziej się różnią i gdzie język marketingowy jest najmniej przydatny.

MiniCPM-V 4.7 35B-A3B kompresuje wewnątrz wieży wizyjnej, stosując technikę wczesnej kompresji, którą OpenBMB przypisuje LLaVA-UHD v4, z mieszanym próbkowaniem w dół 4x i 16x. Domyślnie jest to 16x; 4x to ścieżka szczegółowa, wybierana dla każdego obrazu. Gęsta strona tekstu trafia na tanią ścieżkę, a schemat części — na kosztowną. Kompresja odbywa się, zanim zaangażowany zostanie model językowy, co właśnie czyni model 35B realnym do uruchomienia na telefonie.

Nemotron 3.5 Super VL nie wysuwa kompresji na pierwszy plan. Jego odpowiedzią jest kontekst: do miliona tokenów, wejście wideo do dwóch minut oraz hybrydowa warstwa Mamba-2, która nie pozwala, by bardzo długa sekwencja stała się kwadratowa. Jego recepta na wideo domyślnie próbkuje z 2 FPS i 256 klatkami, schodząc do 1 FPS i 128 klatek przy 1080p — to polityka próbkowania, a nie sztuczka kompresyjna, i można ją zwiększyć, jeśli obciążenie wiąże się z gęstym ruchem.

Praktyczna konsekwencja: MiniCPM-V 4.7 daje stały, niski koszt tokenów na stronę i wymaga zaakceptowania utraty szczegółów; Nemotron 3.5 Super VL pozwala zachować szczegóły i wymaga zapłacenia za kontekst. Przy przeglądzie stupostronicowej umowy pierwszy jest tańszy w przeliczeniu na stronę, a drugi jest lepszy na tej stronie, na której klauzula znajduje się w przypisie o wielkości 6 punktów. Przy dwuminutowym filmie z operacji chirurgicznej w ogóle liczy się tylko drugi.

Jedno z tych wydań dostarcza liczby; drugie — wykresy.

To jest ta część porównania, której nie naprawi żadna ilość arytmetyki sprzętowej, dlatego jej miejsce jest tutaj, a nie gdzieś w przypisie.

Karta modelu NVIDIA zawiera tabelę benchmarków liczącą około czterdziestu wierszy i jest nietypowo szczera: wymienia modele bazowe, a kilka wierszy pokazuje, że model przegrywa. W porównaniu z Qwen3.5-122B-A10B jej własne liczby dają MMLU-ProX 76,91 wobec 83,2, tau2-bench telecom 73,19 wobec 87,2, OCRBench v2 Chinese 59,15 wobec 67,3 oraz MathVision 78,16 wobec 83,3. Wygrywa GPQA-Diamond 89,52 wobec 86,7, SWE-bench Pro 51,78 wobec 44,9 i CritPt 10,86 wobec 1,1. Każda liczba, łącznie z modelami bazowymi, została zebrana za pomocą własnego środowiska NeMo Gym firmy NVIDIA — karta mówi to wprost i publikuje notatki dotyczące odtwarzalności. Przeprowadzone przez dostawcę, uczciwie oznaczone, z pozostawionymi porażkami.

Karta modelu MiniCPM-V 4.7 zawiera pięć wykresów ewaluacji i żadnej tabeli liczbowej. Twierdzenia porównawcze mają charakter kierunkowy: wyższy wynik ogólny w krótszym czasie wnioskowania niż Qwen3.6 35B-A3B w trybie Instruct oraz znaczące zyski względem Qwen3.5 0.8B dla wariantu 1B. Nie ma wyniku dla poszczególnych benchmarków, który można by przytoczyć, nie ma listy punktów odniesienia do sprawdzenia ani publikowanych wag dla wyliczanego kompozytu. To nie to samo co zły model — inżynieria jest udokumentowana w config.json, a wagi można sprawdzić bajt po bajcie — ale oznacza to, że części tej oceny dotyczącej dokładności nie da się zbudować. Każdy, kto przedstawia tabelę wyników MiniCPM-V 4.7 zestawioną z liczbami Nemotron 3.5 Super VL, odczytuje wykres jednego dostawcy tak, jakby był pomiarem, a tabelę drugiego tak, jakby była neutralna.

Ścieżki środowiska uruchomieniowego i to, która z nich później da ci w kość

Historia wdrożenia MiniCPM-V 4.7 to menu: SGLang, vLLM, llama.cpp i Ollama, ścieżka OpenVINO dla Intel CPU, GPU i NPU, dostrajanie przez SWIFT i LLaMA-Factory, kwantyzacja w GGUF, BNB, AWQ, GPTQ i FP8 oraz wsparcie day-0 deklarowane dla układów Rockchip, Houmo, Intel, AMD i Arm, obok iOS, Android i HarmonyOS. Szerokość jest produktem. Kosztem szerokości jest to, że nikt nie zweryfikował Twojej konkretnej kombinacji, a obecna ścieżka upstream llama.cpp ma aktywny błąd: pozycje znaczników obrazu są obliczane nieprawidłowo, więc zwracane współrzędne są systematycznie zbyt niskie, gdy pytasz, gdzie znajduje się dany obiekt. Przetestowana poprawka pozostaje otwarta i niezmergowana na dzień 20 października.

Historia Nemotron 3.5 Super VL jest wąska i głęboka: vLLM na przypiętym tagu obrazu i SGLang na przypiętym tagu, z Multi-Token Prediction wbudowanym w architekturę, dzięki czemu nie jest potrzebny osobny model draftujący. Karta określa wersje, ponieważ właśnie te wersje tworzą zweryfikowaną kombinację. Odchodzenie od nich sprawia, że działające wdrożenie zamienia się w sesję debugowania.

Jeśli wybierasz sprzęt, który ma pasować do modelu, weź MiniCPM-V 4.7. Jeśli wybierasz model, który ma pasować do posiadanego już sprzętu, weź Nemotron 3.5 Super VL i dokładnie przestrzegaj wersji podanych na jego karcie.

Gdzie router powinien znajdować się w architekturze dwuskrzynkowej

Wzorzec, który pojawia się w środowisku produkcyjnym, nie jest wyborem między tymi dwiema opcjami. Polega on na tym, że mały model na urządzeniu lub lokalnym sprzęcie wykonuje pracę, która musi być natychmiastowa i prywatna, a duży model obsługuje pracę, która musi być poprawna. MiniCPM-V 4.7 35B-A3B jest stworzony do pierwszej roli; Nemotron 3.5 Super VL jest stworzony do drugiej, z oknem miliona tokenów i 12B aktywnych parametrów do obsługi długich dokumentów i pętli agentowych.

Uruchamianie obu oznacza dwa stosy modeli, dwa zestawy trybów awarii i — gdy dodasz model tekstowy do orkiestracji wokół nich — trzy. W tym miejscu pomaga OrcaRouter, nie wyolbrzymiając, czym jest: żaden z checkpointów nie znajduje się w naszym katalogu, ponieważ oba są otwartymi wagami hostowanymi samodzielnie, ale modele tekstowe i kodowe, które je otaczają, już tak. Jeden klucz do ponad 200 hostowanych modeli, cena z cennika dostawcy przekazywana z 0% marży oraz automatyczne przełączanie awaryjne w razie degradacji upstreamu. Stos wizyjny pozostaje na Twoim sprzęcie; reszta potoku przestaje wymagać nowej umowy za każdym razem, gdy dodajesz kolejny etap.

Ile cię kosztuje pomyłka w każdym z nich

Kup małe pudełko i odkryj, że potrzebowałeś rozumowania na długich dokumentach, a wydałeś kilka tysięcy dolarów i tydzień. Kup cztery H100 i odkryj, że obciążenie dotyczyło paragonów, a wydałeś znacznie więcej na możliwości, których nigdy nie wykorzystujesz. Ta asymetria jest prawdziwym argumentem za rozpoczęciem od taniej warstwy i eskalowaniem — i dlatego wydanie na urządzeniu zasługuje na uwagę, którą otrzymuje, choć jego historia benchmarkowa jest skromniejsza.

Rozstrzyga to, gdzie mieszkają piksele, jeśli masz dostępne oba boksy. Klatki, które nie mogą opuścić budynku, trafiają do modelu, który działa w nim. Klatki, które potrzebują miliona tokenów kontekstu i pętli rozumowania, trafiają do tego, który został do tego zbudowany, a przypięte wersje środowiska uruchomieniowego przyjmujesz jako cenę wstępu.