Nemotron 3.5 Super vs DeepSeek V4 Pro: tabela benchmarków, której NVIDIA nie opublikowała

Otwórz kartę modelu NVIDIA dla NVIDIA Nemotron 3.5 Super VL — otwartego checkpointu o 120 miliardach parametrów, którego dostawca wymienia również jako NVIDIA Nemotron 3.5 Super, a który Ollama udostępnia jako nemotron-3.5-super — i przewiń do tabeli ewaluacji. Znajdziesz tam około czterdziestu benchmarków i siedem kolumn odniesienia. Jedna z tych kolumn to DeepSeek: jest oznaczona jako DeepSeek-V4-Flash0731. Tania warstwa samego DeepSeek. DeepSeek V4 Pro, flagowy model o 1,6 biliona parametrów, który zastąpił kwietniowe preview w rewizji 0813, nie pojawia się nigdzie w tabeli.

Ten brak jest najbardziej użytecznym faktem w tym porównaniu i nie jest przeoczeniem. V4 Pro aktywuje 49 miliardów parametrów na token. Umieszczenie go w tej samej tabeli co model z 12 miliardami aktywnych parametrów dałoby zestaw liczb, który nikomu nie schlebia i nikogo nie informuje, ponieważ te dwa modele nie są tym samym produktem. Dostawca zrobił zamiast tego uczciwą wersję tego ćwiczenia: porównać się z klasą, którą faktycznie zamierzasz wyprzeć.

Ta strona robi dwie rzeczy. Odczytuje porównanie opublikowane przez NVIDIA — Nemotron 3.5 Super kontra poziom flash DeepSeek — a następnie wyraźnie, w miejscach, w których oba modele naprawdę ze sobą konkurują, mówi, co można, a czego nie można wywnioskować o flagowym modelu.

Dwa artefakty obok siebie

• Parametry całkowite i aktywne — Nemotron 3.5 Super VL 120B łącznie, z 12B aktywnymi na token, 512 ekspertów routowanych na warstwę MoE, hybryda Mamba-2 i Transformer · DeepSeek V4 Pro 1.6T łącznie, z 49B aktywnymi, tylko tekst.

• Kontekst i limit wyjściowy — 1,048,576 tokenów kontekstu dla Super VL bez opublikowanego limitu wyjściowego · 1,048,576 tokenów kontekstu dla V4 Pro z 384,000 tokenów maksymalnego wyjścia.

• Modalność — tekst, obraz i wideo na wejściu, tekst na wyjściu, przez enkoder wizyjny C-RADIO i łącznik wizyjno-językowy · tekst na wejściu, tekst na wyjściu. Brak jakiejkolwiek ścieżki obrazu.

• Wagi i licencja — OpenMDW-1.1 dla checkpointu NVIDIA, użycie komercyjne dozwolone · DeepSeek publikuje własne wagi i również zezwala na użycie komercyjne.

• Cena w przypadku endpointu rozliczanego za użycie — brak publikowanych stawek; model jest wyłącznie do samodzielnego hostowania · 0,66 USD za milion tokenów wejściowych i 1,98 USD za milion tokenów wyjściowych, a odczyty z pamięci podręcznej po 0,022 USD.

• Zakres wydania — wagi na Hugging Face 12 października 2026, ogłoszenie dostawcy 15 października 2026 · V4 Pro pełni rolę flagowego modelu, a datowana wersja 0813 jest dostępna dla wywołujących, którzy muszą przypiąć wersję.

Dwa z tych wierszy rozstrzygają o większości rzeczywistych wdrożeń. Pierwszy to modalność: jeśli Twoim danymi wejściowymi jest zrzut ekranu, zeskanowana umowa, wykres albo klatka wideo, połowa tego porównania kończy się, zanim na dobre się zacznie, ponieważ DeepSeek V4 Pro nie ma ścieżki obrazowej ani ogłoszonego planu jej wprowadzenia. Drugi to pozycja dotycząca ceny i jest ciekawsza, niż wygląda — NVIDIA nie publikuje żadnej stawki dla tego modelu, co oznacza, że jedynym sposobem poznania swojego kosztu jest znajomość wolumenu tokenów i rachunku za sprzęt.

Czytając tabelę, którą NVIDIA faktycznie opublikowała

Porównanie w klasie flash jest bliższe, niż sugerują liczby parametrów, i nie jest w jednakowym stopniu niekorzystne dla NVIDIA. W wierszach, w których oba modele są najbliżej siebie, obraz przedstawia prawdziwy remis w zakresie wiedzy i realny deficyt w zakresie wykonywania zadań agentowych.

• Statystyczny remis w naukach na poziomie magisterskim — GPQA-Diamond 89,52 dla Super VL wobec 89,6 dla DeepSeek-V4-Flash. Cztery setne punktu dzielą w tym wierszu model 120B od baseline'u klasy 1e12, oba uruchomione przez dostawcę.

• Deficyt w najtrudniejszym rozumowaniu — Humanity's Last Exam w trybie tekstowym 31,79 wobec 35,8, a MMLU-ProX 76,91 wobec 85,5.

• Deficyt w programowaniu konkurencyjnym — LiveCodeBench v6 88,22 wobec 94,6.

• Deficyt w zakresie agentowej pracy nad oprogramowaniem — SWE-bench Verified 71,10 wobec 75,4, Terminal-Bench 2.1 66,70 wobec 76,80, DeepSWE 24,65 wobec 42,3.

• Wyraźny deficyt w wyszukiwaniu w długim kontekście — AA-LCR v1.1 68,62 wobec 79,7. Oba modele reklamują milion tokenów; w jedynym wierszu przywoływania w stylu niezależnym wariant flash wyprzedza o ponad jedenaście punktów. To najistotniejsza liczba na stole dla każdego, kto planuje korzystać z reklamowanego kontekstu, a nie tylko mieć go do dyspozycji.

• Wiersze, w których NVIDIA wygrywa — GraphWalks 89,71 wobec 65,4, LMArena v3 proxy 52,67 wobec 49,8 oraz tau2-bench retail na poziomie 69,24 wobec 73,8 są wystarczająco blisko, aby na tak zaszumionym benchmarku uznać to za szum. AA-Omniscience to bardziej znaczące zwycięstwo: wskaźnik halucynacji NVIDIA wynoszący 30,0 wobec 95,9 w przypadku DeepSeek oraz dodatni indeks 4,03 wobec minus 7,8. Model, który wstrzymuje się od odpowiedzi, jest wart więcej niż model, który twierdzi, a w tym wierszu różnica nie jest marginalna.

• Narzędzia agentowe — tau2-bench airline 76.50 wobec 83.5 i telecom 73.19 wobec 98.2, w obu przypadkach porażka. W domenie telecom warstwa flash niemal zgarnia wszystko.

Każdy z nich jest raportowany przez dostawcę za pośrednictwem własnego środowiska testowego NeMo Gym firmy NVIDIA, według opublikowanego przepisu. To wyższy standard niż gołe twierdzenie, a niższy niż niezależne powtórzenie, a w tej konkretnej tabeli kierunek większości wierszy jest przeciwko ogłaszanemu modelowi, co jest przynajmniej oznaką, że tego środowiska testowego nie dostrojono, by schlebiało.

Czego nie można wywnioskować o V4 Pro i dlaczego mimo to ma to znaczenie

Nie można żadnego z powyższych odczytywać jako przewidywania sztandarowego starcia, z trzech powodów, które warto przedstawić, a nie przemilczeć.

Po pierwsze, baseline nie jest flagowcem. Opublikowane przez DeepSeek wyniki własnego agenta dla wersji 0813 V4 Pro są w zupełnie innej skali: 87,9 w Terminal Bench 2.1, 83,3 w Cybergym, 74,1 w Toolathlon Verified, 62,7 w DeepSWE, 61,5 w NL2Repo i 42,7 w Humanity's Last Exam bez narzędzi, rosnące do 60,0 z nimi. W zestawieniu z 66,70 firmy NVIDIA w Terminal-Bench 2.1 i 31,79 w HLE w trybie tylko tekstowym różnica dla modelu flagowego jest znacznie większa niż różnica dla modelu z segmentu flash, a powiększa ją dostawca drugiego modelu, co nie czyni jej bardziej wiarygodnej — jedynie bardziej wymowną.

Po drugie, kolumna flash-tier to migawka warstwy, która sama się przesunęła. Wiersz, który dziś czyta się dobrze, w przyszłym miesiącu może czytać się źle, choć żaden z modeli się nie zmienił, ponieważ porównanie zależy od tego, który checkpoint dostawca zdecydował się uruchomić.

Po trzecie, niezależny obraz checkpointu NVIDIA jest tak ubogi, że niemal nie przydaje się jako czynnik rozstrzygający: panel zewnętrzny, który ocenia te modele, w swoim indeksie ma go w połowie trzeciej dziesiątki, z niezwykle wysoką liczbą tokenów wyjściowych na zadanie i adnotacją, że model jest nieco gadatliwy. Jeden punkt danych, z jednego panelu, cztery dni po pojawieniu się wag.

Uczciwe podsumowanie tego przypadku benchmarkowego jest więc takie: na wynikach uzyskanych przez dostawcę otwarty model wizyjny z 12 mld aktywnych parametrów plasuje się mniej więcej na tym samym poziomie co tania wersja DeepSeeka, jeśli chodzi o wiedzę, a za nią w zakresie wykonywania zadań agentowych i przywoływania długiego kontekstu; nic w tej tabeli nie dotyczy flagowca, a własne publikowane wyniki flagowca są lepsze na każdej osi, na której w ogóle można te dwa porównać.

Jedyna oś, w której porównanie jest trywialne

Obrazy. Nie dlatego, że Nemotron jest dobry w wizji — nikt nie opublikował niezależnej ewaluacji jego ścieżki wizyjnej, a dostarczone środowisko uruchomieniowe domyślnie próbkuje przy tekstowej temperaturze karty modelu, a nie przy jej temperaturze wizyjnej, co jest żywą pułapką dla pierwszej osoby, która tego spróbuje — ale dlatego, że DeepSeek V4 Pro ich nie przyjmuje.

Ta asymetria ma konsekwencję kosztową, którą łatwo przeoczyć. Hostowany model obsługujący wizję rozlicza stronę zeskanowanego dokumentu na podstawie liczby tokenów, a strona w rozdzielczości 300 dpi to nie jest mała liczba tokenów. Samodzielnie hostowany checkpoint 120B rozlicza tę samą stronę w sekundach GPU. Przy obciążeniu rzędu kilku tysięcy stron miesięcznie różnica jest szumem; przy kilkuset tysiącach to cała rozmowa o budżecie. Własne pozycje NVIDIA dotyczące wizji — 62,82 w MMLongBench-Doc, 78,16 w MathVision, 80,82 w CharXiv reasoning, 68,12 w OCRBench v2 English — są liczbami dostawcy, ale dowodzą, że zdolność ta jest rzeczywista, a nie nominalna.

Druga oś, na której porównanie się odwraca, to ta, o którą wszyscy pytają, a niewielu ją mierzy: pamięć. V4 Pro przy 1,6 biliona parametrów łącznie nie mieści się nawet w przybliżeniu na pojedynczej maszynie. Super VL przy 82,3 GiB w domyślnym tagu 4-bitowym mieści się na jednej karcie 96 GB z zapasem na kontekst roboczy. To nie jest argument o jakości. To różnica między modelem, który twój zespół może pobrać i uruchomić jeszcze dziś wieczorem, a modelem, który wynajmujesz.

Przeprowadzanie obliczeń, a nie porównania z benchmarkiem

Oto obliczenie, które warto wykonać, zanim przeczytasz kolejną tabelę. Weź obciążenie miliona tokenów wejściowych i stu tysięcy tokenów wyjściowych — trywialny miesiąc dla potoku dokumentów, ciężki dzień dla produktu czatowego.

Według opublikowanej stawki DeepSeek V4 Pro to 0,66 USD za wejście plus 0,198 USD za wyjście: poniżej dolara, zanim rabaty za cache jeszcze bardziej obniżą koszt wejścia. W przypadku checkpointu NVIDIA nie ma stawki, ponieważ nie ma endpointu. Koszt to jakikolwiek ułamek godziny pracy GPU, jaki pochłania ten wolumen, a przy takich wolumenach odpowiedź zaokrągla się do zera — ale koszt stały, który za tym stoi, już nie. Cztery H100 nie stają się tanie tylko dlatego, że ruch w twoim pierwszym miesiącu jest niewielki.

Taki jest prawdziwy kształt tego starcia i jest to kwestia wolumenu, a nie jakości. Poniżej pewnej przepustowości rozliczane API z modelami o otwartych wagach jest po prostu tańsze niż prąd i amortyzacja sprzętu, mimo że oba modele są otwarte. Powyżej pewnej przepustowości koszty stałe się odwracają i samodzielnie hostowany checkpoint wygrywa pod względem kosztów, niezależnie od tego, który z nich uzyska wyższy wynik w Terminal-Bench. Punkt przecięcia zależy od Twojego wykorzystania, a nie od jednego czy drugiego dostawcy.

Co to oznacza dla kwestii routingu: jeśli wolisz w ogóle nie uruchamiać klastra, DeepSeek V4 Pro jest dostępny w OrcaRouter w cenie katalogowej dostawcy przekazywanej dalej bez narzutu za token — 0,66 USD i 1,98 USD, te same liczby, które publikuje DeepSeek, ponieważ nic do nich nie dodajemy. Zmiana ceny przez dostawcę obowiązuje po naszej stronie tego samego dnia, a nie dopiero przy kolejnym odnowieniu umowy. Nemotron 3.5 Super nie ma go w naszym kluczu; routujemy nieco ponad dwieście modeli i tego nie ma wśród nich, więc jeśli potrzebujesz konkretnie tego checkpointu, własne kanały dostawcy i lokalne pobranie są twoją drogą.

Co właściwie zrobić

Jeśli twoje dane wejściowe to tekst, a twoje obciążenie ma charakter agentowy — długie łańcuchy narzędzi, zmiany w skali repozytorium, sesje terminala — DeepSeek V4 Pro jest lepszym i tańszym modelem, a punkt kontrolny NVIDIA nie jest poważnym konkurentem dla niego na podstawie własnych, opublikowanych przez dostawcę wierszy. Najpierw uruchom obciążenie na V4 Pro, ustal rzeczywisty koszt na jednostkę pracy, a dopiero potem zdecyduj, czy klaster jest uzasadniony.

Jeśli Twoje dane wejściowe to obrazy, wideo lub długie dokumenty, porównanie sprowadza się do jednego pytania o wolumen, ponieważ V4 Pro w ogóle nie przyjmuje takich danych wejściowych. Poniżej kilku tysięcy stron miesięcznie trzymaj się wersji hostowanej. Powyżej tego 4-bitowy checkpoint na jednej karcie 96 GB to wiarygodny element infrastruktury — z dwoma zastrzeżeniami, które warto powtórzyć: wersja, którą uruchomi większość ludzi, nie ma opublikowanej oceny, a domyślne ustawienia próbkowania samego środowiska uruchomieniowego są dostrojone do tekstowej połowy tego, co dostawca reklamuje jako model wizyjny.

A jeśli już umieszczasz czterodniowy checkpoint za ścieżką żądań, umieść za nim również mechanizm zapasowy. Najtańszym ubezpieczeniem dostępnym dla modelu bez historii operacyjnej jest drugi model w tym samym wywołaniu.