Karta tytułowa z nagłówkiem „Bezpośrednie starcie: rozliczanie za token kontra rozliczanie za sekundę GPU”, z tytułem „Nemotron 3.5 Super vs GPT-6 Astra” nad wierszem o skanowanej stronie z licznikową ceną za stronę i kosztującej ułamek godziny GPU na własnym checkpointcie. Cztery panele statystyczne wskazują 10 USD za wejście i 50 USD za wyjście za milion tokenów dla GPT-6 Astra, rosnące do 20 USD i 75 USD powyżej 272 000 tokenów promptu; około 160 USD miesięcznie za 200 skanowanych stron dziennie, mniej więcej 5,40 USD dziennie przy 1 950 tokenach na stronę; indeks panelu około 54,7 dla Astry wobec około 26 dla checkpointu, różnica około dwudziestu ośmiu punktów; oraz 32 równoczesne sekwencje na replikę vLLM, czyli górny limit na węźle z czterema GPU. Wiersz źródłowy podaje opublikowany cennik OpenAI, przepis i kartę modelu NVIDIA vLLM oraz panel strony trzeciej, a także zaznacza, że przykład obliczeniowy kosztu strony to własne obliczenia artykułu, a nie wartość podana przez dostawcę.
Engineering & Research

Nemotron 3.5 Super vs GPT-6 Astra: ile kosztuje zeskanowana strona w każdym z nich

Autor

Alistair Wren

Data publikacji

Najnowsze modele · 20Zobacz wszystkie modele →
Benchmarki: Artificial Analysis · aktualizowane codziennie
Powrót do wszystkich wpisów

OpenAI GPT-6 Astra rozlicza zeskanowany dokument za token. NVIDIA Nemotron 3.5 Super rozlicza go za sekundę GPU. To jedno zdanie to większość tego porównania i nie jest to zdanie, które którykolwiek z dostawców umieściłby w nagłówku. Model NVIDIA — 120 miliardów parametrów łącznie, z 12 miliardami aktywnych na token, enkoder wizyjny C-RADIO na hybrydowej mieszaninie ekspertów Mamba-2 i Transformera, ogłoszony przez NVIDIA 15 października 2026 pod nazwą NVIDIA Nemotron 3.5 Super VL i udostępniony w Ollama jako code>nemotron-3.5-super/code> — przyszedł na świat z wagami, które miały już trzy dni na Hugging Face, wgranymi 12 października. Astra to flagowy model OpenAI: 1 050 000 tokenów kontekstu, 128 000 tokenów maksymalnej odpowiedzi, wejście tekstowe, obrazowe i plikowe, stale włączone rozumowanie oraz cena katalogowa 10 dolarów za milion tokenów wejściowych i 50 dolarów za milion tokenów wyjściowych.

Te dwa punkty cenowe różnią się dziesięciokrotnie na wejściu i dwudziestopięciokrotnie na wyjściu, co sprawia, że to ciekawe pytanie staje się wyjątkowo ostre. Przy jakim wolumenie otwarty checkpoint o stałym koszcie bije taryfę $10/$50 w pracy z dokumentami — i czy odpowiedź się zmienia, gdy dokument jest stroną pikseli, a nie stroną tekstu?

Oni nie konkurują o to samo żądanie

Na początek trzeba wyjaśnić, że pod względem mierzalnych możliwości te dwa modele wcale nie są sobie bliskie, a żaden z dostawców nie twierdzi inaczej.

• Indeks zewnętrzny — Astra plasuje się na poziomie około 54,7 w panelu oceniającym te modele, z Indeksem kodowania wynoszącym 76,9 i Indeksem agentowym 51,6, a wszystko to odnotowano we własnym wpisie katalogowym Astry · punkt kontrolny NVIDIA to około 26. To różnica około dwudziestu ośmiu punktów, której nie zmierzył żaden z dostawców.

• Kontekst — 1 050 000 tokenów dla Astra z limitem wyjścia 128 000 tokenów · 1 000 000 dla checkpointu NVIDIA bez żadnego publikowanego limitu wyjścia, a sama karta zastrzega, że to pamięć i ustawienia środowiska uruchomieniowego określają użyteczną wartość.

• Interfejs rozumowania — Astra prowadzi stale włączone rozumowanie z konfigurowalnym wysiłkiem od niskiego po maksymalny, zwraca pełne ślady rozumowania przez Responses API i obsługuje ustrukturyzowane dane wyjściowe, ziarna oraz wyszukiwanie w sieci jako narzędzie · checkpoint NVIDIA ma przełączany tryb myślenia (wł./wył.) poprzez szablon czatu i opublikowaną tabelę wyników, ale nie ma żadnego hostowanego interfejsu.

• Modalność wejściowa — tekst, obrazy i pliki dla Astra · tekst, obrazy i wideo dla punktu kontrolnego NVIDIA, z projektorem wizyjnym o rozmiarze 1,6 GiB w każdym opublikowanym tagu, dzięki czemu ścieżka obrazu jest zawsze obecna.

• Cena — 10 USD za wejście i 50 USD za wyjście za milion tokenów, z poziomem długiego kontekstu powyżej 272 000 tokenów wejściowych · brak ceny, ponieważ model nie ma endpointu.

• Co otrzymujesz — klucz API i ślad · cztery H100 lub dwa GB200 w BF16 albo jedna karta 96 GB dla domyślnego tagu 4-bitowego o rozmiarze 82,3 GiB, na licencji OpenMDW-1.1 z dozwolonym wykorzystaniem komercyjnym.

Przeczytaj tę listę, a wniosek nasuwa się sam: jeśli praca wymaga rozumowania na najwyższym poziomie, to Astra jest tym modelem i porównanie się kończy. To, co czyni tę stronę wartą przeczytania, to przypadek, w którym praca nie wymaga rozumowania na najwyższym poziomie, bo właśnie tam checkpoint o 120 miliardach parametrów z enkoderem wizji zaczyna mieć sens ekonomiczny — a to większa część rzeczywistych pipeline'ów dokumentowych, niż ktokolwiek chciałby przyznać.

Arytmetyka kosztu strony, przeprowadzona na prawdziwych liczbach

Weźmy konkretne zadanie: korpus zeskanowanych faktur, 200 stron dziennie, każda strona renderowana w rozdzielczości wystarczająco wysokiej, by odczytać odręczny numer referencyjny. Przyjmijmy 1 500 tokenów obrazu na stronę po przetworzeniu przez enkoder, plus 300-tokenowy prompt i 150-tokenową odpowiedź. To około 1 950 tokenów wejściowych i 150 wyjściowych na stronę, czyli 390 000 tokenów wejściowych i 30 000 wyjściowych dziennie w całym korpusie.

Według opublikowanej stawki Astry to 3,90 USD za wejście i 1,50 USD za wyjście — około 5,40 USD dziennie, czyli mniej więcej 160 USD miesięcznie za zadanie, które jedna karta GPU może wykonać w ciągu nocy. Zwiększ rozdzielczość, dodaj stronę, która wyzwoli poziom długiego kontekstu powyżej 272 000 tokenów promptu, albo uruchom korpus dwa razy, bo pierwsze przejście było błędne — a liczba przesunie się w jednym kierunku. Taki jest kształt problemu: przy 10 USD i 50 USD przepływ pracy rozliczany za stronę ma rachunek za stronę, a rachunek skaluje się dokładnie z tym, co rośnie — liczbą stron.

Na checkpoincie NVIDIA to samo zadanie kosztuje tyle, ile wynosi ułamek godziny GPU, jaki zużywa 230 000 tokenów, co przy 200 stronach dziennie jest błędem zaokrąglenia w porównaniu z kosztem energii elektrycznej. Rachunek to karta, a karta jest taka sama niezależnie od tego, czy przetwarzasz 200 stron, czy 20 000.

Trzy zastrzeżenia, zanim ktokolwiek pobiegnie kupować sprzęt. Po pierwsze, przestaje to być prawdą przy niskim wolumenie — karta 96 GB i energia potrzebna do jej działania kosztują miesięcznie więcej, niż większość zespołów wydaje na tokeny, a przy 200 stronach dziennie prawdopodobnie poniósłbyś stratę. Po drugie, kwantyzacja NVIDIA, którą większość ludzi faktycznie uruchomi, q4_K_M, nie ma nigdzie opublikowanej ewaluacji; wszystkie wartości podawane przez NVIDIA dla tej karty to BF16 lub NVFP4, więc dokładność wersji, którą wdrożysz, jest nieznana. Po trzecie, wyniki generowane przez Astra są mierzalnie lepsze, a w przypadku korpusu, w którym błędnie odczytany numer referencyjny jest realnym kosztem, lepsza dokładność może przeważyć nad różnicą w cenie dowolnej wielkości.

A two-column scoreboard titled 'Nemotron 3.5 Super vs GPT-6 Astra'. The left column is NVIDIA Nemotron 3.5 Super VL, 120B total and 12B active with open weights uploaded 12 October 2026; the right column is GPT-6 Astra, OpenAI, closed, with reasoning always on. Rows carry no published price against $10 in, $50 out and $20 in and $75 out above 272,000 tokens; a 1M-token context with no published output cap against 1,050,000 tokens and a 128,000 maximum output; text, image and video input against text, image and file with no video; an on/off thinking mode in the chat template against configurable effort from low to max with full traces returned; borrowed parsers named qwen3_coder and nemotron_v3 against structured outputs, schemas and seeds; an index of roughly 26 against roughly 54.7 with a coding index of 76.9 and an agentic index of 51.6; and the same card cost at 200 pages or 20,000 against a per-page bill that grows with pages. A footer sets out the vLLM recipe - tensor parallelism 4, GPU memory utilisation 0.85, 32 concurrent sequences and MTP speculative decoding - and states that the q4_K_M default has no evaluation anywhere.

Gdzie Astra jest nie tylko lepsza, ale lepsza strukturalnie

Nieuczciwe byłoby przedstawiać Astrę jako droższą alternatywę dla tańszej opcji. W kilku wymiarach to produkt zupełnie innej klasy, a różnica nie polega na wynikach.

Astra zwraca pełne ślady rozumowania przez Responses API. W przypadku potoku, który musi uzasadnić decyzję — rozpatrzenie roszczenia, odczyt zgodności, przebieg kodowania medycznego — możliwy do audytu ślad nie jest funkcją, lecz wymogiem. Checkpoint NVIDIA ma tryb myślenia, który można włączać i wyłączać w szablonie czatu, i nie ma w ogóle hostowanej powierzchni śledzenia, co oznacza, że warstwę audytu trzeba zbudować samodzielnie.

Astra obsługuje ustrukturyzowane dane wyjściowe ze schematem i ziarnem. W potoku ekstrakcji dokumentów, w którym dane wyjściowe muszą być zgodne z układem rekordu, model, który można ograniczyć do schematu, jest tańszy w integracji niż taki, w którym trzeba walidować i ponawiać próby, a koszt ponawiania pozostaje niewidoczny, dopóki nie stanie się widoczny.

A powierzchnia narzędzi Astry to produkt własny: wywoływanie funkcji, response_format, seed oraz wyszukiwanie w sieci jako narzędzie. Przepis wdrożeniowy dla checkpointu NVIDIA ponownie wykorzystuje parser wywołań narzędzi, którego nie jest autorem — własny przepis vLLM dostawcy wskazuje code>qwen3_coder/code> jako parser wywołań narzędzi, a code>nemotron_v3/code> jako parser rozumowania. To rozsądny wybór inżynierski, który oznacza też, że powierzchnia wywoływania narzędzi jest pożyczona, a nie zaprojektowana dla tego modelu, i będzie wymagać testów, zanim będzie można jej zaufać.

Przepis vLLM mówi też, czego dostawca oczekuje od repliki: równoległości tensorowej wynoszącej 4, wykorzystania pamięci GPU na poziomie 0,85, maksymalnie 32 współbieżnych sekwencji, jednego obrazu i jednego wideo na prompt, przycinania wideo przy 0,5 oraz dekodowania spekulatywnego przez wbudowaną głowicę MTP z trzema tokenami spekulatywnymi. Trzydzieści dwie współbieżne sekwencje to górny limit w węźle z czterema GPU. Pułap Astry to limit szybkości.

The OrcaRouter catalogue page for GPT-6 Astra, with a breadcrumb reading Models, OpenAI, GPT-6 Astra, a 'Created Sep 29, 2026' line and an 'Updated 2 days ago' line, input modalities of Text, Image and File, pricing of $10 per million input, $50 per million output and $1 per million cache reads, a 1,050,000-token context, a 128,000-token maximum output, a line stating that reasoning is always on with effort low, medium, high, xhigh or max, a tiered-pricing panel applying above 272,000 input tokens with input at $20, cached input at $2 and output at $75, a features list covering reasoning, web search, structured outputs and seed, and the serving provider named as OpenAI.

Pułapka w domyślnym ustawieniu NVIDIA i dlaczego pojawia się najpierw w dokumentach

To jest szczegół, który zdecyduje o tym, czy pierwszy eksperyment się powiedzie, i który jest widoczny tylko wtedy, gdy przeczytasz rejestr środowiska uruchomieniowego, a nie wpis dostawcy.

Karta określa dwie konfiguracje próbkowania: temperature 1.0 z top_p 0.95 do pracy z tekstem oraz temperature 0.6 z top_p 0.95 do zadań wizyjnych. Domyślnie dostarczana konfiguracja w manifeście Ollama to para tekstowa — code>{"temperature": 1.0, "top_p": 0.95}/code> z code>draft_num_predict: 3/code>. Zatem konfiguracja, w której większość ludzi spotka ten model wizyjny, jest dostrojona pod tę połowę, która nie jest wizyjna. Jeśli pierwszą rzeczą, jaką z nim zrobisz, będzie skierowanie go na zeskanowaną fakturę, a wynik okaże się niestaranny lub z halucynacjami, ustawienia próbkowania są pierwszą rzeczą do zmiany — zanim wyciągniesz jakiekolwiek wnioski na temat checkpointu.

Jeszcze dwa szczegóły dotyczące rejestru, które warto znać przed wdrożeniem. Cztery z dziewięciu opublikowanych tagów — code>:latest/code>, code>:120b/code>, code>:120b-a12b/code> i code>:120b-a12b-q4_K_M/code> — wskazują na tę samą warstwę q4_K_M, więc tag nazwany po pełnej liczbie parametrów nie jest plikiem, który otrzymujesz. Bramka wersji jest natomiast egzekwowana, a nie tylko zalecana: konfiguracja deklaruje code>requires: 0.40.5/code>, więc w starszym środowisku uruchomieniowym pobranie w ogóle nie działa.

Porównaj to z trybem awarii po drugiej stronie tego porównania, którym jest zmieniony punkt końcowy. Astra to usługa hostowana; jej działanie może zostać zmienione. Żadne z tych ryzyk nie jest powodem, by unikać modelu. To różne ryzyka i wymagają różnych środków zaradczych — zmiany konfiguracji po jednej stronie, trasy zapasowej po drugiej.

The NVIDIA Newsroom announcement post, with the masthead across the top, the headline 'Open From Data Center to Desktop: NVIDIA Expands Nemotron Family With Highest Efficiency Super VL and Bolt Models', a 15 October 2026 dateline, and the opening section of the announcement text beneath it.

Odpowiedź dotycząca routingu, która jest taka sama dla obu

Astra działa na naszym kluczu. OrcaRouter kieruje ją po cenie katalogowej dostawcy przekazywanej bez narzutu za token — 10 USD i 50 USD za milion tokenów, a poziom długiego kontekstu jest wyceniony dokładnie tak, jak wycenia go OpenAI, i dostępny u nas tego samego dnia, a nie dopiero przy następnym odnowieniu. Jeśli pytanie brzmi, czy Astra obsłuży Twoje obciążenie dokumentowe, to wystarczy jeden klucz i żadnych procedur zakupowych, a odpowiedź kosztuje kilka dolarów w tokenach.

Checkpoint NVIDIA nie znajduje się na naszym kluczu. Kierujemy ruch do nieco ponad dwustu modeli i nie ma wśród nich wpisu NVIDIA Nemotron, więc ten artykuł nie jest twierdzeniem, że można go wywołać tutaj. Jeśli potrzebujesz tego checkpointu, twoją drogą są własne kanały budowania i dystrybucji NVIDIA oraz lokalne pobranie.

To, do czego platforma naprawdę służy w tej decyzji, to ustalanie kolejności. Przepuść najpierw korpus przez platformę Astra i zmierz dwie rzeczy: koszt na stronę i współczynnik błędów na stronę. Te dwie liczby razem decydują o wszystkim. Jeśli współczynnik błędów jest niski, a wolumen jest niski, pozostań przy rozliczeniu za użycie na zawsze — nigdy nie pokonasz go sprzętem. Jeśli współczynnik błędów jest niski, a wolumen jest wysoki, masz teraz uzasadnienie, by przenieść strony standardowe na własną kartę, a trudne pozostawić przy rozliczeniu za użycie. Jeśli współczynnik błędów jest wysoki, żadna przewaga cenowa po stronie NVIDIA nie pomoże, ponieważ kalkulacja błędnie odczytanej faktury nie opiera się na tokenach.

I niezależnie od tego, którą drogą pójdziesz, umieść nowy model za mechanizmem awaryjnym. Checkpoint, którego wagi mają cztery dni, ma za sobą cztery dni historii operacyjnej, a najtańszym ubezpieczeniem od tego jest drugi model w tym samym wywołaniu. Astra to rozsądna rzecz do umieszczenia za czterodniowym otwartym modelem; to także model, co do którego większość czytelników tej strony dojdzie do wniosku, że nie musi go wymieniać.