
Otwarte zbiory danych po treningu wstępnym Nemotron 3.5 Super VL: Na czym tak naprawdę można dostrajać
- OrcaNOWOŚĆOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 za 1 mln tokenów · 71 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2952Inteligencja
- anthropicAnthropic: Claude Sonnet 5.52026-09-2856Inteligencja
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 za 1 mln tokenów · 741 tok/s
- OpenAIOpenAI: GPT-6 Luna2026-09-2238Inteligencja
- OpenAIOpenAI: GPT-6 Sol2026-09-2248Inteligencja
- AnthropicAnthropic: Claude Opus 5.52026-09-2258Inteligencja
- xAIGrok 4.72026-09-2146Inteligencja
- OrcaOrca: OrcaCyber Zero 1.02026-09-17$3.00 / $7.50 za 1 mln tokenów · 35 tok/s
- OrcaOrca: OrcaVerify Text 1.02026-09-16$2.00 / $0.00 za 1 mln tokenów · 821 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-09-1040Inteligencja
- OpenAIOpenAI: GPT-6 Astra2026-09-0453Inteligencja77Kod
- GoogleGoogle: Gemini 3.8 Flash2026-09-0241Inteligencja76Kod
- AlibabaQwen: Qwen3.8 Max (0902)2026-09-0245Inteligencja76Kod
- AnthropicAnthropic: Claude Fable 5.12026-09-0153Inteligencja82Kod
- TencentTencent: Hy4 preview2026-08-28$0.83 / $2.50 za 1 mln tokenów · 52 tok/s
- AlibabaQwen: Qwen3.8 Flash2026-08-26$0.15 / $0.47 za 1 mln tokenów · 110 tok/s
- z-aiZ.ai: GLM 5.3 Flash2026-08-2642Inteligencja72Kod
- DeepSeekDeepSeek: DeepSeek V4 Flash Vision (Exp)2026-08-21$0.22 / $0.66 za 1 mln tokenów · 184 tok/s
- z-aiZ.ai: GLM 5.32026-08-1845Inteligencja75Kod
NVIDIA Nemotron 3.5 Super VL udostępnił swoje wagi na Hugging Face 12 października 2026 r., a ogłoszono go 15 października. Ta połowa tego wydania, którą większość relacji pominęła, jest tą, na której można faktycznie budować: między 12 a 15 października organizacja nvidia opublikowała jedenaście nowych zbiorów danych do post-trainingu — korpusy nadzorowanego dostrajania i uczenia ze wzmocnieniem stojące za opisanym w samej karcie modelu sześcioetapowym procesem treningu. Każdy z tych jedenastu wskazuje OpenMDW-1.1 jako obowiązujące warunki, ale tu kończy się jednolitość. Dwa z nich na Hubie widnieją jako license: other; dwa kolejne mają drugą licencję ze względu na to, co się w nich znajduje; a dwie karty, które nigdy nie mówią „gotowe do zastosowań komercyjnych lub niekomercyjnych”, nie są tymi, które przyszłyby ci do głowy. Poniżej opisano, co zawiera każdy zestaw, co karty o nim publikują, a czego nie, oraz jak cała ta publikacja wypada na tle wskaźnika 99,62% mediany odzyskiwania dokładności, który czyta się zupełnie inaczej w zależności od tego, który dokument NVIDIA otworzysz.
Co wylądowało i kiedy
Hugging Face rejestruje znaczniki czasu utworzenia, więc jest to odczyt, a nie oszacowanie. Wszystkie jedenaście repozytoriów pojawiło się w ciągu 61 godzin:
• Nemotron-RL-litmus-bench-v0.2 — 12 października, 16:37 UTC. Rozumowanie chemiczne, 47 118 pytań treningowych i 2056 testowych, 64 MB, opracowany na podstawie ChEMBL, danych z wyzwania OpenADMET ExpansionRx i zestawu Biogen ADME. Podwójna licencja CC-BY-SA-4.0 i OpenMDW-1.1, ponieważ pytania pochodzące z ChEMBL są objęte warunkiem share-alike.
• Nemotron-SFT-Agentic-v4 — 14 października, 17:54 UTC. Trajektorie użycia narzędzi jedno- i wieloturowe, 634 664 rekordy konwersacji w podziale tool_calling obejmującym 549 707 i podziale knowledge_agent obejmującym 84 957, 18,88 GB. Wygenerowano za pomocą Qwen3.5-397B-A17B i GLM-5.2.
• Nemotron-SFT-Instruction-Following-Chat-v4 — 14 października, 17:55 UTC. Czat, wieloturowe podążanie za instrukcjami i kontrola długości odpowiedzi, 3 850 582 rekordy rozmów, 80,74 GB. Wygenerowano za pomocą Kimi-K2.6, Gemma4-E4B-it i Qwen3.5-397B-A17B.
• Nemotron-SFT-Agentic-Finance-v1 — 14 października, 18:54 UTC. 7 878 przykładów wieloturowego wywoływania narzędzi obejmujących rozumowanie numeryczne, modelowanie finansowe, analizę rynkową, korekty oraz pytania o przebicie lub niedotarcie oczekiwań na podstawie publicznych dokumentów SEC, 28 MB.
• Nemotron-RL-Agentic-Finance-v1 — 14 października, 18:55 UTC. 10 185 zadań RL, te same pięć rodzin zadań, 166 MB, przy czym kontekst dokumentów sprawozdawczych celowo zatajono, aby agent musiał go pobrać za pomocą sec_filing_search, parse_html_page i retrieve_information.
• Nemotron-SFT-Long-Context-Transduction-v1 — 14 października, 19:47 UTC. 10 000 par instrukcja–odpowiedź, 1,22 GB, do śledzenia pozycji i transformacji sekwencji. Żaden model ich nie wygenerował: karta stwierdza wprost, że żaden model językowy nie tworzy przykładów ani odpowiedzi, a cztery rodziny zadań to ocena arytmetyczna, sortowanie tokenów szesnastkowych, rozwijanie zmiennych i transformacja CSV.
• Nemotron-SFT-Long-Context-Translation-PG19-v1 — 14 października, 20:14 UTC. 4 335 przykładów tłumaczeń z języka angielskiego na wiele języków, 2,22 GB, teksty źródłowe pochodzące z książek w domenie publicznej z korpusu PG-19 i przetłumaczone za pomocą DeepSeek V4 Flash.
• Nemotron-RL-Finance-Tool-Calling-v1 — 14 października, 22:46 UTC. 90 307 rekordów finansowych — 81 397 próbek podstawowego rozumowania oraz 8 910 szerszych próbek agenta finansowego — w 1,23 GB, uruchomionych w środowisku Finance SEC Search w NeMo Gym.
• Nemotron-SFT-Finance-Document-Grounded-Reasoning-v1 — 14 października, 22:46 UTC. 63 056 przykładów w 1,01 GB, opartych na dokumentach 10-K, 10-Q i 8-K złożonych przez spółki z indeksu S&P 500, obejmujących lata 2017–2024.
• Nemotron-RL-Agentic-Conversational-Tool-Use-Seed-v1 — 14 października, 23:45 UTC. 100 000 rekordów, 3,86 GB: polityki startowe, definicje narzędzi i scenariusze dla serwera zasobów conversation_tool_use_simulation, obejmujące hotelarstwo, e-commerce, bankowość i ubezpieczenia, na potrzeby symulowanych konwersacji agentowych podczas RL.
• Nemotron-SFT-BBQ-v1 — 15 października, 05:22 UTC. Angielskie dane dotyczące sprawiedliwości obejmujące wiek, wygląd fizyczny i niepełnosprawność — po 2000 rekordów, łącznie 6000, 8,0 MB — opracowane zgodnie z taksonomią Bias Benchmark for QA, z rozmowami między fikcyjnymi uczestnikami zaprojektowanymi tak, aby nagradzać odpowiedzi oparte na dowodach, a nie na założeniach.
Dwie rzeczy dotyczące tej listy mają większe znaczenie niż liczby wierszy. Po pierwsze, zakres licencji nie jest tak jednolity, jak sugeruje tag nagłówka, a po drugie – czyje to są dane wyjściowe.

Tag licencji nie jest całą licencją
Wszystkie jedenaście repozytoriów wskazuje {{1}}OpenMDW-1.1{{/1}} jako swoje obowiązujące warunki. Różnica polega na tym, jak to do Ciebie dociera, a różnice warto przeczytać, zanim zbudujesz na tym cokolwiek komercyjnego.
• Tag a nazwana licencja — dziewięć z jedenastu ma license: openmdw-1.1 jako zwykły tag, który można odczytać bezpośrednio z API. Nemotron-SFT-Agentic-Finance-v1 i Nemotron-RL-Agentic-Finance-v1 występują jako license: other z license_name: openmdw-1.1 oraz linkiem do umowy. Warunki są takie same; narzędzie filtrujące repozytoria po tagu licencji zobaczy dwie różne wartości.
• Druga licencja z powodu danych źródłowych — Nemotron-SFT-Long-Context-Translation-PG19-v1 ma licencję Apache-2.0 obok OpenMDW-1.1, ponieważ korpus źródłowy to PG-19, a jego karta dodaje, że bazowe utwory angielskie są w domenie publicznej w Stanach Zjednoczonych, ale status praw autorskich może się różnić w innych jurysdykcjach, więc użytkownicy powinni sprawdzić lokalne przepisy przed redystrybucją. Nemotron-RL-litmus-bench-v0.2 ma licencję CC-BY-SA-4.0 obok OpenMDW-1.1, przy czym warunek share-alike dotyczy konkretnie pytań pochodzących z ChEMBL.
• Zdanie o zastosowaniu komercyjnym — dziewięć kart zawiera stwierdzenie „Ten zestaw danych jest gotowy do zastosowań komercyjnych lub niekomercyjnych”. Dwie, które tego nie robią, to Nemotron-SFT-Long-Context-Transduction-v1 i Nemotron-SFT-Long-Context-Translation-PG19-v1 — para długiego kontekstu, a nie zbiory finansowe.
• Gdzie udokumentowano wyłączenie treści — finanse. Karta oparta na dokumentach stwierdza, że wydanie zachowuje wyłącznie dozwolone fragmenty o ograniczonym kontekście z treści formularzy 10-K, 10-Q i 8-K, a pełny korpus SEC, wszystkie załączniki oraz wszelkie treści opatrzone informacją o prawach autorskich osób trzecich są wyłączone, wymieniając raporty konsultantów, prezentacje, opinie o godziwości i badania analityków. Zauważa również, że fragmenty pozostają w gestii ich odpowiednich emitentów.
Praktyczny odczyt jest więc odwrotnością intuicyjnego. Zbiory finansowe to te z najgłośniejszą plakietką licencyjną — czystym openmdw-1.1 w zbiorach opartych na dokumentach i wywołujących narzędzia — oraz te z największą liczbą udokumentowanych ograniczeń dotyczących tego, co się w nich znajduje. Zbiory długiego kontekstu to te, których metadane Hub i opis słowny najbardziej się ze sobą nie zgadzają. Żadne z nich nie jest powodem, by odchodzić; oba są powodem, by przeczytać cztery karty zamiast jednego pola licencyjnego.

Czyje dane wyjściowe trenowały flagowy model NVIDIA?
Drugą rzeczą, która przewija się przez cały drop, są modele generatywne, a karty wymieniają je bez ogródek. Flagowy zestaw agentowego SFT powstał z użyciem Qwen3.5-397B-A17B i GLM-5.2. Zestaw do podążania za instrukcjami dodaje Kimi-K2.6 i Gemma4-E4B-it. Oparty na dokumentach zestaw finansowy wskazuje Qwen3.5-397B-A17B do generowania pytań, DeepSeek-V4-Pro do odpowiedzi oraz gpt-oss-120b do filtrowania i selekcji. Zestaw RL finansowy do wywoływania narzędzi wymienia Qwen3.5-397B-A17B i Qwen3-235B-A22B-Instruct-2507 na wcześniejszym etapie, DeepSeek-V4-Pro do odpowiedzi, gpt-oss-120b do filtrowania oraz sam NVIDIA Nemotron do profilowania trudności RL w ośmiu rolloutach. Tłumaczenia PG-19 powstały z użyciem DeepSeek V4 Flash.
To decyzja wydawnicza, a nie przypadek, i jest to najużyteczniejsza rzecz w tym wydaniu dla każdego, kto próbuje rozumować o jakości. Mówi ci, że prior behawioralny, na którym dostrajasz, w dużej mierze nie pochodzi od NVIDIA — to mieszanka dwóch chińskich frontierowych rodzin otwartych wag, modelu OpenAI o otwartych wagach i małego modelu Google. Jeśli masz zdanie na temat tego, jak którykolwiek z nich zachowuje się na tekstach finansowych albo przy wyborze narzędzi, to zdanie odnosi się do twojego punktu startowego tutaj, a teraz masz proweniencję, by to sprawdzić, zamiast zgadywać.
Dlaczego dane są tym, na czym możesz działać
Powód, dla którego publikacja zbioru danych jest ciekawszą połową tej premiery, widać w liczbach samego dostawcy. Post w newsroomie NVIDII wymienia organizacje, które przeprowadziły trening dostrajający model, i cytuje ich wyniki: Scale AI w przypadku pracy Skydance nad uznaniami dostawców, z „40x niższym kosztem wnioskowania” i „5x niższym opóźnieniem”; Ramp przy konwersji obrazów paragonów na ustrukturyzowany JSON, oczekując „nawet o 50% wyższej przepustowości i 10x niższego opóźnienia”; AI21 i Alice przy analizie zagrożeń, z „o 41% wyższą dokładnością”. Przeczytaj blog dla deweloperów razem z newsroomem, a te same wyniki klientów sprowadzają się do „40x niższego kosztu wnioskowania, 10x niższego opóźnienia i 40% wyższej dokładności” — 40 tam, gdzie newsroom mówi 41, i 10x tam, gdzie mówi 5x, w przypadku tego, co wygląda na te same dwa wdrożenia. To oczekiwania klientów dotyczące ich własnych obciążeń, a nie benchmarki, i żadnej z tych wersji nie możesz odtworzyć.
Odtwarzalny jest przepis. Redakcja podaje, że model został poddany treningowi po wstępnym szkoleniu na około 3,8 mln próbek oraz uczeniu ze wzmocnieniem w kilkudziesięciu środowiskach, a otwarte zbiory danych obejmują agentowe korzystanie z narzędzi, finanse, podążanie za instrukcjami, długi kontekst, sprawiedliwość i rozumienie wizualno-językowe. Powyższe jedenaście repozytoriów to ten korpus, a środowiska NeMo Gym, na które wskazują karty modeli, stanowią infrastrukturę. Zespół, który chce zbudować agenta do analizy dokumentów, ma teraz model, przepisy serwowania, biblioteki do dostrajania i dane treningowe w jednym miejscu. Lukę między „ten model można wyspecjalizować” a „oto specjalizacja, którą możesz pobrać już dziś” zamykają właśnie te repozytoria.
Jedno zastrzeżenie do tej listy kategorii: newsroom NVIDIA uwzględnia rozumienie wizualno-językowe wśród udostępnionych zbiorów danych, a jedenaście nowych repozytoriów zbiorów danych NVIDIA utworzonych w tym oknie to korpusy tekstowe i korpusy użycia narzędzi. Opierający się na dokumentach zbiór finansowy jest najbliższym odpowiednikiem zbioru wizyjnego w tym wydaniu i pod względem formatu jest wyłącznie tekstowy. Jeśli szukasz części dotyczącej obrazów i wideo, danych tu nie ma — najnowszy wizyjny zbiór danych NVIDIA w Hubie został opublikowany pięć dni przed tym oknem.
Czego karty nie ujawniają i ile cię to kosztuje
Oto liczba, której nikt nie umieszcza w poście o premierze, a przy tym wydaniu jest to liczba, której brak. Żadna z jedenastu kart zbiorów danych nie publikuje liczby tokenów. Podają liczby rekordów i rozmiary pamięci — i to wszystko. Zatem na pytanie o rozmiar — ile godzin GPU zajmuje jedna epoka na zbiorze instrukcji — nie można odpowiedzieć na podstawie wydania; można na nie odpowiedzieć jedynie szacunkowo, dzieląc bajty przez założony stosunek bajtów na token, a to dokładnie taki rodzaj liczby, który trafia do relacji tak, jakby została zmierzona.
To, na czym możesz się oprzeć, to opublikowane dane o zajętości miejsca: 80,74 GB dla Nemotron-SFT-Instruction-Following-Chat-v4, 18,88 GB dla Nemotron-SFT-Agentic-v4, 3,86 GB dla konwersacyjnego zestawu zalążkowego do użycia narzędzi, a potem długi ogon — 2,22 GB, 1,23 GB, 1,22 GB, 1,01 GB, 166 MB, 28 MB, 8,0 MB, 64 MB. Dwa największe zbiory są o jeden do dwóch rzędów wielkości większe niż wszystko inne w tym zrzucie, co mówi, gdzie faktycznie leży ciężar etapu po treningu, bez potrzeby liczenia tokenów.
• Nemotron-SFT-Instruction-Following-Chat-v4 — 80,74 GB i 3 850 582 rekordy. To zbiór, który sprawia, że pełny trening wszystkich parametrów staje się projektem, a nie zadaniem na jedno popołudnie.
• Nemotron-SFT-Agentic-v4 — 18,88 GB i 634 664 rekordów. Mniej więcej jedna czwarta rozmiaru, co stawia go w zasięgu uruchomienia na pojedynczym węźle.
• Nemotron-SFT-BBQ-v1 — 8,0 MB i 6000 rekordów. Wystarczająco mały, by iterować nad nim w kilka minut, co czyni go najtańszym sposobem na udowodnienie, że pętla dostrajania jest poprawnie podłączona, zanim przeznaczysz tydzień GPU na zadanie, na którym naprawdę ci zależy.
• Nemotron-SFT-Long-Context-Transduction-v1 — 1,22 GB, ale tylko 10 000 przykładów, z opublikowanym zakresem dla pojedynczego przykładu od 2 048 do 131 072 tokenów docelowych. Tutaj koszt wynika z długości sekwencji, a nie z wolumenu, a karta podaje, że budżety to docelowe wartości generowania oszacowane przy użyciu cl100k_base, a nie zmierzone liczby po treningu.
Jeśli chodzi o skalę po stronie modelu, karta modelu publikuje budżety etapów: rozgrzewka MTP na 100 miliardów tokenów na zamrożonym backbone, jeden bilion tokenów destylacji z następnego, większego modelu Nemotron, 100 miliardów tokenów kontynuowanego pretreningu na danych Indic, rozszerzenie do kontekstu 1M o 35 miliardów tokenów, 67 miliardów tokenów treningu pośredniego z inżynierii oprogramowania przy 256K oraz etap odzyskiwania długiego kontekstu na 9 miliardów tokenów. To jedyne budżety tokenowe, jakie NVIDIA podaje gdziekolwiek w tym wydaniu, i dotyczą one trenowania modelu bazowego, a nie dostrajania na tych zbiorach danych.
To również wyjaśnia, dlaczego ścieżka LoRA ma tu znaczenie, a nie jest jedynie przypisem. NVIDIA kieruje deweloperów do NVIDIA NeMo AutoModel w celu nadzorowanego dostrajania i adaptacji niskiej rangi, a adaptery są tym, co odróżnia zmianę kilku zachowań modelu od ponownego wyliczania 249 GB wag. Obie ścieżki są realne, a wybór między nimi to decyzja o tym, jak dużą część zachowania modelu bazowego zamierzasz zmienić. Zespół finansowy dążący do wąskiego schematu lub zachowania zgodnego z polityką jest w obszarze LoRA. Zespół, który chce, aby model utrzymywał nową procedurę operacyjną w każdej swojej interakcji, już nie.
Dwa dokumenty, jeden benchmark, przeciwne odpowiedzi
Raport techniczny towarzyszący temu wydaniu jest datowany na 14 października i zawiera liczbę, która przebyła najdalszą drogę bez swojego kontekstu. NVIDIA podaje, że udostępniony checkpoint NVFP4 osiąga 99,62% medianowego odzyskania dokładności względem BF16 w 36 benchmarkach, po agresywnej recepturze kwantyzacji po treningu, po której następuje 200 iteracji destylacji świadomej kwantyzacji opartej na SFT — przy czym enkoder wizyjny C-RADIO, konektor VL, konwolucje Mamba i embeddingi pozostawiono w BF16, a obliczenia routera pozostawiono w FP32, zgodnie z tabelą raportu dla poszczególnych modułów.
„Mediana odzysku dokładności” to mediana ilorazów, a nie minimum. Aby uzyskać 99,62%, raport oblicza stosunek wyników dla każdego benchmarku i wybiera środkowy spośród 36, więc nagłówek mówi, że typowy benchmark wypada o około cztery dziesiąte procenta poniżej pełnej precyzji, a zupełnie nic nie mówi o ogonie. Własna tabela raportu pokazuje ogon: Tau3 Banking na poziomie 94,20%, część SciCode dotycząca rozwiązywania problemów na poziomie 93,63%, MMLU-ProX na poziomie 95,90% — a w drugą stronę GDPVal na poziomie 111,53% i Terminal-Bench v2.1 na poziomie 103,47%, ponieważ kwantyzacja może w pojedynczym przebiegu wypaść powyżej referencji BF16.
Następnie porównaj kartę modelu, a historia staje się ciekawsza niż ogon. Karta modelu NVFP4 samej NVIDII publikuje tabelę BF16 kontra NVFP4 dla tego samego checkpointu, a na niej Terminal-Bench 2.1 ma wynik 66,70 wobec 60,80 — wersja skwantyzowana o dziewięć procent niżej. W tabeli pełnego zestawu raportu technicznego ten sam benchmark ma wynik 60,67 wobec 62,78, a wersja skwantyzowana prowadzi. Ten sam model, ten sam benchmark, ta sama rodzina narzędzi ewaluacyjnych, dwa dokumenty NVIDIA, przeciwne kierunki. Karta pokazuje też, że WebVoyager spada z 77,72 do 66,31, a DeepSWE z 24,65 do 18,2, z których żaden nie jest wersją historii, jaką dostajesz z nagłówka 99,62%.
To nie jest skandal — różne tabele mogą mieć różne konfiguracje harnessu, a tabela w raporcie podaje procent odzyskania przy każdym wierszu — ale oznacza to, że uczciwa odpowiedź na pytanie „czy NVFP4 powoduje u mnie utratę dokładności” brzmi: w większości opublikowanych wierszy ledwie; w tych wierszach, w których jednak tak, w większym stopniu, niż sugeruje mediana; a dwa dokumenty dostawcy nie zgadzają się co do tego, które to wiersze. Jeśli twoje obciążenie to praca agentowa w terminalu, zmierz je ponownie samodzielnie, zamiast wybierać tabelę.
Arytmetyka wdrożenia natomiast jest jednoznaczna i stanowi najsilniejszy argument za wersją skwantyzowaną. Repozytorium BF16 zawiera łącznie 248,9 GB plików checkpointów, a jego własny quick-start obsługuje go na 4× H100. Repozytorium NVFP4 zawiera łącznie 75,06 GB, co raport określa na 4,82 bita na parametr, w tym skale, i to mieści się na jednym H200, jednym GB200 lub pojedynczym DGX Spark. Na jednym GB200 raport podaje maksymalnie 4 856 tokenów wyjściowych/s/GPU w obciążeniu agentowym proxy na 20 tur, utrzymując co najmniej 50 tokenów/s/użytkownika, z NVFP4 na poziomie 2,43× przepustowości BF16 w tym samym obciążeniu, a model na poziomie 2,34× i 1,90× przepustowości Qwen3.5-122B-A10B i Qwen3.8 Flash-Next. Wszystkie te wartości zostały zmierzone przez NVIDIA, na własnym stosie serwującym NVIDIA, przy dowolnej współbieżności wybranej przez przepis.
Jeszcze jedną czwartą wydania łatwo przeoczyć, a ma ona znaczenie, jeśli o twoim fine-tunie mają później toczyć się spory. Raport opisuje etap usuwania zanieczyszczeń z danych po treningu, w którym usunięto 20 671 próbek — około 0,09%, w podziale na 14 793 próbki SFT i 5 878 próbek RL — pasujących do 1 808 pytań benchmarkowych, czyli 6,0%, w 22 z 30 sprawdzonych benchmarków, przy czym około 3% ocenianych par kandydackich oznaczono jako poważne zanieczyszczenie. Większość wydań z otwartymi wagami w ogóle nie publikuje metodyki czyszczenia. Posiadanie takiej, na którą można się powołać, jest warte więcej, niż się wydaje, gdy klient pyta, dlaczego wyniki ewaluacji twojego fine-tune'a wyglądają tak, jak wyglądają.

Jak to zmienia to, co możesz zrobić w tym tygodniu
Trzy konkretne rzeczy, które nie były możliwe przed 12 października, są teraz możliwe.
Pierwszy to agent do dokumentów finansowych, którego można zbudować bez rozmowy o licencjonowaniu danych — z jednym zastrzeżeniem. Repozytoria finansowe obejmują pełną pętlę: 63 056 przykładów SFT opartych na dokumentach z siedmiu lat dokumentów S&P 500, 90 307 rekordów wywołań narzędzi RL w środowisku wyszukiwania SEC na żywo, 7 878 wieloturkowych przykładów wywołań narzędzi dla warstwy behawioralnej oraz 10 185 zadań RL z wstrzymanym kontekstem dokumentu, tak aby wyszukiwanie było częścią zadania. Zastrzeżenie to wyłączenie udokumentowane powyżej: tylko fragmenty, załączniki wyłączone, usunięty materiał objęty prawami autorskimi stron trzecich, a kwestie pozostają odpowiedzialnością emitentów. To dobrze udokumentowane stanowisko, a nie czyste, i to jest zestaw, w którym powinieneś przeczytać kartę przed kodem.
Drugi to agentowe użycie narzędzi i jest to najlepiej wspierany pion w tym wydaniu. Między 634 664 rekordami Nemotron-SFT-Agentic-v4, liczącym 100 000 rekordów konwersacyjnym zestawem zalążkowym do użycia narzędzi ze scenariuszami hotelarskimi, e-commerce, bankowymi i ubezpieczeniowymi a środowiskami NeMo Gym, na które wskazują karty, cały potok jest opisany od początku do końca: generuj trajektorie, prowadź symulowane rozmowy, trenuj z weryfikowalnymi nagrodami, oceniaj w środowisku testowym, którego użył sam dostawca. Niezależnie od tego, co sądzisz o modelu, to kompletny publiczny przepis na przekształcenie ogólnego modelu wizyjno-językowego w agenta wywołującego narzędzia, i to jest ta część, która kiedyś była wiedzą plemienną.
Trzeci to punkt odniesienia w zakresie sprawiedliwości, na którym można faktycznie prowadzić iteracje. Nemotron-SFT-BBQ-v1 to 6 000 rekordów i 8,0 MB, jest zrównoważony w stosunku 2 000/2 000/2 000 pod względem wieku, wyglądu fizycznego i niepełnosprawności, a jego rozmowy są napisane tak, aby zarówno odpowiedź oparta na dowodach, jak i odpowiedź oparta na założeniach były wiarygodne. Przy takim rozmiarze możesz go uruchomić, ocenić i ponownie uruchomić w ciągu jednego popołudnia, co zamienia pytanie „jak to testowaliście?” z problemu zakupowego w eksperyment.
Wypróbowanie tego bez stawiania na to ścieżki produkcyjnej
Niezręczną częścią tego wydania jest wdrożenie, nie dane. Checkpoint BF16 wymaga czterech H100, a skwantyzowany – jednego H200 lub GB200, otwarte wagi są na Hugging Face, a własna ścieżka dostawcy do hostowanego endpointu to NVIDIA NIM, przy czym newsroom wymienia również platformy firm trzecich. Nie udostępniamy tego modelu, więc jeśli chcesz zarządzany endpoint, szukaj własnego API dostawcy i kilku platform firm trzecich; to, do czego router jest tu przydatny, to reszta decyzji.
Jeden klucz obejmujący ponad 200 modeli w cenie katalogowej dostawcy z 0% narzutu oznacza, że porównanie wersji NVFP4 z dowolnym modelem tekstowym, którego dziś używasz, kosztuje zmianę jednej linii, a nie drugą umowę z dostawcą, oraz automatyczne przełączanie awaryjne między dostawcami oznacza, że obciążenie, które dopiero testujesz, może współistnieć z ruchem produkcyjnym, bez zależności jednego od drugiego. To kształt decyzji, którą można odwrócić — czego właśnie chcesz od modelu, którego dokumentacja ma dwa dni, a którego własne tabele benchmarków są ze sobą sprzeczne.
Praktyczna kolejność jest następująca: weź Nemotron-SFT-BBQ-v1 albo wycinek zestawu agentowego, uruchom LoRA na wynajętym H200, aby potwierdzić działanie swojej pętli, oceń wyniki względem własnej ewaluacji i dopiero wtedy zdecyduj, czy wersja pełnej precyzji o rozmiarze 249 GB oraz cztery GPU są tego warte. Zbiory danych można pobierać bezpłatnie, a te małe można uruchamiać bezpłatnie. Nic w tym planie nie wymaga, żebyś wierzył w medianę 99,62%.
Czego jeszcze brakuje?
Warto obserwować trzy luki, ponieważ zmieniają one kalkulację, a nie marketing.
Pierwsza kwestia to niezależna ocena wyników dostrojenia. Każdy wynik po treningu w tym wydaniu — wzrost w Terminal-Bench z 62,7 do 71,9 dzięki równoległemu wykonywaniu przez agentów i samoweryfikacji, wzrost w DeepSWE z 24,6 do 34,5 w tym samym eksperymencie, poprawa dokładności o 41% w AI21, redukcja kosztów 40× w Scale AI — pochodzi ze stanowiska testowego NVIDIA lub z własnego pomiaru klienta. Nie ma strony trzeciej, która odtworzyła dostrojenie Nemotron 3.5 Super VL na tych zbiorach danych i opublikowała wynik. Dopóki takiej nie ma, traktuj wielkości efektu jako górną granicę.
Drugi to ścieżka wideo. Model przyjmuje pliki MP4 o długości do dwóch minut przy 2 FPS i 256 klatkach albo 1 FPS i 128 klatkach dla 1080p, ze współczynnikiem przycinania 0,5 — a w tym wydaniu nie ma publicznego zbioru danych do douczania wideo. Wszystkie powyższe repozytoria są tekstowe, a zbiory do tłumaczenia i transdukcji to tekst o długim kontekście, a nie cokolwiek wizualnego. Jeśli twoim przypadkiem użycia jest rozumienie wideo, które reklamuje karta modelu, NVIDIA dostarczyła tę możliwość bez danych pozwalających ją wyspecjalizować.
Trzecia kwestia jest taka, że nikt nie opublikował, jak te zbiory danych wpływają na model inny niż Nemotron. Wszystkie jedenaście powstało, aby wytworzyć mieszankę danych na etapie post-trainingu jednego modelu — karty wprost mówią, że niektóre zestawy konsolidują wcześniejsze wersje specyficzne dla Nemotronu, a konwersacyjny zestaw zalążkowy opisano jako dane zalążkowe dla zestawu pivotowego, a nie jako świeżo wygenerowane dane. Czy korpus agentowy przenosi się na inny backbone 120B, pozostaje kwestią otwartą i jest to pierwsze pytanie, na które zespół mający istniejący stos do fine-tuningu będzie chciał poznać odpowiedź.
Wszystkie trzy luki są tego rodzaju, że zamyka się je pracą kogoś innego, a nie NVIDII, co jest typowym przebiegiem w przypadku otwartego wydania. Wagi można pobrać już dziś, dane można pobrać już dziś, a pierwszy wiarygodny niezależny fine-tuning będzie tym, co powie ci, czy cokolwiek z tego jest warte czasu GPU.
Porównane w tym artykule2
Wykryto na podstawie tego artykułu · Benchmarki: Artificial Analysis · aktualizowane codziennie
