
Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma: ta sama linia pochodzenia wag, dwa kontrakty dekodowania
- GoogleNOWOŚĆGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 za 1 mln tokenów · 90 tok/s
- AnthropicNOWOŚĆAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 za 1 mln tokenów · 97 tok/s
- orcaNOWOŚĆOrca: OrcaC2 1.02026-11-0717 tok/s
- OrcaNOWOŚĆOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 za 1 mln tokenów · 88 tok/s
- OrcaNOWOŚĆOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 za 1 mln tokenów · 133 tok/s
- OrcaNOWOŚĆOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 za 1 mln tokenów · 72 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 za 1 mln tokenów · 127 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 za 1 mln tokenów · 65 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 za 1 mln tokenów · 92 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 za 1 mln tokenów · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Inteligencja
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 za 1 mln tokenów · 193 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Inteligencja
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 za 1 mln tokenów · 146 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Inteligencja
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Inteligencja
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 za 1 mln tokenów · 124 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955Inteligencja
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855Inteligencja
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 za 1 mln tokenów · 218 tok/s
Mylić może to, że Nemotron-Labs-Sigma-distill-8B-nfe4 nie jest lepszą wersją Nemotron-Labs-Sigma-8B. To inny plik z innym kontraktem, powstały z nauczyciela z tej samej linii, a różnica między nimi nie dotyczy dokładności — chodzi o to, ile razy sieć jest uruchamiana, aby wygenerować słowo. Bazowy 8B opublikowano 5 października 2026 jako wstępnie wytrenowany model badawczy: 8,49 mld parametrów, konfigurowalne kroki odszumiania, classifier-free guidance wymagające ręcznego dostrojenia oraz karta, która nie publikuje żadnych wyników, tylko odsyła do arXiv:2610.02665. Destylowany nfe4 pojawił się 12 listopada 2026 z 9,03 mld parametrów, liczbą kroków wpisaną na stałe do checkpointu i jedyną tabelą wyników dla poszczególnych benchmarków, jaką NVIDIA umieściła na karcie Sigma. Oba modele obsługują wyłącznie angielski, oba mają limit 4096 tokenów i oba są objęte tą samą licencją. Wybór między nimi to wybór sposobu, w jaki model ma zużywać moc obliczeniową.
Co właściwie się różni, plik po pliku
Oba repozytoria zawierają ten sam model_type — nemotron_labs_sigma — i oba są ładowane w ten sam sposób, z trust_remote_code i plikiem modelowania o rozmiarze 40 KB z repozytorium. Konfiguracje różnią się w sposób istotny podczas wnioskowania i prawie wcale w szkielecie:
• Szkielet — identyczny kształt w obu: 34 warstwy, wymiar ukryty 4096, FFN 14 336, 32 głowice zapytań i 8 głowic klucz-wartość, SwiGLU, RoPE, słownik 131 072 tokenów.
• Parametry — 8,49 mld (8 489 947 136 BF16 oraz 2 097 186 F32) dla wersji bazowej, 9,03 mld (9 026 818 048 BF16 oraz ta sama liczba F32) dla wersji destylowanej. Dodatkowe 537 mln to pomocnicza autoregresyjna głowica odczytu, którą wersja destylowana zachowuje obok głowicy dyfuzyjnej.
• Wagi na dysku — 16,99 GB wobec 18,06 GB, po cztery shardy każda.
• Kontekst — 4096 tokenów zarówno dla wersji bazowej, jak i destylowanej. Wariant instruct w tej samej kolekcji zwiększa to do 8192 i dodaje szablon czatu; żaden z tutejszych modeli go nie ma.
• Kroki — base udostępnia steps i block_length w momencie wywołania, a jego karta publikuje tabelę dla każdego budżetu; distill nie przyjmuje żadnego nadpisania.
• Guidance — model bazowy wymaga classifier-free guidance (3.0 przy 32 i 16 krokach, 2.0 przy 4) oraz dostrojonej temperatury score; model destylowany działa z CFG 1 i temperaturą score 1, czyli bez guidance i bez dostrajania.
• Sampler — model bazowy jest udokumentowany dla DDIM na siatce log_snr, domyślnie z blokami 64 tokenów; model destylowany używa fresh_x0 z self-conditioning przenoszonym między krokami oraz blokami 32 tokenów.
Liczba kroków nie jest ustawieniem w modelu destylowanym
To jest zdanie w karcie modelu, które na nowo ustawia całe porównanie: „Liczba kroków odszumiania jest ustalona przez trening: ten wariant jest trenowany wyłącznie dla NFE=4, a dołączony kod wnioskowania celowo nie udostępnia dowolnego nadpisania liczby kroków (inne liczby kroków oceniałyby nietrenowane punkty końcowe faz)”.
Phased DMD destyluje trajektorię, a destylowana trajektoria ma punkty końcowe faz przy określonych poziomach szumu. Poproś czterokrokowego ucznia o wykonanie ośmiu kroków, a nie uruchamiasz go wolniej dla lepszej jakości — prosisz go o ocenę przy poziomach szumu, na których nigdy nie był trenowany. Karta mówi, że wynik się pogarsza. Nie ma pokrętła.
W przypadku bazy jest odwrotnie. Jej karta podaje tabelę — DDIM-32 z CFG 3 i temperaturą score 0,3, DDIM-16 z CFG 3 i 0,4, DDIM-8 z CFG 3 i 0,6, DDIM-4 z CFG 2 i 0,8 — a następnie dodaje ostrzeżenie, że poniżej około 16 kroków wstępnie wytrenowane modele zauważalnie tracą jakość oraz że do generowania w kilku krokach należy zamiast tego używać wariantów destylowanych.
Czytane razem, te dwa stwierdzenia tej samej organizacji tworzą podział pracy: wersja bazowa jest tym, co dostrajasz, a wersja destylowana tym, czego nie dostrajasz. Jeśli chcesz pokrętła, wybierz wersję bazową. Jeśli chcesz stałej, wybierz wersję destylowaną.

Arytmetyka, która ich dzieli
Przedstaw oba kontrakty w tych samych jednostkach, a powód istnienia pliku destylowanego stanie się oczywisty.
• Base przy zalecanym ustawieniu — 33 wywołania denoisera na blok 64 tokenów (32 kroki plus odczyt), co daje 1,9 tokena na przebieg w przód.
• Bazowo 4 kroki — 5 wywołań na blok 64 tokenów, 12,8 tokenu na przebieg, ale karta ostrzega, że jakość zauważalnie spada poniżej 16 kroków.
• Destyluj nfe4 — 5 wywołań na blok 32 tokenów, 6,4 tokena na przebieg, przy jakości, jaką publikuje karta.
• Destyluj nfe8 — 9 wywołań na blok 32 tokenów, 3,6 tokena na przebieg i o 4 punkty lepszy wynik w średniej z sześciu zadań.
Zatem destylowany nfe4 plasuje się między bezpiecznym punktem pracy modelu bazowego a jego niebezpiecznym punktem: trzykrotnie mniej przejść w przód na token niż w zalecanej konfiguracji bazowej, przy liczbie kroków, do której model był faktycznie trenowany. To całe założenie tego wydania — założenie dotyczące obliczeń, a nie inteligencji.
Nie jest to natomiast zmierzona przepustowość. Karta bazowa podaje około 120–140 tokenów na sekundę dla 256 generowanych tokenów na jednym H100 z DDPM przy 32 krokach na blok 64 tokenów. Karta destylowana nie publikuje żadnej wartości tokenów na sekundę. Powyższe współczynniki liczby wywołań to arytmetyka na publikowanych liczbach kroków; traktuj je jako takie.
Który z nich ma liczby i ile są warte
W tym miejscu obie karty wyraźnie się rozchodzą, i to w kierunku, który jest niewygodny dla bazy.
Nemotron-Labs-Sigma-8B nie publikuje tabeli benchmarków. Jego sekcja ewaluacji to dwa zdania mówiące, że wyniki „są raportowane w raporcie technicznym”. Wszystko, co można wiedzieć o jego dokładności, trzeba zaczerpnąć z arXiv:2610.02665 — artykułu, który obejmuje rodzinę modeli 3B i 8B, zarówno w wersji bazowej, jak i destylowanej, i którego streszczenie twierdzi, że modele przewyższają maskowane dyfuzyjne LM oraz autoregresyjne baseline’y, osiągając największe spójne zyski w kodowaniu.
Destylowana karta nfe4 rzeczywiście publikuje liczby, dla dziesięciu seedów z dwoma błędami standardowymi: GSM8K 86,86 ± 0,28, MATH 61,52 ± 0,20, HumanEval 60,61 ± 1,43, HumanEval+ 57,99 ± 1,20, MBPP 57,50 ± 0,61, MBPP+ 73,70 ± 1,07, średnia z sześciu zadań 66,36 ± 0,46. Dziewięć z dziesięciu wartości seedów mieści się w zakresie od 42 do 51, więc protokół opisano wystarczająco precyzyjnie, aby można go było odtworzyć.
Te dwie karty razem nie pozwalają więc stwierdzić, ile kosztowała destylacja. To najużyteczniejsza pojedyncza liczba w tym porównaniu i jej brakuje, ponieważ karta nauczyciela nie ma tabeli, od której można by ją odjąć. Twierdzenie to żyje wyłącznie w artykule, a jego sformułowanie ma charakter kierunkowy: około 8× przyspieszenia w matematyce i 4× w kodowaniu dzięki destylacji dopasowującej rozkłady „przy niewielkiej utracie dokładności”. Te mnożniki są raportowane w artykule, a nie w kartach, i odnoszą się do własnych eksperymentów rodziny modeli, a nie do kontrolowanego porównania dokładnie tych dwóch checkpointów dostępnych dziś w hubie.
Jeszcze jedna komplikacja w samej linii distill: wariant bliźniaczy nfe16 jest oznaczony jako pending_ten_seed_six_task_validation. Jego średnia z trzech zadań wynosząca 74,50 pochodzi z pojedynczego przebiegu seed-42, a karta mówi, aby nie porównywać go ze średnimi z dziesięciu seedów innych wariantów. Zatem „największy jest najlepszy” to interpretacja, której karta wyraźnie odmawia poparcia.
Trzecia opcja, której nikt nie nazywa
Kolekcja zawiera wariant, który nie jest żadnym z dwóch modeli w tym porównaniu i prawdopodobnie jest najciekawszym plikiem w niej: Nemotron-Labs-Sigma-distill-spec-8B. To ten sam nauczyciel MS-SUSReg-8B, destylowany z dodatkowym celem akceptacji, i zamiast działać jako czysty próbnik kilkukrokowy, szkicuje blok 32 tokenów swoją głowicą dyfuzyjną i weryfikuje go własną głowicą autoregresyjną. Każda runda kosztuje jedno wywołanie dyfuzji, a zaakceptowane tokeny są emitowane bez dodatkowego przejścia w przód. Karta stwierdza, że zwracany tekst jest dokładnie zachłannym wynikiem autoregresyjnym — akceptacja zmienia przepustowość, nigdy treść.
Opublikowane wartości akceptacji, pojedynczy zrzut: średnia zaakceptowana długość 7,91 na HumanEval, 11,86 na GSM8K, 13,37 na MBPP, z uwzględnieniem tokenu bonusowego, z wyłączeniem rundy bootstrap. To miary przepustowości, a nie miary dokładności, i nie można ich porównywać z tabelą dokładności nfe4 — różnicę tę karta wyróżnia pogrubieniem.
W praktyce to jest wariant, na który warto zwrócić uwagę, jeśli pytanie brzmi: „czy głowica dyfuzyjna może przyspieszyć model bez zmiany tego, co on mówi”. Nie jest to zamiennik typu drop-in dla żadnego z modeli w tym porównaniu: wymaga generate_speculative, obu głowic i wyłączonego self-conditioning.

Jak wybrać w praktyce
Decyzja sprowadza się do czterech testów, a pierwszy z nich całkowicie eliminuje jedną stronę dla większości czytelników:
• Czy badasz sam proces próbkowania — harmonogramy guidance, liczbę kroków, sterowanie trajektorią, zachowanie classifier-free guidance? Bazą jest model, ponieważ to on ma pokrętła i tabelę dla poszczególnych budżetów.
Budujesz coś, co generuje tekst przy stałym koszcie na token, i nie chcesz mieć powierzchni do dostrajania? Destylat nfe4 jest modelem, ponieważ CFG 1 i temperatura oceny 1 to kompletna konfiguracja.
Czy potrzebujesz asystenta? Ani jedno, ani drugie. W żadnym z tych repozytoriów nie ma szablonu czatu, monitu systemowego ani wywoływania narzędzi, a karta bazowa mówi wprost, że nie jest to model podążający za instrukcjami. To właśnie do tego służą warianty instruct z kontekstem 8,192 tokenów.
• Czy potrzebujesz benchmarku, na który możesz się powołać? Tylko distill ma taki — i jest to własny benchmark NVIDIA.
Żadne z czterech pytań nie dotyczy liczby parametrów, co jest sygnałem, że to nie jest porównanie rozmiarów. Różnica 537M parametrów to cena utrzymania głowicy autoregresyjnej w pliku i nic nie daje ścieżce czystej dyfuzji nfe4 — jest tam, ponieważ ta sama architektura leży również u podstaw wariantu spec.
Sens tej pary
NVIDIA zbudowała jeden szkielet i udostępniła go dwukrotnie: raz jako coś do zbadania, a raz jako coś do uruchomienia. To spójna strategia i właśnie dlatego obie karty czyta się tak różnie — karta bazowa jest napisana dla badacza, który zmieni sampler, a karta destylowana dla dewelopera, który tego nie zrobi.
Czego tej parze wciąż brakuje, to coś, co pozwoliłoby uczciwie sprawdzić ten kompromis: wynik nauczyciela. Dopóki karta bazowego 8B nie zawiera tej samej tabeli sześciu zadań, którą zawiera distill, każde twierdzenie o tym, co dała destylacja, jest twierdzeniem o eksperymentach na poziomie rodziny z artykułu, a nie o tych dwóch plikach. Jeśli NVIDIA doda tę tabelę — a ostatnia edycja karty bazowej z 16 listopada sugeruje, że repozytoria są wciąż utrzymywane — to porównanie stanie się odejmowaniem zamiast rekonstrukcji.
Na razie praktyczny wniosek jest wąski i użyteczny: wybierz wariant base, jeśli chcesz zbadać, jak ciągły model dyfuzyjny LM zachowuje się przy różnych budżetach kroków; wybierz nfe4, jeśli chcesz stałą liczbę 6,4 tokena na przebieg w przód przy opublikowanej dokładności; a oba pomiń, jeśli potrzebujesz modelu czatu lub okna kontekstu dłuższego niż długie memo. Żadnego z nich nie ma dziś w katalogu OrcaRouter i żadnego nie będzie, dopóki nie powstanie ścieżka serwowania dla architektury dyfuzji blokowej — to, co OrcaRouter ma w ofercie, to ponad 200 modeli autoregresyjnych, z którymi porównałbyś którykolwiek z nich, w ramach jednego klucza po cenie katalogowej dostawcy bez marży i z automatycznym przełączaniem awaryjnym, jeśli chcesz odizolować eksperyment od ścieżki produkcyjnej.

