
Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron 3.5 Lightning 30B A3B: Dwie premiery NVIDIA, które nigdy ze sobą nie konkurują
- GoogleNOWOŚĆGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 za 1 mln tokenów · 90 tok/s
- AnthropicNOWOŚĆAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 za 1 mln tokenów · 97 tok/s
- orcaNOWOŚĆOrca: OrcaC2 1.02026-11-0717 tok/s
- OrcaNOWOŚĆOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 za 1 mln tokenów · 88 tok/s
- OrcaNOWOŚĆOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 za 1 mln tokenów · 133 tok/s
- OrcaNOWOŚĆOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 za 1 mln tokenów · 72 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 za 1 mln tokenów · 127 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 za 1 mln tokenów · 65 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 za 1 mln tokenów · 92 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 za 1 mln tokenów · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Inteligencja
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 za 1 mln tokenów · 193 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Inteligencja
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 za 1 mln tokenów · 146 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Inteligencja
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Inteligencja
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 za 1 mln tokenów · 124 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955Inteligencja
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855Inteligencja
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 za 1 mln tokenów · 218 tok/s
Umieszczenie Nemotron-Labs-Sigma-distill-8B-nfe4 i Nemotron 3.5 Lightning 30B A3B w jednym zdaniu sprawia, że odruchowo chce się zapytać, który z nich jest mądrzejszy. To pytanie nie ma odpowiedzi — i nie dlatego, że danych jest mało, ale dlatego, że oba modele nie mają wspólnego benchmarku, wspólnej długości kontekstu, wspólnego stosu serwowania ani wspólnego procesu wydania. Nemotron-Labs-Sigma-distill-8B-nfe4 to 8B model dyfuzji ciągłej, który NVIDIA opublikowała 12 listopada 2026 r. bez żadnej zapowiedzi i który został pobrany pięć razy. Nemotron 3.5 Lightning 30B A3B to hybrydowy model mixture-of-experts łączący Mamba-2 i attention, o łącznej liczbie 30B parametrów, z których 3B jest aktywnych; został udostępniony w sierpniu wraz z kartą modelu, endpointem build.nvidia.com i 962 098 pobrań w zeszłym miesiącu. Przydatne porównanie nie polega na wyniku punktowym. Chodzi o to, który z nich można faktycznie postawić przed użytkownikiem — i w jakim celu.
Te dwie karty opisują różne produkty, a nie różne poziomy.
Przeczytaj sekcje przypadków użycia obok siebie, a różnica przestanie sprowadzać się do możliwości. Karta modelu Sigma-distill mówi, że służy on do „badań nad generowaniem wrażliwym na opóźnienia, badań nad dekodowaniem spekulatywnym i równoległym oraz eksperymentów ukierunkowanych na wdrożenia”, i stwierdza, że model „działa offline na sprzęcie użytkownika; NVIDIA nie hostuje żadnej usługi”. Karta modelu Lightning wskazuje na endpoint zgodny z OpenAI pod adresem integrate.api.nvidia.com, tag kontenera vLLM, zalecaną parę parametrów próbkowania temperature 1.0 i top_p 0.95, przełącznik trybu myślenia w szablonie czatu oraz trzy osobne checkpointy modeli roboczych do dekodowania spekulatywnego.
Jedno to plik. Drugie to usługa, za którą stoi plik. Ta różnica determinuje niemal wszystko inne w tym materiale:
• Parametry — 8B gęsty (9,03B w spisie safetensors po uwzględnieniu pomocniczej głowicy odczytu) vs 30B łącznie, z 3B aktywnych na token.
• Architektura — dekoder w stylu Ministral z 16-wymiarową ciągłą głowicą dyfuzji kontra przeplatane warstwy Mamba-2, MoE i uwagi selektywnej z głowicami wielotokenowej predykcji.
• Kontekst — 4,096 tokenów łącznie na prompt i dane wyjściowe w porównaniu z maksymalnie 1,000,000, z zastrzeżeniem, że pojedynczy H100 osiąga tylko około 256,000, a pełny milion wymaga ośmiu H100, GB200 lub B200.
• Języki — tylko angielski vs angielski plus języki programowania, hiszpański, francuski, niemiecki, włoski i japoński, z chińskim w fazie post-trainingu.
• Zakres wydania — tylko karta i wagi, bez endpointu dostawcy, bez ogłoszenia względem hostowanego endpointu, kompilacja referencyjna BF16, kompilacja NVFP4 oraz trzy modele typu draft do dekodowania spekulatywnego.
• Pobrania w ciągu ostatnich trzydziestu dni — pięć w porównaniu z 962 098 w samym repozytorium BF16, jeszcze przed doliczeniem 901 381 w kompilacji NVFP4.
• Licencja — NVIDIA Nemotron Open Model License dla obu, choć karta Lightninga nazywa ją OpenMDW-1.1.
Nie ma wspólnego benchmarku, więc nie ma wyniku.
To jest ta część, którą większość stron porównawczych przemilczałaby. Karta Sigma-distill podaje GSM8K, MATH (Minerva), HumanEval, HumanEval+, MBPP i MBPP+ przy dziesięciu seedach z dwoma błędami standardowymi oraz średnią z sześciu zadań wynoszącą 66,36. Karta Lightning podaje MMLU Pro, GPQA Diamond, HLE, SciCode, SWE-bench Verified, SWE-bench Multilingual, Terminal-Bench 2.1, PinchBench, BrowseComp, τ³-bench Banking, GDPval-AA-V2, IFBench, AA-LCR i AA-Omniscience. Część wspólna jest zbiorem pustym. Ani jeden benchmark nie pojawia się na obu kartach.
To nie jest przypadkowość w raportowaniu. Te dwie ewaluacje celowo testują różne rzeczy. Sześć zadań Sigmy to rozumowanie z krótkimi odpowiedziami i uzupełnianie kodu przy kilkuset tokenach; zadania Lightning obejmują agentową inżynierię oprogramowania, wyszukiwanie w długim kontekście i wiedzę profesjonalną. Model z oknem 4096 tokenów i bez szablonu czatu nie może przystąpić do zestawu testowego SWE-bench, a modelowi wytrenowanemu do uzupełniania ciała funkcji nie zadaje się pytań GPQA.
Jedyna uczciwa granica, jaką można wyznaczyć, jest taka: na własnych sześciu zadaniach Sigma-distill nfe4 osiąga średnio 66.36 przy dziesięciu seedach, co jest prawdziwą liczbą w ramach prawdziwego protokołu, i nie mówi nic o tym, jak wypadłby na czymkolwiek, na czym mierzono Lightning. Ktokolwiek twierdzi, że jeden bije drugi, nie porównuje niczego.

Szybkość to punkt, w którym porównanie staje się interesujące — i w którym pozostaje nierozstrzygnięte.
Oba modele są szybkie na sposoby, które trudno sprowadzić do jednej osi, i to jest jedyne miejsce, w którym to porównanie ma realną treść.
Sigma-distill generuje 32 tokeny na blok w dokładnie 4 ewaluacjach odszumiania oraz jednym odczycie. Pięć przejść w przód, 32 tokeny: 6,4 tokena na przejście w przód. Ponieważ liczba kroków jest ustalona przez trening, ten stosunek nie zmienia się wraz z długością promptu ani długością wyjścia — jest stały, a kod wnioskowania z karty modelu nie pozwala go nadpisać. Karta modelu nadrzędnego podaje 120–140 tokenów na sekundę na jednym H100 przy 32 krokach na blok 64 tokenów; wariant destylowany w ogóle nie publikuje żadnej wartości tokenów na sekundę, więc arytmetyka 6,4× mniejszej liczby przejść nie jest zmierzoną przepustowością.
Lightning obiera inną drogę. To MoE z 3B aktywnych parametrów, więc każde przejście w przód jest tanie, a NVIDIA dostarcza DSpark jako zalecany domyślny mechanizm dekodowania spekulacyjnego, ze DFlash i własnymi głowami przewidywania wielu tokenów jako alternatywami. Jego liczb przepustowości również nie podano na karcie w tokenach na sekundę — ale liczba pobrań i receptura serwowania mówią, że był uruchamiany w produkcji, czego nie można powiedzieć o Sigmie.
Różnica, która ma znaczenie: przyspieszenie Sigmy jest strukturalne i stałe na token, podczas gdy przyspieszenie Lightninga jest spekulatywne i zależne od obciążenia. Stały kontrakt 5 wywołań na 32 tokeny jest przewidywalny w sposób, w jaki współczynniki akceptacji szkiców nigdy nie są. Jest też dziś niemierzalne, ponieważ nikt nie opublikował ani jednej liczby przepustowości dla checkpointu nfe4.
Ile kosztuje cię eksploatacja każdego z nich
Sigma-distill to 18,06 GB wag bfloat16 w czterech shardach, ładowanych przez kod PyTorch w trybie eager z samego repozytorium za pomocą trust_remote_code, na karcie graficznej CUDA, bez uwagi stronicowanej, bez ciągłego grupowania i bez skwantyzowanej wersji w kolekcji. Nie ma ceny za token, ponieważ nie ma punktu końcowego: karta NVIDIA podaje, że model działa na Twoim sprzęcie i że NVIDIA nie hostuje żadnej usługi.
Lightning ma odwrotny kształt. Wagi BF16 to 31,6 mld parametrów; NVIDIA we własnych zaleceniach produkcyjnych radzi zamiast tego użyć wersji NVFP4, a jej karta zawiera przepis vLLM (tag kontenera vllm/vllm-openai:v0.27.1) z backendem FlashInfer Mamba, pamięcią podręczną SSM w FP16 i buforowaniem prefiksów, a także obraz SGLang dla Hopper i Blackwell. Nie ma ceny katalogowej na karcie ani na build.nvidia.com — punkt końcowy objęty jest warunkami wersji próbnej API NVIDIA — ale platformy zewnętrzne podają cenę modelu na około 0,05 USD za milion tokenów wejściowych i 0,20 USD za milion tokenów wyjściowych. Ta wartość to obserwacja rynkowa, a nie cena dostawcy.
Żaden z tych modeli nie znajduje się w katalogu OrcaRouter i byłoby nieuczciwe sugerować inaczej. W OrcaRouter dostępny jest otaczający zestaw porównawczy: ponad 200 modeli za jednym kluczem, cena katalogowa dostawcy przekazywana bez narzutu, więc obniżka ceny u dostawcy pojawia się tego samego dnia, a nie w kwartalnej aktualizacji cennika. Jeśli czytasz to, ponieważ musisz wybrać punkt odniesienia, względem którego przetestujesz Sigmę, stamtąd pochodzi ten punkt odniesienia.
Wybierz według koperty, a nie według punktacji.
Cztery pytania pozwalają to rozstrzygnąć w niecałą minutę, a żadne z nich nie dotyczy dokładności benchmarków:
• Czy zadanie mieści się w 4,096 tokenach? Jeśli nie, Sigma-distill odpada i temat jest zamknięty. Milionowe okno tokenów Lightninga — 256K na pojedynczym H100 — jest o trzy rzędy wielkości większe.
• Czy zadanie wymaga rozmowy, narzędzi lub ustrukturyzowanego wyjścia? Sigma-distill nie ma nic z tego: brak szablonu czatu, brak promptu systemowego, brak trybu JSON, ciągi zatrzymujące i budżet tokenów jako jedyne mechanizmy zatrzymywania. Lightning jest dostarczany z szablonem czatu i przełącznikiem myślenia.
• Czy musisz obsługiwać więcej niż jedno żądanie jednocześnie? Sigma nie ma stosu serwowania — wspieraną ścieżką jest skrypt Python na jednym GPU. Lightning ma dwie integracje silnika i opublikowaną receptę równoległości.
• Czy interesuje Cię sam mechanizm dekodowania — dyfuzja blokowa, destylacja w kilku krokach, autospekulacja? Wtedy Sigma-distill jest jedynym z tych dwóch, który jest interesujący, a Lightning to całkowicie niewłaściwe porównanie.
Wszystko inne wynika z tych czterech. Zespół oceniający Sigmę pod kątem produktu tak naprawdę pyta, czy z checkpointu badawczego można zrobić usługę; zespół oceniający Lightning pyta, czy hybrydowy MoE z 3B aktywnych parametrów mieści się w budżecie. To zupełnie inne rozmowy.
Gdzie pojedynek stałby się rzeczywisty
Dwie rzeczy zmieniłyby tę stronę w prawdziwe bezpośrednie starcie, a żadna z nich jeszcze nie istnieje.
Pierwszy to wspólny benchmark. Jeśli Sigma kiedykolwiek otrzyma wynik MMLU Pro lub GPQA, albo Lightning kiedykolwiek otrzyma wynik GSM8K lub HumanEval przy porównywalnym formacie promptu, będzie co porównywać. Do tego czasu uczciwym stanowiskiem jest to powyżej: dwa rozłączne zestawy ewaluacji raportowane przez tego samego dostawcę, dotyczące modeli, które nie mogą zostać poddane testom drugiego.
Druga to ścieżka serwowania. Sigma-distill to obecnie repozytorium do sklonowania i skrypt do uruchomienia; pull requesty SGLang wspominające o dyfuzji Nemotron dotyczą starszej linii Nemotron-Labs-Diffusion-8B i nadal są otwarte na dzień 17 listopada, a rejestr vLLM w ogóle nie zawiera architektury nemotron_labs_sigma. W momencie, gdy model dyfuzji blokowej o stałej liczbie kroków otrzyma paged attention i batching, jego przewaga 6,4 tokena na przebieg staje się liczbą, którą można zestawić ze współczynnikiem akceptacji dekodowania spekulacyjnego — a takie porównanie byłoby warte opublikowania.

Do tego czasu praktyczny wniosek jest taki, że NVIDIA wypuściła dwa modele dla dwóch grup odbiorców tej samej jesieni i tylko jeden z nich był produktem. Lightning to ten, który możesz wywołać już dziś, z zachowaniem pamięci podręcznej, oknem kontekstu i wsparciem silnika, jakie implikuje usługa. Sigma-distill to ten, który pobierasz, jeśli zależy ci na tym, czy ciągła dyfuzja przy 8B może utrzymać 66.36 na sześciu zadaniach przy pięciu przejściach do przodu na 32 tokeny — pytanie o dekodowanie, a nie o możliwości, i takie, na które nie odpowie żadna ilość porównań z 30B MoE.

