Wygenerowana karta tytułowa z napisem Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron 3.5 Lightning 30B A3B, z podtytułem, że pierwszy to checkpoint badawczy modelu dyfuzyjnego z pięcioma pobraniami, a drugi to produkcyjny MoE z 962,098 pobraniami, oraz ze stopką głoszącą, że oba zestawy liczb są deklarowane przez dostawcę i nie mają wspólnego benchmarku.
Guides & Insights

Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron 3.5 Lightning 30B A3B: Dwie premiery NVIDIA, które nigdy ze sobą nie konkurują

Autor

Gideon Frost

Data publikacji

Najnowsze modele · 20Zobacz wszystkie modele →
Benchmarki: Artificial Analysis · aktualizowane codziennie
Powrót do wszystkich wpisów

Umieszczenie Nemotron-Labs-Sigma-distill-8B-nfe4 i Nemotron 3.5 Lightning 30B A3B w jednym zdaniu sprawia, że odruchowo chce się zapytać, który z nich jest mądrzejszy. To pytanie nie ma odpowiedzi — i nie dlatego, że danych jest mało, ale dlatego, że oba modele nie mają wspólnego benchmarku, wspólnej długości kontekstu, wspólnego stosu serwowania ani wspólnego procesu wydania. Nemotron-Labs-Sigma-distill-8B-nfe4 to 8B model dyfuzji ciągłej, który NVIDIA opublikowała 12 listopada 2026 r. bez żadnej zapowiedzi i który został pobrany pięć razy. Nemotron 3.5 Lightning 30B A3B to hybrydowy model mixture-of-experts łączący Mamba-2 i attention, o łącznej liczbie 30B parametrów, z których 3B jest aktywnych; został udostępniony w sierpniu wraz z kartą modelu, endpointem build.nvidia.com i 962 098 pobrań w zeszłym miesiącu. Przydatne porównanie nie polega na wyniku punktowym. Chodzi o to, który z nich można faktycznie postawić przed użytkownikiem — i w jakim celu.

Te dwie karty opisują różne produkty, a nie różne poziomy.

Przeczytaj sekcje przypadków użycia obok siebie, a różnica przestanie sprowadzać się do możliwości. Karta modelu Sigma-distill mówi, że służy on do „badań nad generowaniem wrażliwym na opóźnienia, badań nad dekodowaniem spekulatywnym i równoległym oraz eksperymentów ukierunkowanych na wdrożenia”, i stwierdza, że model „działa offline na sprzęcie użytkownika; NVIDIA nie hostuje żadnej usługi”. Karta modelu Lightning wskazuje na endpoint zgodny z OpenAI pod adresem integrate.api.nvidia.com, tag kontenera vLLM, zalecaną parę parametrów próbkowania temperature 1.0 i top_p 0.95, przełącznik trybu myślenia w szablonie czatu oraz trzy osobne checkpointy modeli roboczych do dekodowania spekulatywnego.

Jedno to plik. Drugie to usługa, za którą stoi plik. Ta różnica determinuje niemal wszystko inne w tym materiale:

• Parametry — 8B gęsty (9,03B w spisie safetensors po uwzględnieniu pomocniczej głowicy odczytu) vs 30B łącznie, z 3B aktywnych na token.

• Architektura — dekoder w stylu Ministral z 16-wymiarową ciągłą głowicą dyfuzji kontra przeplatane warstwy Mamba-2, MoE i uwagi selektywnej z głowicami wielotokenowej predykcji.

• Kontekst — 4,096 tokenów łącznie na prompt i dane wyjściowe w porównaniu z maksymalnie 1,000,000, z zastrzeżeniem, że pojedynczy H100 osiąga tylko około 256,000, a pełny milion wymaga ośmiu H100, GB200 lub B200.

• Języki — tylko angielski vs angielski plus języki programowania, hiszpański, francuski, niemiecki, włoski i japoński, z chińskim w fazie post-trainingu.

• Zakres wydania — tylko karta i wagi, bez endpointu dostawcy, bez ogłoszenia względem hostowanego endpointu, kompilacja referencyjna BF16, kompilacja NVFP4 oraz trzy modele typu draft do dekodowania spekulatywnego.

• Pobrania w ciągu ostatnich trzydziestu dni — pięć w porównaniu z 962 098 w samym repozytorium BF16, jeszcze przed doliczeniem 901 381 w kompilacji NVFP4.

• Licencja — NVIDIA Nemotron Open Model License dla obu, choć karta Lightninga nazywa ją OpenMDW-1.1.

Nie ma wspólnego benchmarku, więc nie ma wyniku.

To jest ta część, którą większość stron porównawczych przemilczałaby. Karta Sigma-distill podaje GSM8K, MATH (Minerva), HumanEval, HumanEval+, MBPP i MBPP+ przy dziesięciu seedach z dwoma błędami standardowymi oraz średnią z sześciu zadań wynoszącą 66,36. Karta Lightning podaje MMLU Pro, GPQA Diamond, HLE, SciCode, SWE-bench Verified, SWE-bench Multilingual, Terminal-Bench 2.1, PinchBench, BrowseComp, τ³-bench Banking, GDPval-AA-V2, IFBench, AA-LCR i AA-Omniscience. Część wspólna jest zbiorem pustym. Ani jeden benchmark nie pojawia się na obu kartach.

To nie jest przypadkowość w raportowaniu. Te dwie ewaluacje celowo testują różne rzeczy. Sześć zadań Sigmy to rozumowanie z krótkimi odpowiedziami i uzupełnianie kodu przy kilkuset tokenach; zadania Lightning obejmują agentową inżynierię oprogramowania, wyszukiwanie w długim kontekście i wiedzę profesjonalną. Model z oknem 4096 tokenów i bez szablonu czatu nie może przystąpić do zestawu testowego SWE-bench, a modelowi wytrenowanemu do uzupełniania ciała funkcji nie zadaje się pytań GPQA.

Jedyna uczciwa granica, jaką można wyznaczyć, jest taka: na własnych sześciu zadaniach Sigma-distill nfe4 osiąga średnio 66.36 przy dziesięciu seedach, co jest prawdziwą liczbą w ramach prawdziwego protokołu, i nie mówi nic o tym, jak wypadłby na czymkolwiek, na czym mierzono Lightning. Ktokolwiek twierdzi, że jeden bije drugi, nie porównuje niczego.

A generated chart showing that the two model cards share no benchmark: on the left, the six Nemotron-Labs-Sigma-distill-8B-nfe4 tasks with ten-seed accuracies of GSM8K 86.86, MATH 61.52, HumanEval 60.61, HumanEval+ 57.99, MBPP 57.50 and MBPP+ 73.70, mean 66.36; on the right, the Nemotron 3.5 Lightning 30B A3B evaluations including MMLU Pro 81.94, GPQA Diamond 75.44, SWE-bench Verified 51.56 and Terminal-Bench 2.1 24.58, with a divider marking that no task appears on both sides.

Szybkość to punkt, w którym porównanie staje się interesujące — i w którym pozostaje nierozstrzygnięte.

Oba modele są szybkie na sposoby, które trudno sprowadzić do jednej osi, i to jest jedyne miejsce, w którym to porównanie ma realną treść.

Sigma-distill generuje 32 tokeny na blok w dokładnie 4 ewaluacjach odszumiania oraz jednym odczycie. Pięć przejść w przód, 32 tokeny: 6,4 tokena na przejście w przód. Ponieważ liczba kroków jest ustalona przez trening, ten stosunek nie zmienia się wraz z długością promptu ani długością wyjścia — jest stały, a kod wnioskowania z karty modelu nie pozwala go nadpisać. Karta modelu nadrzędnego podaje 120–140 tokenów na sekundę na jednym H100 przy 32 krokach na blok 64 tokenów; wariant destylowany w ogóle nie publikuje żadnej wartości tokenów na sekundę, więc arytmetyka 6,4× mniejszej liczby przejść nie jest zmierzoną przepustowością.

Lightning obiera inną drogę. To MoE z 3B aktywnych parametrów, więc każde przejście w przód jest tanie, a NVIDIA dostarcza DSpark jako zalecany domyślny mechanizm dekodowania spekulacyjnego, ze DFlash i własnymi głowami przewidywania wielu tokenów jako alternatywami. Jego liczb przepustowości również nie podano na karcie w tokenach na sekundę — ale liczba pobrań i receptura serwowania mówią, że był uruchamiany w produkcji, czego nie można powiedzieć o Sigmie.

Różnica, która ma znaczenie: przyspieszenie Sigmy jest strukturalne i stałe na token, podczas gdy przyspieszenie Lightninga jest spekulatywne i zależne od obciążenia. Stały kontrakt 5 wywołań na 32 tokeny jest przewidywalny w sposób, w jaki współczynniki akceptacji szkiców nigdy nie są. Jest też dziś niemierzalne, ponieważ nikt nie opublikował ani jednej liczby przepustowości dla checkpointu nfe4.

Ile kosztuje cię eksploatacja każdego z nich

Sigma-distill to 18,06 GB wag bfloat16 w czterech shardach, ładowanych przez kod PyTorch w trybie eager z samego repozytorium za pomocą trust_remote_code, na karcie graficznej CUDA, bez uwagi stronicowanej, bez ciągłego grupowania i bez skwantyzowanej wersji w kolekcji. Nie ma ceny za token, ponieważ nie ma punktu końcowego: karta NVIDIA podaje, że model działa na Twoim sprzęcie i że NVIDIA nie hostuje żadnej usługi.

Lightning ma odwrotny kształt. Wagi BF16 to 31,6 mld parametrów; NVIDIA we własnych zaleceniach produkcyjnych radzi zamiast tego użyć wersji NVFP4, a jej karta zawiera przepis vLLM (tag kontenera vllm/vllm-openai:v0.27.1) z backendem FlashInfer Mamba, pamięcią podręczną SSM w FP16 i buforowaniem prefiksów, a także obraz SGLang dla Hopper i Blackwell. Nie ma ceny katalogowej na karcie ani na build.nvidia.com — punkt końcowy objęty jest warunkami wersji próbnej API NVIDIA — ale platformy zewnętrzne podają cenę modelu na około 0,05 USD za milion tokenów wejściowych i 0,20 USD za milion tokenów wyjściowych. Ta wartość to obserwacja rynkowa, a nie cena dostawcy.

Żaden z tych modeli nie znajduje się w katalogu OrcaRouter i byłoby nieuczciwe sugerować inaczej. W OrcaRouter dostępny jest otaczający zestaw porównawczy: ponad 200 modeli za jednym kluczem, cena katalogowa dostawcy przekazywana bez narzutu, więc obniżka ceny u dostawcy pojawia się tego samego dnia, a nie w kwartalnej aktualizacji cennika. Jeśli czytasz to, ponieważ musisz wybrać punkt odniesienia, względem którego przetestujesz Sigmę, stamtąd pochodzi ten punkt odniesienia.

Wybierz według koperty, a nie według punktacji.

Cztery pytania pozwalają to rozstrzygnąć w niecałą minutę, a żadne z nich nie dotyczy dokładności benchmarków:

• Czy zadanie mieści się w 4,096 tokenach? Jeśli nie, Sigma-distill odpada i temat jest zamknięty. Milionowe okno tokenów Lightninga — 256K na pojedynczym H100 — jest o trzy rzędy wielkości większe.

• Czy zadanie wymaga rozmowy, narzędzi lub ustrukturyzowanego wyjścia? Sigma-distill nie ma nic z tego: brak szablonu czatu, brak promptu systemowego, brak trybu JSON, ciągi zatrzymujące i budżet tokenów jako jedyne mechanizmy zatrzymywania. Lightning jest dostarczany z szablonem czatu i przełącznikiem myślenia.

• Czy musisz obsługiwać więcej niż jedno żądanie jednocześnie? Sigma nie ma stosu serwowania — wspieraną ścieżką jest skrypt Python na jednym GPU. Lightning ma dwie integracje silnika i opublikowaną receptę równoległości.

• Czy interesuje Cię sam mechanizm dekodowania — dyfuzja blokowa, destylacja w kilku krokach, autospekulacja? Wtedy Sigma-distill jest jedynym z tych dwóch, który jest interesujący, a Lightning to całkowicie niewłaściwe porównanie.

Wszystko inne wynika z tych czterech. Zespół oceniający Sigmę pod kątem produktu tak naprawdę pyta, czy z checkpointu badawczego można zrobić usługę; zespół oceniający Lightning pyta, czy hybrydowy MoE z 3B aktywnych parametrów mieści się w budżecie. To zupełnie inne rozmowy.

Gdzie pojedynek stałby się rzeczywisty

Dwie rzeczy zmieniłyby tę stronę w prawdziwe bezpośrednie starcie, a żadna z nich jeszcze nie istnieje.

Pierwszy to wspólny benchmark. Jeśli Sigma kiedykolwiek otrzyma wynik MMLU Pro lub GPQA, albo Lightning kiedykolwiek otrzyma wynik GSM8K lub HumanEval przy porównywalnym formacie promptu, będzie co porównywać. Do tego czasu uczciwym stanowiskiem jest to powyżej: dwa rozłączne zestawy ewaluacji raportowane przez tego samego dostawcę, dotyczące modeli, które nie mogą zostać poddane testom drugiego.

Druga to ścieżka serwowania. Sigma-distill to obecnie repozytorium do sklonowania i skrypt do uruchomienia; pull requesty SGLang wspominające o dyfuzji Nemotron dotyczą starszej linii Nemotron-Labs-Diffusion-8B i nadal są otwarte na dzień 17 listopada, a rejestr vLLM w ogóle nie zawiera architektury nemotron_labs_sigma. W momencie, gdy model dyfuzji blokowej o stałej liczbie kroków otrzyma paged attention i batching, jego przewaga 6,4 tokena na przebieg staje się liczbą, którą można zestawić ze współczynnikiem akceptacji dekodowania spekulacyjnego — a takie porównanie byłoby warte opublikowania.

Screenshot of the Hugging Face model card for NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, showing the model description as a hybrid Mamba-2, mixture-of-experts and attention model with 30B total and 3B active parameters, the release date of 08/11/2026, the OpenMDW-1.1 licence, and the evaluation table beginning with MMLU Pro at 81.94 and GPQA Diamond at 75.44.

Do tego czasu praktyczny wniosek jest taki, że NVIDIA wypuściła dwa modele dla dwóch grup odbiorców tej samej jesieni i tylko jeden z nich był produktem. Lightning to ten, który możesz wywołać już dziś, z zachowaniem pamięci podręcznej, oknem kontekstu i wsparciem silnika, jakie implikuje usługa. Sigma-distill to ten, który pobierasz, jeśli zależy ci na tym, czy ciągła dyfuzja przy 8B może utrzymać 66.36 na sześciu zadaniach przy pięciu przejściach do przodu na 32 tokeny — pytanie o dekodowanie, a nie o możliwości, i takie, na które nie odpowie żadna ilość porównań z 30B MoE.

A generated two-column scoreboard titled Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron 3.5 Lightning 30B A3B, contrasting context of 4,096 tokens against up to 1,000,000, English only against seven languages, five downloads against 962,098, no vendor endpoint against a hosted OpenAI-compatible endpoint, no engine support against vLLM and SGLang recipes, and a fixed 6.4 tokens per forward pass against speculative decoding, with a footer noting that no benchmark is shared between the two cards.