생성된 타이틀 카드에는 Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron 3.5 Lightning 30B A3B라고 적혀 있고, 부제에는 한쪽은 다운로드 5회의 확산 연구 체크포인트이며 다른 쪽은 다운로드 962,098회의 프로덕션 MoE라고 되어 있으며, 하단에는 두 수치 모두 벤더 보고 값이고 둘 사이에 공유된 벤치마크는 없다고 명시되어 있다.
Guides & Insights

Nemotron-Labs-Sigma-distill-8B-nfe4 대 Nemotron 3.5 Lightning 30B A3B: 결코 경쟁하지 않는 두 NVIDIA 릴리스

작성자

Gideon Frost

게시일

최신 모델 · 20모든 모델 보기 →
벤치마크: Artificial Analysis · 매일 업데이트
모든 게시물로 돌아가기

Nemotron-Labs-Sigma-distill-8B-nfe4와 Nemotron 3.5 Lightning 30B A3B를 같은 문장에 넣으면, 어느 쪽이 더 똑똑한지 묻고 싶어지는 게 당연하다. 그 질문에는 답이 없다. 데이터가 부족해서가 아니라, 두 모델이 공유하는 벤치마크도, 컨텍스트 길이도, 서빙 스택도, 출시 과정도 없기 때문이다. Nemotron-Labs-Sigma-distill-8B-nfe4는 NVIDIA가 2026년 11월 12일에 아무 발표 없이 공개했고 다운로드 수가 다섯 번인 8B 연속 확산 모델이다. Nemotron 3.5 Lightning 30B A3B는 총 30B, 활성 3B의 하이브리드 Mamba-2 및 어텐션 전문가 혼합(MoE) 모델로, 8월에 모델 카드와 build.nvidia.com 엔드포인트와 함께 출시되어 지난달 다운로드 수가 962,098회였다. 유용한 비교는 점수표가 아니다. 실제로 사용자 앞에 내놓을 수 있는 모델이 어느 쪽인지, 그리고 어떤 용도로 그럴 수 있는지다.

두 카드는 서로 다른 등급이 아니라 서로 다른 제품을 설명합니다.

사용 사례 섹션을 나란히 읽어 보면, 그 격차는 더 이상 역량의 문제가 아니게 된다. Sigma-distill의 카드는 이 모델이 "지연에 민감한 생성 연구, 추측적 및 병렬 디코딩 연구, 배포 지향 실험"을 위한 것이라고 말하며, 모델이 "사용자 자체 하드웨어에서 오프라인으로 실행되며, NVIDIA는 어떤 서비스도 호스팅하지 않는다"고 명시한다. Lightning의 카드는 integrate.api.nvidia.com의 OpenAI 호환 엔드포인트, vLLM 컨테이너 태그, 권장 샘플링 조합인 temperature 1.0과 top_p 0.95, 채팅 템플릿의 사고 모드 토글, 그리고 세 개의 별도 추측적 디코딩 드래프트 체크포인트를 가리킨다.

하나는 파일입니다. 다른 하나는 그 뒤에 파일이 있는 서비스입니다. 그 차이가 이 글의 거의 모든 나머지 부분을 좌우합니다:

• 매개변수 — 8B 덴스(보조 리드아웃 헤드까지 포함하면 safetensors 집계에서 9.03B) 대 총 30B, 토큰당 3B 활성.

• 아키텍처 — 16차원 연속 디퓨전 헤드를 갖춘 Ministral 스타일 디코더 대 다중 토큰 예측 헤드를 갖춘 인터리브된 Mamba-2, MoE 및 선택적 어텐션 레이어.

• 컨텍스트 — 프롬프트와 출력을 합쳐 4,096토큰인 반면 최대 1,000,000토큰이며, 단일 H100은 약 256,000까지만 도달하고 100만 전체를 위해서는 H100 8개, GB200 또는 B200이 필요하다는 단서가 있습니다.

• 언어 — 영어만 vs 영어에 코딩 언어, 스페인어, 프랑스어, 독일어, 이탈리아어, 일본어를 더하고, 중국어는 사후 학습에 포함

• 출시 형태 — 카드와 가중치만, 벤더 엔드포인트 없음, 호스팅 엔드포인트 대비 발표 없음, BF16 참조 빌드, NVFP4 빌드, 그리고 투기적 디코딩용 드래프트 모델 세 개.

• 지난 30일간 다운로드 수 — BF16 저장소만 해도 5회 대 962,098회이며, NVFP4 빌드의 901,381회는 아직 포함하지 않은 수치입니다.

• 라이선스 — 둘 다 NVIDIA Nemotron 오픈 모델 라이선스를 따르지만, Lightning의 카드에는 OpenMDW-1.1로 표기되어 있습니다.

공유된 벤치마크가 없으므로 점수 기준선도 없습니다.

이 부분은 대부분의 비교 페이지가 얼버무릴 부분이다. Sigma-distill의 카드는 GSM8K, MATH(Minerva), HumanEval, HumanEval+, MBPP, MBPP+를 시드 10개에서 두 개의 표준오차와 함께 보고하며, 6개 과제 평균은 66.36이다. Lightning의 카드는 MMLU Pro, GPQA Diamond, HLE, SciCode, SWE-bench Verified, SWE-bench Multilingual, Terminal-Bench 2.1, PinchBench, BrowseComp, τ³-bench Banking, GDPval-AA-V2, IFBench, AA-LCR, AA-Omniscience를 보고한다. 교집합은 공집합이다. 두 카드 모두에 등장하는 벤치마크는 하나도 없다.

그것은 보고의 우연이 아니다. 두 평가는 의도적으로 서로 다른 것을 시험한다. Sigma의 여섯 과제는 수백 토큰 분량의 단답형 추론과 코드 완성이고, Lightning의 과제는 에이전트형 소프트웨어 공학, 장문맥 검색, 전문 지식이다. 4,096 토큰 윈도와 채팅 템플릿이 없는 모델은 SWE-bench 하네스를 치를 수 없고, 함수 본문을 완성하도록 훈련된 모델은 GPQA 질문을 받는 것이 아니다.

따라서 정직하게 그을 수 있는 유일한 선은 이것이다: 자체적인 여섯 과제에서 Sigma-distill nfe4는 열 개 시드에서 평균 66.36을 기록하는데, 이는 실제 프로토콜 아래의 실제 수치이며, Lightning이 측정된 어떤 것에서 어떻게 작동할지에 대해서는 아무것도 말해주지 않는다. 한쪽이 다른 쪽을 이긴다고 말하는 사람은 아무것도 비교하고 있지 않은 것이다.

A generated chart showing that the two model cards share no benchmark: on the left, the six Nemotron-Labs-Sigma-distill-8B-nfe4 tasks with ten-seed accuracies of GSM8K 86.86, MATH 61.52, HumanEval 60.61, HumanEval+ 57.99, MBPP 57.50 and MBPP+ 73.70, mean 66.36; on the right, the Nemotron 3.5 Lightning 30B A3B evaluations including MMLU Pro 81.94, GPQA Diamond 75.44, SWE-bench Verified 51.56 and Terminal-Bench 2.1 24.58, with a divider marking that no task appears on both sides.

속도는 비교가 흥미로워지는 지점이자 — 결론이 나지 않는 지점이다

두 모델 모두 한 축에 놓고 설명하기 어려운 방식으로 빠르며, 바로 이 점이 이 맞대결이 실질적인 내용을 갖는 유일한 부분이다.

Sigma-distill은 정확히 4번의 디노이징 평가와 한 번의 판독으로 블록당 32개 토큰을 생성합니다. 다섯 번의 순전파, 32개 토큰: 순전파당 6.4개 토큰입니다. 스텝 수는 학습에 의해 고정되므로 이 비율은 프롬프트 길이나 출력 길이에 따라 변하지 않습니다. 즉 상수이며, 카드의 추론 코드는 이를 재정의하지 못하게 합니다. 부모 모델의 카드는 H100 한 대에서 64토큰 블록당 32스텝으로 초당 120–140토큰을 보고하지만, 증류된 변형은 초당 토큰 수 수치를 전혀 공개하지 않으므로 패스가 6.4배 적다는 산술은 측정된 처리량이 아닙니다.

Lightning은 다른 경로를 택한다. 3B 활성 MoE이므로 각 포워드 패스가 저렴하며, NVIDIA는 DSpark를 권장 추측 디코딩 기본값으로 제공하고 DFlash와 자체 다중 토큰 예측 헤드를 대안으로 함께 제공한다. 처리량 수치도 카드에 초당 토큰 수로 적혀 있지는 않지만, 다운로드 수와 서빙 레시피는 이것이 실제 프로덕션에서 운영되어 왔음을 보여 주며, Sigma는 그렇지 못하다.

중요한 차이는 이것이다. Sigma의 속도 향상은 구조적이며 토큰당 일정한 반면, Lightning의 속도 향상은 추측성이고 워크로드에 의존한다. 32개 토큰당 5회 호출이라는 고정된 계약은 드래프트 수용률이 결코 보여주지 못하는 방식으로 예측 가능하다. 또한 이것은 오늘날 측정 불가능한데, nfe4 체크포인트에 대한 처리량 수치가 단 하나도 공개된 적이 없기 때문이다.

각각을 실행하는 데 드는 비용

Sigma-distill은 4개의 샤드에 걸쳐 18.06GB의 bfloat16 가중치를 가지며, 리포지토리 자체의 PyTorch eager 코드를 통해 trust_remote_code로 CUDA GPU에서 로드됩니다. paged attention도, continuous batching도, 컬렉션 내 양자화 빌드도 없습니다. 엔드포인트가 없으므로 토큰당 가격도 없습니다: NVIDIA의 카드에는 모델이 사용자 하드웨어에서 실행되며 NVIDIA는 어떤 서비스도 호스팅하지 않는다고 명시되어 있습니다.

Lightning은 반대 형태입니다. BF16 가중치는 31.6B 매개변수이며, NVIDIA 자체의 프로덕션 권장 사항은 대신 NVFP4 빌드를 사용하는 것입니다. 또한 해당 카드는 FlashInfer Mamba 백엔드, FP16 SSM 캐시 및 프리픽스 캐싱을 갖춘 vLLM 레시피(컨테이너 태그 vllm/vllm-openai:v0.27.1)를 제공하며, Hopper 및 Blackwell용 SGLang 이미지도 제공합니다. 카드나 build.nvidia.com에는 정가가 없습니다. 엔드포인트는 NVIDIA의 API 체험 약관에 따릅니다. 하지만 타사 플랫폼에서는 이 모델을 입력 토큰 100만 개당 약 $0.05, 출력 토큰 100만 개당 $0.20으로 표시합니다. 이 수치는 마켓플레이스 관찰값이지 벤더 가격이 아닙니다.

두 모델 모두 OrcaRouter 카탈로그에 없으며, 그렇지 않다고 암시하는 것은 정직하지 않습니다. OrcaRouter에서 이용 가능한 것은 주변 비교 세트입니다: 200개 이상의 모델을 하나의 키로 이용할 수 있으며, 공급자 정가가 마크업 없이 그대로 전달되므로, 업스트림 가격 인하가 분기별 요율표 개정이 아니라 같은 날 반영됩니다. 이 글을 읽는 이유가 Sigma를 테스트할 기준선을 골라야 하기 때문이라면, 바로 그곳에서 기준선이 나옵니다.

점수가 아니라 봉투로 선택하세요.

네 가지 질문이면 이걸 1분 안에 정리할 수 있으며, 그중 어느 것도 벤치마크 정확도와는 관련이 없습니다:

• 작업이 4,096 토큰 안에 들어가나요? 그렇지 않다면 Sigma-distill은 제외되고 질문은 끝입니다. Lightning의 백만 토큰 창—단일 H100에서 256K—은 세 자릿수, 즉 1,000배 더 큽니다.

• 작업에 대화, 도구 또는 구조화된 출력이 필요한가? Sigma-distill에는 그런 것이 전혀 없다. 채팅 템플릿도, 시스템 프롬프트도, JSON 모드도 없으며, 정지 문자열과 토큰 예산만이 유일한 중지 메커니즘이다. Lightning은 사고 토글이 포함된 채팅 템플릿을 제공한다.

• 한 번에 둘 이상의 요청을 처리해야 하나요? Sigma에는 서빙 스택이 없습니다 — 지원되는 방식은 GPU 한 대에서 Python 스크립트를 실행하는 것입니다. Lightning에는 두 가지 엔진 통합과 공개된 병렬화 레시피가 있습니다.

• 디코딩 메커니즘 자체, 즉 블록 디퓨전, 소수 스텝 증류, 자기-스페큘레이션에 관심이 있으신가요? 그렇다면 둘 중 흥미로운 것은 Sigma-distill뿐이며, Lightning은 완전히 잘못된 비교입니다.

나머지 모든 것은 그 네 가지에서 비롯됩니다. 제품을 위해 Sigma를 평가하는 팀은 사실상 연구 체크포인트를 서비스로 전환할 수 있는지를 묻는 것이고, Lightning을 평가하는 팀은 활성 3B의 하이브리드 MoE가 예산에 맞는지를 묻는 것입니다. 이 둘은 서로 다른 대화입니다.

매치업이 실제로 성사되는 곳

이 페이지를 진정한 맞대결로 만들어 줄 두 가지가 있는데, 둘 다 아직 존재하지 않습니다.

첫 번째는 공유 벤치마크다. Sigma가 언젠가 MMLU Pro나 GPQA 수치를 확보하거나, Lightning이 언젠가 비교 가능한 프롬프트 형식에서 GSM8K나 HumanEval 수치를 확보한다면 비교할 거리가 생긴다. 그때까지 정직한 입장은 위에 적은 것과 같다. 즉, 같은 벤더가 보고한 두 개의 서로 분리된 평가 제품군이며, 서로의 테스트를 치를 수 없는 모델들에 대한 것이다.

두 번째는 서빙 경로입니다. Sigma-distill은 현재 복제해야 하는 저장소이자 실행해야 하는 스크립트이며, Nemotron diffusion을 언급하는 SGLang 풀 리퀘스트는 더 오래된 Nemotron-Labs-Diffusion-8B 계열을 대상으로 하고 11월 17일 기준 여전히 열려 있으며, vLLM의 레지스트리에는 nemotron_labs_sigma 아키텍처가 전혀 없습니다. 고정된 스텝 수를 가진 블록 확산 모델이 페이지드 어텐션과 배칭을 지원받는 순간, 패스당 6.4토큰이라는 이점은 추측 디코딩 수용률 옆에 놓을 수 있는 숫자가 되며 — 그 비교는 발표할 가치가 있을 것입니다.

Screenshot of the Hugging Face model card for NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, showing the model description as a hybrid Mamba-2, mixture-of-experts and attention model with 30B total and 3B active parameters, the release date of 08/11/2026, the OpenMDW-1.1 licence, and the evaluation table beginning with MMLU Pro at 81.94 and GPQA Diamond at 75.44.

그때까지의 실용적인 해석은 NVIDIA가 같은 가을에 서로 다른 두 사용자층을 위해 두 모델을 내놓았고, 그중 하나만 제품이었다는 것이다. Lightning은 오늘 바로 호출할 수 있는 쪽으로, 서비스가 전제하는 캐시 동작, 컨텍스트 윈도, 엔진 지원을 갖추고 있다. Sigma-distill은 8B에서의 연속 확산이 32토큰당 5회의 순전파로 여섯 과제에서 66.36을 유지할 수 있는지가 궁금할 때 내려받는 쪽이다 — 이는 능력이 아니라 디코딩에 관한 질문이며, 30B MoE와 아무리 비교해도 답할 수 없는 질문이다.

A generated two-column scoreboard titled Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron 3.5 Lightning 30B A3B, contrasting context of 4,096 tokens against up to 1,000,000, English only against seven languages, five downloads against 962,098, no vendor endpoint against a hosted OpenAI-compatible endpoint, no engine support against vLLM and SGLang recipes, and a fixed 6.4 tokens per forward pass against speculative decoding, with a footer noting that no benchmark is shared between the two cards.