Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma라고 적힌 생성된 타이틀 카드. 부제는 "같은 계보, 두 가지 디코딩 계약"이며, 네 개의 통계 타일이 있습니다. 베이스는 8.49B 파라미터에 구성 가능한 DDIM 단계, 증류 모델은 9.03B에 블록당 고정 4회의 노이즈 제거 평가, 베이스 다운로드 수는 106인 반면 증류 모델은 5이며, 푸터에는 모든 수치가 NVIDIA 모델 카드에서 나온 것이고 둘 중 어느 쪽에도 독립적인 벤치마크가 존재하지 않는다고 명시되어 있습니다.
Guides & Insights

Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma: 동일한 가중치 계보, 두 가지 디코딩 계약

작성자

jinhao.song

게시일

최신 모델 · 20모든 모델 보기 →
벤치마크: Artificial Analysis · 매일 업데이트
모든 게시물로 돌아가기

Nemotron-Labs-Sigma-distill-8B-nfe4에 대해 혼란스러운 점은 이것이 더 나은 Nemotron-Labs-Sigma-8B가 아니라는 것입니다. 이것은 같은 계보의 교사 모델에서 생성된, 계약 조건이 다른 별개의 파일이며, 둘 사이의 차이는 정확도가 아니라 단어 하나를 출력하기 위해 네트워크가 몇 번 실행되는가입니다. 기본 8B는 2026년 10월 5일에 사전 학습 연구 모델로 공개되었습니다: 8.49B 파라미터, 구성 가능한 노이즈 제거 단계, 직접 조정해야 하는 classifier-free guidance, 그리고 점수는 전혀 공개하지 않고 대신 arXiv:2610.02665를 가리키는 카드가 있습니다. 증류된 nfe4는 2026년 11월 12일에 9.03B 파라미터, 체크포인트에 내장된 단계 수, 그리고 NVIDIA가 Sigma 카드에 올린 유일한 벤치마크별 표와 함께 나왔습니다. 둘 다 영어 전용이고, 둘 다 최대 4,096 토큰이며, 둘 다 동일한 라이선스 아래에 있습니다. 둘 중 하나를 선택하는 것은 모델이 연산을 어떻게 사용하기를 원하는지에 대한 선택입니다.

파일마다 실제로 무엇이 다른가요?

두 저장소 모두 동일한 model_type — nemotron_labs_sigma — 을 제공하며, trust_remote_code와 저장소의 40 KB 모델링 파일을 사용해 동일한 방식으로 로드됩니다. 구성은 추론 시 중요하게 작용하는 부분에서 차이가 있고, 백본에서는 거의 차이가 없습니다:

• 백본 — 양쪽 모두 동일한 구조: 34개 층, 히든 크기 4,096, FFN 14,336, 32개 쿼리 헤드와 8개 키-값 헤드, SwiGLU, RoPE, 131,072 토큰 어휘.

• 매개변수 — 기본 모델의 경우 8.49B(8,489,947,136 BF16 더하기 2,097,186 F32), 증류 모델의 경우 9.03B(9,026,818,048 BF16 더하기 동일한 F32 개수)입니다. 추가된 537M은 증류 모델이 확산 헤드와 함께 유지하는 보조 자기회귀 판독 헤드입니다.

• 디스크의 가중치 — 16.99 GB 대 18.06 GB, 각각 4개 샤드.

• 컨텍스트 — base와 distill 모두 4,096 토큰입니다. 같은 컬렉션의 instruct 변형은 이를 8,192로 높이고 채팅 템플릿을 추가합니다. 여기 있는 두 모델 모두 채팅 템플릿이 없습니다.

• 단계 — base는 호출 시 steps와 block_length를 노출하며, 그 카드는 예산별 표를 공개합니다. distill은 어떤 재정의도 전혀 허용하지 않습니다.

• 가이던스 — 베이스에는 classifier-free guidance(32 및 16 스텝에서 3.0, 4 스텝에서 2.0)와 조정된 score temperature가 필요하며, distill은 CFG 1과 score temperature 1로 실행되는데, 이는 즉 가이던스도 튜닝도 없음을 뜻합니다.

• 샘플러 — 베이스 모델은 기본적으로 64-토큰 블록을 사용하는 log_snr 그리드에서 DDIM용으로 문서화되어 있으며, distill은 스텝 간에 self-conditioning이 이어지는 fresh_x0와 32-토큰 블록을 사용합니다.

스텝 수는 증류된 모델의 설정이 아닙니다

모델 카드에서 전체 비교의 틀을 바꾸는 문장은 다음과 같습니다: "디노이징 단계 수는 학습에 의해 고정됩니다. 이 변형은 NFE=4에 대해서만 학습되었으며, 함께 제공되는 추론 코드는 의도적으로 임의의 단계 수 재정의를 노출하지 않습니다(다른 단계 수를 사용하면 학습되지 않은 단계 끝점을 평가하게 됩니다)."

단계적 DMD는 궤적을 증류하며, 증류된 궤적은 특정 노이즈 레벨에 단계 엔드포인트를 갖습니다. 4스텝 학생 모델에 8스텝을 수행하라고 요구하는 것은 더 나은 품질을 위해 더 느리게 실행하는 것이 아닙니다. 학습한 적 없는 노이즈 레벨에서 평가하도록 요구하는 것입니다. 카드에 나와 있듯 출력은 저하됩니다. 조절 다이얼은 없습니다.

베이스는 반대입니다. 해당 카드에는 DDIM-32(CFG 3, score temperature 0.3), DDIM-16(CFG 3, 0.4), DDIM-8(CFG 3, 0.6), DDIM-4(CFG 2, 0.8) 표가 제시되어 있고, 이어서 대략 16스텝 아래에서는 사전 학습된 모델의 품질이 눈에 띄게 떨어진다는 경고와, 소수 스텝 생성에는 대신 증류된 변형을 사용해야 한다는 경고가 덧붙습니다.

같은 조직에서 나온 그 두 진술을 함께 읽으면 분업이 된다. 베이스는 조정하는 대상이고, 디스틸은 조정하지 않는 대상이다. 손잡이가 필요하면 베이스를 선택하고, 상수가 필요하면 디스틸을 선택하라.

A generated diagram comparing the decoding contracts of the two models: the base Nemotron-Labs-Sigma-8B shown as a configurable path of 32, 16, 8 or 4 denoising steps per 64-token block with classifier-free guidance of 3, 3, 3 or 2 and score temperatures of 0.3, 0.4, 0.6 and 0.8, against the distilled nfe4 shown as a single fixed path of 4 denoising evaluations plus one readout per 32-token block at guidance 1 and temperature 1.

그들을 갈라놓는 산수

두 계약을 같은 단위로 맞추면 distilled 파일이 존재하는 이유가 분명해집니다.

• 권장 설정에서 Base — 64토큰 블록당 33회의 디노이저 호출(32단계 + 판독 1회)이며, 이는 순전파당 1.9토큰입니다.

• 4스텝 기준 — 64토큰 블록당 5회 호출, 패스당 12.8토큰이지만, 카드에서는 16스텝 미만에서 품질이 눈에 띄게 저하된다고 경고합니다.

• nfe4 증류 — 32토큰 블록당 5회 호출, 패스당 6.4토큰, 카드가 공개하는 품질로.

• Distill nfe8 — 32토큰 블록당 9회 호출, 패스당 3.6토큰, 6개 과제 평균에서 4점 더 우수.

그래서 distilled nfe4는 base의 안전한 동작점과 안전하지 않은 동작점 사이에 있습니다. 권장 base 구성보다 토큰당 순전파 횟수가 세 배 적고, 모델이 실제로 학습된 스텝 수를 사용합니다. 이것이 이번 릴리스의 전체 전제이며, 이는 지능이 아니라 연산에 관한 전제입니다.

이것은 측정된 처리량이 아니다. base 카드는 하나의 H100에서 DDPM으로 64토큰 블록당 32스텝으로 256개 토큰을 생성할 때 초당 약 120–140토큰을 보고한다. distilled 카드는 초당 토큰 수 수치를 공개하지 않는다. 위의 호출 수 비율은 공개된 스텝 수에 대한 산술 계산이다. 그렇게 취급하라.

어느 쪽에 숫자가 있으며, 그 숫자들은 얼마의 가치가 있나요?

여기서 두 카드는 크게 갈라지며, 그 방향은 베이스에 불편한 쪽이다.

Nemotron-Labs-Sigma-8B는 벤치마크 표를 공개하지 않는다. 평가 섹션은 결과가 "기술 보고서에 보고된다"고 말하는 두 문장뿐이다. 정확도에 관해 알 수 있는 모든 것은 arXiv:2610.02665에서 가져와야 한다 — 이 논문은 3B 및 8B 제품군, 기본 모델과 증류 모델 모두를 다루며, 초록에서는 해당 모델들이 마스크드 디퓨전 LM과 자기회귀 기준선을 능가하고 코딩에서 가장 일관된 이점을 보인다고 주장한다.

증류된 nfe4 카드는 실제로 수치를 공개합니다. 10개 시드에 대해 2표준오차와 함께: GSM8K 86.86 ± 0.28, MATH 61.52 ± 0.20, HumanEval 60.61 ± 1.43, HumanEval+ 57.99 ± 1.20, MBPP 57.50 ± 0.61, MBPP+ 73.70 ± 1.07, 6개 과제 평균 66.36 ± 0.46. 10개 시드 값 중 9개가 42~51 범위에 있으므로, 프로토콜은 재현할 수 있을 만큼 정확하게 설명되어 있습니다.

따라서 두 카드를 함께 봐도 증류에 얼마의 비용이 들었는지는 알 수 없습니다. 이는 이 비교에서 가장 유용한 단일 수치인데도 빠져 있습니다. 교사 모델의 카드에는 빼서 계산할 표가 없기 때문입니다. 이 주장이 존재하는 곳은 논문뿐이며, 그 표현은 방향성을 띱니다. 분포 매칭 증류로 수학에서 약 8배, 코딩에서 약 4배 가속되었으며 "정확도 손실은 미미하다"는 것입니다. 이 배수들은 카드가 아니라 논문에서 보고된 것이며, 오늘 허브에 있는 바로 그 두 체크포인트를 통제된 조건에서 비교한 것이 아니라 해당 모델 패밀리 자체의 실험을 가리킵니다.

디스틸 라인 자체에 또 하나의 변수가 있습니다. nfe16 형제 모델은 pending_ten_seed_six_task_validation으로 표시되어 있습니다. 이 모델의 세 과제 평균 74.50은 단일 seed-42 실행에서 나온 값이며, 카드에는 이를 다른 변형들의 10-시드 평균과 비교하지 말라고 되어 있습니다. 따라서 "가장 큰 것이 가장 좋다"는 해석은 카드가 명시적으로 지지하지 않는 읽기입니다.

아무도 이름 붙이지 않는 세 번째 선택지

이 컬렉션에는 이 비교에 포함된 두 모델 중 어느 것도 아니면서, 그 안에서 틀림없이 가장 흥미로운 파일인 변형이 하나 들어 있습니다: Nemotron-Labs-Sigma-distill-spec-8B입니다. 이는 동일한 MS-SUSReg-8B 교사 모델을 추가 수용 목표로 증류한 것이며, 순수한 몇 단계 샘플러로 실행되는 대신 확산 헤드로 32토큰 블록을 초안하고 자체 자기회귀 헤드로 검증합니다. 각 라운드에는 확산 호출 한 번이 소요되며, 수용된 토큰은 추가 순전파 없이 출력됩니다. 모델 카드에는 반환된 텍스트가 정확히 그리디 자기회귀 출력이라고 명시되어 있습니다. 수용은 처리량을 바꿀 뿐 내용은 결코 바꾸지 않습니다.

공개된 승인 수치(단일 스냅샷): HumanEval에서 평균 승인 길이 7.91, GSM8K에서 11.86, MBPP에서 13.37이며, 보너스 토큰 포함, 부트스트랩 라운드 제외. 이는 처리량 측정치이지 정확도 측정치가 아니며, nfe4의 정확도 표와 비교할 수 없다. 카드가 굵은 글씨로 밝힌 구분이다.

실질적으로, "디퓨전 헤드가 모델이 말하는 내용을 바꾸지 않으면서 모델을 가속할 수 있는가"라는 질문이라면 주목해야 할 변형입니다. 이 비교의 어느 모델에도 그대로 대체할 수 있는 것은 아닙니다. generate_speculative와 두 헤드가 모두 필요하며, self-conditioning은 꺼야 합니다.

Screenshot of the Hugging Face model card for nvidia/Nemotron-Labs-Sigma-8B, showing the description of an 8-billion-parameter continuous diffusion language model that denoises in a 16-dimensional continuous token-embedding space and decodes in parallel blocks using DDPM or DDIM samplers, the note that this is the base pretrained model rather than an instruction follower, and the NVIDIA Nemotron Open Model License.

실제로 선택하는 방법

그 결정은 네 가지 확인 사항으로 요약되는데, 그중 첫 번째는 대부분의 독자에게 한쪽을 완전히 배제합니다:

• 샘플링 프로세스 자체를 연구하고 계신가요 — 가이던스 스케줄, 스텝 수, 궤적 스티어링, classifier-free guidance 동작? 기준은 모델입니다. 손잡이와 예산별 표를 갖고 있는 것이 바로 모델이기 때문입니다.

• 토큰당 고정 비용으로 텍스트를 생성하면서 튜닝 표면을 원하지 않는 무언가를 만들고 있나요? nfe4 distill이 바로 그 모델입니다. CFG 1과 score temperature 1이 완전한 구성이기 때문입니다.

• 어시스턴트가 필요하신가요? 둘 다 아닙니다. 두 저장소 어디에도 채팅 템플릿이 없고, 시스템 프롬프트도, 도구 호출도 없으며, 베이스 카드에는 지시 수행 모델이 아니라고 분명히 적혀 있습니다. 그 용도에 맞는 것은 8,192토큰 컨텍스트의 instruct 변형입니다.

• 인용할 수 있는 벤치마크가 필요하신가요? 디스틸만 벤치마크가 있으며, 그것도 NVIDIA 자체의 것입니다.

네 가지 질문 중 어느 것도 파라미터 수를 묻지 않으며, 이는 이것이 크기 비교가 아니라는 것을 보여주는 단서입니다. 537M 파라미터 차이는 자기회귀 헤드를 파일에 유지하는 대가이며, nfe4의 순수 디퓨전 경로에는 아무런 이득이 되지 않습니다 — 이는 동일한 아키텍처가 spec 변형의 기반도 되기 때문에 존재합니다.

그 쌍의 핵심

NVIDIA는 하나의 백본을 만들고 이를 두 번 출시했습니다. 한 번은 연구할 대상으로, 한 번은 실행할 대상으로. 이는 일관된 전략이며, 두 카드가 그토록 다르게 읽히는 이유입니다 — 기본 카드는 샘플러를 바꿀 연구자를 위해 쓰였고, 증류 카드는 그렇지 않을 개발자를 위해 쓰였습니다.

아직 이 쌍에 없는 것은 그 트레이드오프를 정직하게 확인할 수 있게 해 줄 바로 그것, 즉 교사 점수다. 베이스 8B 카드가 증류 모델 카드가 담고 있는 것과 동일한 6개 과제 표를 갖출 때까지는, 증류로 무엇을 얻었는지에 관한 모든 주장은 이 두 파일에 관한 주장이 아니라 논문의 모델 패밀리 수준 실험에 관한 주장이다. NVIDIA가 그 표를 추가한다면 — 그리고 베이스 카드의 11월 16일 마지막 편집은 저장소가 여전히 유지 관리되고 있음을 시사한다 — 이 비교는 재구성이 아니라 빼기가 된다.

당장은 실용적인 해석이 좁지만 유용합니다: 다양한 스텝 예산에서 연속 확산 LM이 어떻게 동작하는지 탐구하려면 base를 고르고, 공개된 정확도에서 포워드 패스당 6.4토큰을 고정하려면 nfe4를 고르며, 채팅 모델이나 긴 메모보다 더 긴 컨텍스트 창이 필요하면 둘 다 건너뛰세요. 둘 다 현재 OrcaRouter 카탈로그에 없고, 블록 확산 아키텍처를 위한 서빙 경로가 생기기 전까지는 없을 것입니다 — OrcaRouter가 실제로 제공하는 것은 200개 이상의 자기회귀 모델로, 둘 중 하나를 이들과 비교해 벤치마크할 수 있으며, 하나의 키로 공급자 정가에 마크업 없이, 그리고 실험을 프로덕션 경로와 분리하고 싶을 때 자동 페일오버와 함께 이용할 수 있습니다.

A generated two-column scoreboard titled Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma, contrasting the distill at 9.03B parameters and 18.06 gigabytes, a fixed 4 denoising evaluations per 32-token block, guidance 1 and no tuning, a published six-task mean of 66.36, five downloads and a 12 November 2026 release, against the base at 8.49B and 16.99 gigabytes, configurable steps from 4 to 32, guidance 3 and tuned score temperature, no published benchmark table, 106 downloads and a 5 October 2026 release, with a footer noting all figures are NVIDIA-reported.