Nemotron-Labs-Sigma-distill-8B-nfe4용으로 생성된 타이틀 카드로, 2026년 11월 12일 출시, 80억 개 매개변수, 32토큰 블록당 고정 4회의 노이즈 제거 평가, 지난달 다운로드 5회 및 좋아요 0회를 명시하며, 하단에는 모든 수치가 NVIDIA의 모델 카드에서 나온 것이며 독립적으로 검증되지 않았음을 밝히고 있습니다.
Engineering & Research

Nemotron-Labs-Sigma-distill-8B-nfe4, 아무런 공지도 없이 등장했고 다운로드는 단 다섯 번

작성자

jinhao.song

게시일

최신 모델 · 20모든 모델 보기 →
벤치마크: Artificial Analysis · 매일 업데이트
모든 게시물로 돌아가기

이 글을 작성한 2026년 11월 17일 기준으로, Hugging Face에서는 nvidia/Nemotron-Labs-Sigma-distill-8B-nfe4가 지난 30일 동안 다운로드 5회, 좋아요 0개로 집계됐다. NVIDIA가 엿새 전에 공개한 80억 매개변수 언어 모델이 지금까지 받은 반응은 그것이 전부다. 블로그 글도, build.nvidia.com 등록도, 출시 스레드도, 보도자료 속 벤치마크 표도 없었다. 체크포인트 자체 카드에는 릴리스 날짜가 11/12/2026으로 적혀 있다. 저장소의 첫 커밋은 11월 9일 05:47 UTC이고, 마지막 편집은 11월 16일에 있었는데, fp32 지오메트리 텐서를 보존하도록 변환을 다시 작성한 것이었다. 아래의 모든 내용은 그 저장소와 구성 파일들, 그리고 저장소가 인용하는 기술 보고서에서 읽어낸 것이며, 확인되지 않은 부분은 채워 넣지 않고 확인되지 않았음을 표시했다.

저장소는 유일한 1차 출처이며, 이례적으로 명시적입니다.

조용한 릴리스는 대개 스텁 카드만 남긴다. 이번 릴리스는 그렇지 않다. 출처 파일, SHA-256이 포함된 체크포인트 무결성 매니페스트, 토크나이저용 무결성 해시, 네 개의 Model Card++ 서브카드, 그리고 샘플러를 고정하는 생성 설정까지 함께 제공한다. 그 정도의 기록 관리는 모델이 내부 릴리스 프로세스를 거친 뒤 단지 공지되지 않았을 때 나오는 것이다. 런치 포스트가 요약했을 아티팩트는 모두 존재하고, 그 포스트만 빠져 있다.

그 배경에 있는 논문은 실재하며 날짜도 명시되어 있다: arXiv:2610.02665, Large Language Continuous Diffusion Models, v2가 11월 12일에 공개된, 카드에 적힌 대로 가중치도 그날 공개되었다고 하는 NVIDIA의 17인 저자 논문이다. 이 논문은 Nemotron-Labs-Sigma를 3B 및 8B 규모의 최초 대규모 연속 확산 언어 모델군이라고 설명한다. 카드의 평가 섹션은 수치의 출처를 “11월 10일 제한 공개 인계의 검증된 10개 시드, 6개 과제 통계”로 돌리고 있다 — 이 문장은 해당 파일이 공개 저장소가 활성화되기 최소 이틀 전부터 비공개로 유통되고 있었음을 알려준다.

Screenshot of the Hugging Face model card for nvidia/Nemotron-Labs-Sigma-distill-8B-nfe4, showing the model overview describing an 8-billion-parameter continuous diffusion language model distilled with Phased Distribution Matching Distillation, the native 4-NFE 32-token block generation contract, the NVIDIA Nemotron Open Model License, and the release date line reading Hugging Face 11/12/2026.

체크포인트에 실제로 무엇이 들어 있나요?

군더더기 문장을 걷어내면 스펙 시트는 짧습니다. 아래의 모든 줄은 config.json, generation_config.json 또는 카드에서 가져온 것입니다:

• 백본 — Ministral 스타일의 디코더 전용 트랜스포머: 34개 레이어, 히든 크기 4,096, FFN 14,336, 헤드 차원 128에서 32개의 쿼리 헤드와 8개의 키-값 헤드, SwiGLU, 구성(config)에 YaRN 스케일링 블록이 포함된 RoPE.

• 생성 헤드 — 16차원 연속 토큰 임베딩 확산 헤드이며, 보조 자기회귀 판독 헤드는 가지치기되지 않고 체크포인트에 유지됩니다.

• 파라미터 수 — 카드 표기 기준 8.0B, safetensors 집계 기준 9.03B(BF16 텐서 9,026,818,048개 + F32 2,097,186개), 4개 샤드에 걸쳐 18.06GB. 두 수치 사이의 차이는 보조 헤드입니다.

• 디코딩 계약 — 32토큰 블록, 정확히 4회의 디노이징 함수 평가와 1회의 판독, 즉 블록당 5회의 디노이저 호출이며, 이는 순전파당 6.4개의 생성 토큰입니다.

• 샘플러 — 단계 간에 자기 조건화가 유지되는 네이티브 fresh_x0 경로, classifier-free guidance는 1로 고정, score temperature는 1로 고정.

• 컨텍스트 — 프롬프트와 생성에 4,096 토큰. 영어 전용. 토큰 ID EOS 중지 없음; 문자열이나 토큰 예산에서 중지됩니다.

• 런타임 — PyTorch 2.4 이상, Transformers 4.55 이상, trust_remote_code, bfloat16의 CUDA GPU. CPU는 명시적으로 지원되지 않으며, 카드에는 그 이유가 제시되어 있습니다: 샘플러가 CPU에서 수치적으로 저하되어 사용할 수 없는 출력을 생성합니다.

• 라이선스 — NVIDIA Nemotron Open Model License이며, 모델 카드에 따르면 상업적 및 비상업적 사용이 허용됩니다. 모델 카드는 또한 사용 사례 섹션에서 이 모델이 사용자의 하드웨어에서 오프라인으로 실행되며 NVIDIA가 어떤 서비스도 호스팅하지 않는다고 명시합니다.

그 마지막 줄은 어딘가에 Sigma 엔드포인트가 존재한다고 가정한 사람이라면 누구에게나 중요합니다. 존재하지 않습니다. build.nvidia.com에는 Nemotron-Labs-Sigma 항목이 없고, 이 모델은 나머지 Nemotron 라인과 함께 OrcaRouter 카탈로그에서도 빠져 있습니다 — 따라서 오늘 호출할 수 있는 것은 아무것도 없고, 다운로드할 수 있는 것만 있을 뿐입니다.

네 개의 체크포인트, 네 개의 서로 다른 모델

이름만 보면 변형들이 하나의 모델을 네 가지 설정으로 쓴 것처럼 보인다. 하지만 그렇지 않다. 각 NFE 값은 별도로 증류된 학생 모델이며, 모델 카드에는 스텝 수가 고정되어 있다고 분명히 밝힌다. "이 변형은 NFE=4 전용으로 훈련되었으며, 함께 제공되는 추론 코드는 의도적으로 임의의 스텝 재정의를 노출하지 않는다" — 다른 스텝 수를 쓰면 학생 모델이 전혀 훈련하지 않은 단계 끝점을 평가하게 되기 때문이다. 따라서 추론 시 nfe4를 두 스텝으로 낮춰 조정하는 것이 아니라, nfe2를 다운로드해야 한다.

공개된 6개 과제 평균은 모두 10개 시드에 표준오차 2개를 적용한 것으로, 이 계열에서 처음으로 그 트레이드오프를 명확히 읽어낼 수 있게 해준다:

• NFE 2 — GSM8K 80.17, MATH 55.72, HumanEval 48.17, MBPP 37.52; 6개 과제 평균 53.02. 블록당 디노이저 호출 3회, 호출당 10.7토큰.

• NFE 4 — GSM8K 86.86, MATH 61.52, HumanEval 60.61, MBPP 57.50; 6개 과제 평균 66.36. 블록당 5회 호출, 호출당 6.4토큰.

• NFE 8 — GSM8K 88.44, MATH 64.40, HumanEval 65.18, MBPP 62.60; 6개 작업 평균 70.34. 블록당 9회 호출, 호출당 3.6토큰.

• NFE 16 — GSM8K 89.61, HumanEval 67.68, MBPP 66.20, 세 과제 평균 74.50. 블록당 호출 17회, 호출당 토큰 1.9개. 그리고 나머지 세 개에는 없는 주의사항이 있습니다: 이 체크포인트는 pending_ten_seed_six_task_validation으로 표시되어 있고, 수치는 세 과제에서 시드 42로 수행한 단일 실행 결과이며, 카드에는 이를 잠정치로 취급하고 직접 비교하지 말라고 되어 있습니다.

그 사다리의 모양이 흥미로운 부분이다. 스텝을 2에서 4로 두 배로 늘리면 6개 과제 평균에서 13.3점을 얻는다. 다시 8로 두 배로 늘리면 4.0을 얻는다. 16으로 가면 실행된 세 과제에서 추가로 ~4를 얻는다 — 다른, 더 약한 평가에서 말이다. 다시 말해 증류 곡선은 모델이 경쟁력을 갖는 바로 그 지점에서 급격히 평평해지고, nfe4 체크포인트는 그 무릎 지점을 조금 지난 곳에 있다.

A generated bar chart of the Nemotron-Labs-Sigma-distill-8B checkpoints, plotting six-task mean accuracy against denoising evaluations per 32-token block: NFE 2 at 53.02, NFE 4 at 66.36 and NFE 8 at 70.34 as ten-seed figures, with NFE 16 shown separately at a three-task mean of 74.50 and marked as a single seed-42 run pending validation.

숫자는 어디에서 비롯되고, 어디에서 멈추는가

위의 모든 수치는 NVIDIA의 것이며, NVIDIA가 자체 평가 하네스에서 산출하고, 실제보다 더 독립적으로 보이게 만드는 시드 개수와 함께 보고한 것입니다. 2표준오차를 동반한 시드 10개는 엄격한 프로토콜입니다 — 이는 nfe4 HumanEval 점수 60.61이 ±1.43 구간을 가진다고 알려주며, 이는 어떤 대상과의 2점 차이를 실재하는 것으로 읽어서는 안 될 만큼 넓습니다. 그러나 동일한 하네스에서 나온 시드 10개는 열 개의 실험실이 아닙니다.

11월 17일 현재 존재하지 않는 것: 어떤 Sigma 모델에 대한 Artificial Analysis 페이지, 공개 모델 가격 카탈로그의 어떤 항목, vLLM 또는 SGLang 지원, 그리고 제3자 재현. 확인은 금방 끝나며 결과는 비어 있습니다. vLLM의 main 브랜치 모델 레지스트리에는 nemotron_labs_sigma 아키텍처가 없습니다. Nemotron diffusion을 언급하는 SGLang 풀 리퀘스트는 더 오래된 Nemotron-Labs-Diffusion-8B 계열을 위한 것이며 여전히 열려 있습니다. Transformers에는 네이티브 nemotron_labs_sigma 모듈이 없으며, 그래서 모델 카드에서 trust_remote_code로 로드하고 저장소의 40KB 모델링 파일을 가중치와 함께 제공하라고 안내합니다.

그래서 솔직한 현황은 이렇습니다: 공개된 평가 프로토콜이 있지만 외부 검증은 전혀 없는, 릴리스된 체크포인트입니다. 이는 2026년 11월 기준 확산 언어 모델의 정상적인 상태이며, 모델에 대한 비판이 아닙니다 — 모델 카드에서 어느 정도까지 계획의 근거로 삼을 수 있는지를 설명하는 것입니다.

그것을 실행하는 것은 서빙 스택이 아니라 Python 스크립트입니다.

모델 카드의 퀵스타트는 열한 줄입니다. 원격 코드로 토크나이저와 모델을 로드하고, bfloat16으로 캐스팅하고, 최대 토큰 수와 선택적 중지 문자열을 지정해 generate를 호출한 뒤, 모델이 보고하는 NFE 수를 다시 읽습니다. 이 저장소에는 채팅 템플릿도, 시스템 프롬프트도, 도구 호출도, JSON 모드도 없습니다. 카드는 이것이 벤치마크 스타일 프롬프팅이며 모델은 어시스턴트가 아니라 베이스 체크포인트의 증류된 학생 모델이라고 분명히 밝힙니다. 대화를 원한다면 컬렉션에는 8,192 토큰 컨텍스트의 부모 모델 인스트럭트 변형이 있습니다.

대충 훑어보는 사람이라면 누구든 두 가지 운영상 세부 사항에서 문제를 겪게 된다. 첫째, 중지: token-ID EOS 중지가 없으므로, stop string을 절대 생성하지 않는 요청은 토큰 예산까지 계속 실행되며, 그 예산은 4,096-token 창 안에서 프롬프트와 공유된다. 둘째, 메모리: KV cache 이전에 18 GB의 bfloat16 가중치가 있으며, 이 모델에서 유일하게 지원되는 경로는 저장소 자체의 PyTorch eager 코드다. paged attention도, continuous batching도, 컬렉션 내 양자화 빌드도 없다. 오늘날 지원되는 구성은 GPU 하나에서의 단일 요청이다.

처리량은 사람들이 원하게 될 수치인데, 카드는 이 체크포인트에 대해 그 수치를 제공하지 않습니다. 부모 모델의 카드는 H100 한 대에서 64토큰 블록당 32스텝의 DDPM 샘플러를 사용해 256토큰을 생성할 때 초당 약 120–140토큰을 보고합니다. 증류된 nfe4는 64토큰당 33회 호출 대신 32토큰당 5회 호출을 수행하는데, 호출 횟수 기준으로는 토큰당 순전파 횟수가 4배 조금 넘게 적습니다 — 하지만 이는 스텝 수에 대한 산술일 뿐 이 체크포인트의 측정값이 아니며, 카드에는 이에 대한 초당 토큰 수 수치가 게시되어 있지 않습니다.

확인되지 않은 것은 무엇입니까?

출시 게시물이었다면 정리해 주었을 세 가지를, 이번 릴리스는 정리하지 않는다:

• NVIDIA가 이를 제품으로 의도한 것인지, 아니면 연구 결과물로 의도한 것인지. 라이선스는 상업적 사용을 허용하고 해당 카드는 제품 언어로 작성되어 있지만, 호스팅된 엔드포인트도, 지원 성명도 없으며 11월 16일까지 어떤 NVIDIA 블로그 게시물에서도 언급된 바 없다.

• 교사 모델의 가치. 카드에는 학생 모델이 동일한 아키텍처 계열의 "MS-SUSReg-8B" 교사 모델로부터 증류되었다고 나와 있으며, 출처 파일에는 학생 단계 1200에서의 실행 8b_ms_susreg_n4_20261109가 명시되어 있습니다. 공개된 베이스 Nemotron-Labs-Sigma-8B는 동일한 계보로 설명되지만, 베이스 카드에는 숫자가 전혀 공개되어 있지 않고 논문을 가리키는 포인터만 있어, 두 카드를 나란히 놓고 증류 손실을 읽어낼 수는 없습니다.

Screenshot of the nvidia/nemotron-labs-sigma collection page on Hugging Face, listing fourteen repositories: the 3B and 8B base and instruct models, distill variants at NFE 2, 4, 8 and 16 for both sizes, and self-speculative distill checkpoints for 3B and 8B, with the collection description reading continuous diffusion language models, base, instruct, few-step distilled and self-speculative variants.

• nfe16 체크포인트가 해당 제품군에서 최고인지, 아니면 미완의 평가가 낳은 산물인지 여부. 그 수치는 카드에서 가장 높은 동시에 가장 신뢰하기 어려운 수치이며, 카드 자체가 그렇게 밝히고 있으니, 이는 대부분의 릴리스 노트가 보여주는 것보다 더한 솔직함이다.

왜 조용한 출시가 진짜 이야기인가

NVIDIA는 올가을 많은 것을 출시했다. Bolt, Super VL, Transcribe, Dory 라인 모두 블로그 게시물과 build.nvidia.com 페이지를 함께 제공했다. Sigma는 같은 조직에서 나왔지만 그중 아무것도 없이, 논문, 라이선스, 네 개의 Model Card++ 하위 카드, 다운로드 5회 카운터만 가지고 등장한다. 가장 유력한 해석은 이것이 제품 표면에서 의도적으로 제외된 연구용 릴리스라는 것이다. 카드에 명시된 의도된 용도는 "지연 시간에 민감한 생성 연구, 추측 및 병렬 디코딩 연구"이며, 이는 실험실 산출물의 언어다.

관심을 가져야 할지 판단하는 독자라면, 실용적인 질문은 모델이 추상적으로 좋은지가 아니라, 서빙 스택 없이 4K 컨텍스트에서 4-NFE 연속 확산 LM이 이미 파이프라인에 있는 자기회귀 모델을 능가하는지입니다. 그 답을 얻으려면 실제로 실행해 봐야 하며, GPU 한 시간을 투자할 가치가 있게 만드는 산술은 간단합니다. 포워드 패스당 6.4개 토큰인 반면, 표준 디코더는 1개입니다. 그것이 당신의 워크로드와 맞닿아서도 살아남는지는 바로 빠져 있는 독립 벤치마크가 알려주었을 일입니다.

OrcaRouter는 이 체크포인트를 제공하지 않으며, 고정 단계 수를 가진 블록 확산 아키텍처를 위한 서빙 경로를 누군가 구축하기 전까지는 토큰당 가격 뒤에 등장하지 않을 것입니다 — 비용 모델은 자기회귀 API처럼 입력 및 출력 토큰에 대응되지 않습니다. OrcaRouter에서 실제로 제공되는 것은 비교 세트입니다: 200개 이상의 자기회귀 모델을 하나의 키 뒤에서 공급자 정가로 마크업 없이 제공하므로, Sigma 질문은 카드가 아닌 실제 기준선에 대해 답할 수 있습니다. 둘 모두를 하나의 엔드포인트로 라우팅하는 것은 결정을 내리는 동안 실험을 프로덕션 경로에서 분리해 두는 가장 저렴한 방법이기도 합니다.