
Nemotron-Labs-Sigma-distill-8B-nfe4 đã xuất hiện mà không có thông báo nào và chỉ với năm lượt tải xuống
- GoogleMỚIGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 trên 1 triệu token · 90 tok/s
- AnthropicMỚIAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 trên 1 triệu token · 97 tok/s
- orcaMỚIOrca: OrcaC2 1.02026-11-0717 tok/s
- OrcaMỚIOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 trên 1 triệu token · 88 tok/s
- OrcaMỚIOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 trên 1 triệu token · 133 tok/s
- OrcaMỚIOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 trên 1 triệu token · 72 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 trên 1 triệu token · 127 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 trên 1 triệu token · 65 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 trên 1 triệu token · 92 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 trên 1 triệu token · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Trí tuệ
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 trên 1 triệu token · 193 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Trí tuệ
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 trên 1 triệu token · 146 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Trí tuệ
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Trí tuệ
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 trên 1 triệu token · 124 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955Trí tuệ
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855Trí tuệ
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 trên 1 triệu token · 218 tok/s
Hugging Face ghi nhận năm lượt tải xuống nvidia/Nemotron-Labs-Sigma-distill-8B-nfe4 trong ba mươi ngày qua và 0 lượt thích, khi bài viết này được viết vào ngày 17 tháng 11 năm 2026. Đó là toàn bộ sự đón nhận cho đến nay đối với một mô hình ngôn ngữ 8 tỷ tham số mà NVIDIA công bố sáu ngày trước đó. Không có bài đăng blog, không có mục niêm yết trên build.nvidia.com, không có luồng ra mắt, không có bảng đánh giá chuẩn trong thông cáo báo chí. Model card của chính checkpoint ghi ngày phát hành là 11/12/2026; commit đầu tiên của kho lưu trữ là ngày 9 tháng 11 lúc 05:47 UTC, và lần chỉnh sửa cuối cùng đối với nó là vào ngày 16 tháng 11, lần này đã viết lại quy trình chuyển đổi để bảo toàn các tensor hình học fp32. Mọi thứ dưới đây được rút ra từ kho lưu trữ đó, các tệp cấu hình của nó và báo cáo kỹ thuật mà nó trích dẫn, và những phần chưa được xác nhận đều được ghi rõ là như vậy thay vì được điền thêm.
Kho lưu trữ là nguồn chính duy nhất, và nó tường minh một cách bất thường.
Hầu hết các bản phát hành âm thầm đều để lại một thẻ tóm tắt sơ sài. Bản này thì không. Nó đi kèm một tệp nguồn gốc, một manifest toàn vẹn checkpoint với SHA-256, một mã băm toàn vẹn cho tokenizer, bốn thẻ con Model Card++, và một cấu hình sinh cố định sampler. Mức độ ghi chép đó là thứ bạn có được khi một mô hình đã trải qua quy trình phát hành nội bộ và sau đó đơn giản là không được công bố — mọi tạo tác mà một bài đăng ra mắt sẽ tóm tắt đều hiện diện, chỉ thiếu bài đăng.
Bài báo đằng sau nó là có thật và có ghi ngày tháng: arXiv:2610.02665, Các mô hình khuếch tán liên tục cho ngôn ngữ quy mô lớn, một bài báo của NVIDIA với mười bảy tác giả mà phiên bản v2 ra mắt vào ngày 12 tháng 11, cùng ngày mà thẻ mô hình nói rằng các trọng số đã xuất hiện. Bài báo mô tả Nemotron-Labs-Sigma là họ mô hình ngôn ngữ khuếch tán liên tục quy mô lớn đầu tiên ở mức 3B và 8B. Phần đánh giá của thẻ mô hình ghi nguồn các con số của nó cho “thống kê mười seed, sáu tác vụ đã được xác minh từ đợt bàn giao phát hành hạn chế ngày 10 tháng 11” — một câu cho bạn biết rằng tệp đã được lưu hành riêng tư ít nhất hai ngày trước khi các kho công khai được bật lên.

Thực sự có gì trong checkpoint
Bỏ phần văn xuôi đi thì bảng thông số rất ngắn. Mỗi dòng dưới đây đều đến từ config.json, generation_config.json hoặc thẻ:
• Backbone — một transformer chỉ-giải-mã kiểu Ministral: 34 lớp, kích thước ẩn 4.096, FFN 14.336, 32 đầu truy vấn và 8 đầu khóa-giá trị với chiều đầu 128, SwiGLU, RoPE với một khối mở rộng YaRN trong cấu hình.
• Đầu tạo sinh — một đầu khuếch tán embedding token liên tục 16 chiều, với đầu đọc tự hồi quy phụ được giữ trong checkpoint thay vì bị cắt tỉa.
• Số lượng tham số — 8.0B theo cách đặt tên trên card, 9.03B theo kiểm đếm safetensors (9.026.818.048 tensor BF16 cộng 2.097.186 F32), 18,06 GB trải trên bốn shard. Khoảng chênh giữa hai con số là head phụ trợ.
• Hợp đồng giải mã — khối 32 token, chính xác 4 lần đánh giá hàm khử nhiễu cộng một lần đọc kết quả, tức 5 lần gọi bộ khử nhiễu cho mỗi khối, tương đương 6,4 token được sinh ra trong mỗi lượt truyền xuôi.
• Sampler — đường fresh_x0 gốc với self-conditioning được duy trì giữa các bước, classifier-free guidance cố định ở 1, score temperature cố định ở 1.
• Ngữ cảnh — 4.096 token cho prompt cộng với generation. Chỉ dùng tiếng Anh. Không dừng EOS theo token-ID; bạn dừng theo chuỗi hoặc ngân sách token.
• Runtime — PyTorch 2.4 trở lên, Transformers 4.55 trở lên, trust_remote_code, một GPU CUDA ở bfloat16. CPU không được hỗ trợ rõ ràng, và card nêu lý do: bộ lấy mẫu bị suy giảm về mặt số học trên CPU và tạo ra đầu ra không dùng được.
• Giấy phép — Giấy phép Mô hình Mở NVIDIA Nemotron, mà thẻ cho biết cho phép sử dụng thương mại và phi thương mại. Thẻ cũng nêu, trong phần trường hợp sử dụng, rằng mô hình chạy ngoại tuyến trên phần cứng của bạn và rằng NVIDIA không cung cấp dịch vụ nào.
Câu cuối cùng đó quan trọng với bất kỳ ai đã cho rằng tồn tại một endpoint Sigma ở đâu đó. Không hề. Không có mục Nemotron-Labs-Sigma nào trên build.nvidia.com, và mô hình này vắng mặt trong danh mục OrcaRouter cùng với phần còn lại của dòng Nemotron — vì vậy hôm nay không có gì để gọi, chỉ có thứ để tải xuống.
Bốn checkpoint, bốn mô hình khác nhau.
Cách đặt tên khiến các biến thể trông như một mô hình với bốn thiết lập. Không phải vậy: mỗi giá trị NFE là một student được chưng cất riêng, và card nói thẳng rằng số bước đã được cố định sẵn. “Biến thể này chỉ được huấn luyện cho NFE=4, và mã suy luận đi kèm cố ý không cho phép ghi đè số bước tùy ý” — vì các số bước khác sẽ đánh giá các điểm cuối pha mà student chưa từng được huấn luyện. Vậy nên bạn không tinh chỉnh nfe4 xuống hai bước lúc suy luận; bạn tải nfe2.
Các giá trị trung bình sáu nhiệm vụ đã công bố, tất cả đều trên mười seed với hai sai số chuẩn, lần đầu tiên khiến sự đánh đổi trở nên rõ ràng trong nhóm này:
• NFE 2 — GSM8K 80,17, MATH 55,72, HumanEval 48,17, MBPP 37,52; trung bình sáu tác vụ 53,02. 3 lần gọi bộ khử nhiễu mỗi khối, 10,7 token mỗi lần gọi.
• NFE 4 — GSM8K 86.86, MATH 61.52, HumanEval 60.61, MBPP 57.50; trung bình sáu tác vụ 66.36. 5 lần gọi mỗi khối, 6.4 token mỗi lần gọi.
• NFE 8 — GSM8K 88.44, MATH 64.40, HumanEval 65.18, MBPP 62.60; trung bình sáu tác vụ 70.34. 9 lần gọi mỗi khối, 3,6 token mỗi lần gọi.
• NFE 16 — GSM8K 89,61, HumanEval 67,68, MBPP 66,20, trung bình ba tác vụ 74,50. 17 lệnh gọi mỗi khối, 1,9 token mỗi lệnh gọi. Và một lưu ý mà ba mục còn lại không có: checkpoint này được đánh dấu pending_ten_seed_six_task_validation, các số liệu của nó là một lần chạy duy nhất ở seed 42 trên ba tác vụ, và thẻ mô hình nói rằng hãy coi chúng là tạm thời và không thể so sánh trực tiếp.
Hình dạng của chiếc thang đó mới là phần thú vị. Tăng gấp đôi số bước từ 2 lên 4 đổi lấy 13,3 điểm trung bình trên sáu tác vụ. Tăng gấp đôi lần nữa lên 8 đổi lấy 4,0. Đi lên 16 đổi lấy thêm ~4 trên ba tác vụ đã chạy — từ một đánh giá khác, yếu hơn. Nói cách khác, đường cong chưng cất phẳng đi mạnh đúng ngay chỗ mô hình trở nên cạnh tranh, và checkpoint nfe4 nằm ngay sau điểm gãy.

Những con số đến từ đâu, và chúng dừng lại ở đâu
Mọi con số ở trên đều là của NVIDIA, do NVIDIA tạo ra, trên bộ khung đánh giá của chính NVIDIA, và được báo cáo với số lượng seed khiến nó trông độc lập hơn mức thực tế. Mười seed với hai sai số chuẩn là một giao thức nghiêm túc — nó cho bạn biết điểm HumanEval nfe4 là 60.61 có khoảng ±1.43, đủ rộng để bạn không nên coi khoảng cách hai điểm so với bất kỳ thứ gì là thật. Nhưng mười seed của cùng một bộ khung đánh giá không phải là mười phòng thí nghiệm.
Tính đến ngày 17 tháng 11, những gì chưa tồn tại: một trang Artificial Analysis cho bất kỳ mô hình Sigma nào, bất kỳ mục nào trong danh mục giá mô hình công khai, bất kỳ hỗ trợ vLLM hay SGLang nào, và bất kỳ bản tái tạo nào của bên thứ ba. Việc kiểm tra rất nhanh và kết quả trống rỗng. Registry mô hình của vLLM trên nhánh main không có kiến trúc nemotron_labs_sigma; các pull request của SGLang có nhắc đến Nemotron diffusion là dành cho dòng Nemotron-Labs-Diffusion-8B cũ hơn và vẫn đang mở. Transformers không có mô-đun nemotron_labs_sigma gốc, đó là lý do thẻ hướng dẫn bạn tải bằng trust_remote_code và gửi kèm tệp mô hình hóa 40 KB của kho lưu trữ cùng với trọng số.
Vậy tình trạng thực tế là: một checkpoint đã phát hành với giao thức đánh giá đã công bố và không có xác minh bên ngoài nào. Đó là trạng thái bình thường của một mô hình ngôn ngữ khuếch tán vào tháng 11 năm 2026, và đó không phải là lời chỉ trích mô hình — mà là mô tả về mức độ bạn có thể lập kế hoạch dựa trên thẻ mô hình.
Chạy nó chỉ là một script Python, không phải một ngăn xếp phục vụ.
Quickstart của thẻ gồm mười một dòng: tải tokenizer và mô hình bằng remote code, ép kiểu sang bfloat16, gọi generate với số token tối đa và các chuỗi dừng tùy chọn, rồi đọc lại số lượng NFE mà mô hình báo cáo. Không có chat template trong kho lưu trữ này, không có system prompt, không gọi công cụ, không có chế độ JSON — thẻ nói rõ rằng đây là kiểu nhắc lệnh theo phong cách benchmark và mô hình là học trò đã chưng cất của một checkpoint cơ sở, không phải trợ lý. Nếu bạn muốn hội thoại, bộ sưu tập có một biến thể instruct của mô hình cha với 8.192 token ngữ cảnh.
Hai chi tiết vận hành sẽ khiến bất kỳ ai chỉ đọc lướt phải trả giá. Thứ nhất, việc dừng: không có cơ chế dừng EOS theo token-ID, nên một yêu cầu không bao giờ tạo ra chuỗi dừng của bạn sẽ chạy đến hết ngân sách token, và ngân sách này được chia sẻ với prompt trong cửa sổ 4.096 token. Thứ hai, bộ nhớ: 18 GB trọng số bfloat16 trước cả KV cache, trên một mô hình mà đường đi được hỗ trợ duy nhất là mã PyTorch eager từ chính kho lưu trữ — không có paged attention, không có continuous batching, không có bản build lượng tử hóa trong bộ sưu tập. Một yêu cầu đơn lẻ trên một GPU là cấu hình được hỗ trợ hiện nay.
Thông lượng là con số mọi người sẽ muốn, và thẻ không cung cấp con số đó cho checkpoint này. Thẻ của mô hình cha báo cáo khoảng 120–140 token mỗi giây cho 256 token được sinh ra trên một H100 bằng bộ lấy mẫu DDPM với 32 bước cho mỗi khối 64 token. nfe4 đã chưng cất thực hiện 5 lần gọi cho mỗi 32 token thay vì 33 lần gọi cho mỗi 64 token, mà xét theo số lần gọi thì số lượt truyền xuôi trên mỗi token giảm hơn bốn lần một chút — nhưng đó là phép tính trên số bước, không phải đo lường cho checkpoint này, và thẻ không công bố con số token mỗi giây nào cho nó.
Điều gì chưa được xác nhận
Ba điều mà một bài đăng ra mắt lẽ ra đã làm rõ, và bản phát hành này thì không:
• Liệu NVIDIA có ý định coi đây là một sản phẩm hay một sản phẩm nghiên cứu. Giấy phép cho phép sử dụng thương mại và thẻ được viết bằng ngôn ngữ sản phẩm, nhưng không có endpoint được lưu trữ, không có tuyên bố hỗ trợ và không có bất kỳ đề cập nào trong các bài đăng blog của NVIDIA tính đến ngày 16 tháng 11.
• Giá trị của mô hình giáo viên. Thẻ cho biết mô hình học sinh được chưng cất từ mô hình giáo viên "MS-SUSReg-8B" cùng họ kiến trúc, và tệp nguồn gốc ghi rõ lần chạy 8b_ms_susreg_n4_20261109 tại bước 1200 của mô hình học sinh. Mô hình cơ sở Nemotron-Labs-Sigma-8B đã phát hành được mô tả là cùng dòng — nhưng thẻ của mô hình cơ sở không công bố bất kỳ số liệu nào, chỉ có một chỉ dẫn tới bài báo, vì vậy không thể suy ra tổn thất chưng cất bằng cách đặt hai thẻ cạnh nhau.

• Liệu checkpoint nfe16 có phải là bản tốt nhất của cả dòng hay chỉ là thứ phát sinh từ một đợt đánh giá dang dở. Các con số của nó cao nhất trên thẻ và cũng ít đáng tin cậy nhất, và bản thân thẻ cũng nói như vậy, một sự thẳng thắn mà hầu hết ghi chú phát hành không làm được.
Vì sao việc phát hành âm thầm mới là câu chuyện đáng bàn
NVIDIA đã tung ra rất nhiều thứ trong mùa thu này — Bolt, Super VL, Transcribe, dòng Dory, tất cả đều có bài viết blog và trang build.nvidia.com. Sigma xuất hiện mà không có bất kỳ thứ nào trong số đó, đến từ cùng một tổ chức, với một bài báo, một giấy phép, bốn thẻ phụ Model Card++ và một bộ đếm 5 lượt tải xuống. Cách lý giải dễ xảy ra nhất là đây là một bản phát hành nghiên cứu được cố ý giữ ngoài bề mặt sản phẩm: mục đích sử dụng dự kiến của thẻ là "nghiên cứu tạo sinh nhạy cảm với độ trễ, các nghiên cứu giải mã suy đoán và giải mã song song," đây là ngôn ngữ của một hiện vật phòng thí nghiệm.
Đối với một độc giả đang cân nhắc xem có nên bận tâm hay không, câu hỏi thực tế không phải là liệu mô hình có tốt trên lý thuyết hay không — mà là liệu một LM khuếch tán liên tục 4-NFE ở ngữ cảnh 4K, không có serving stack, có đánh bại mô hình tự hồi quy vốn đã có trong pipeline của bạn hay không. Để trả lời điều đó, phải chạy thử nó, và phép tính khiến nó đáng để bỏ ra một giờ GPU rất đơn giản: 6,4 token mỗi lượt forward, so với một token ở một decoder tiêu chuẩn. Liệu điều đó có đứng vững khi va chạm với khối lượng công việc của bạn hay không chính là điều mà một benchmark độc lập còn thiếu lẽ ra sẽ cho bạn biết.
OrcaRouter không phục vụ checkpoint này và nó sẽ không xuất hiện với mức giá theo token cho đến khi ai đó xây dựng một đường phục vụ cho kiến trúc block-diffusion với số bước cố định — mô hình chi phí không ánh xạ lên token đầu vào và đầu ra theo cách một API tự hồi quy làm. Thứ đang hoạt động tại OrcaRouter là bộ so sánh: hơn 200 mô hình tự hồi quy đằng sau một khóa tại giá niêm yết của nhà cung cấp mà không có phụ phí, nên câu hỏi Sigma có thể được trả lời dựa trên một đường cơ sở thực tế thay vì dựa vào một card. Định tuyến cả hai qua cùng một endpoint cũng là cách rẻ nhất để giữ thử nghiệm ngoài đường dẫn sản xuất của bạn trong khi bạn quyết định.
