Một thẻ tiêu đề được tạo ghi Nemotron-Labs-Sigma-distill-8B-nfe4 so với Nemotron-Labs-Sigma, với phụ đề cùng dòng phát triển, hai hợp đồng giải mã, cùng bốn ô số liệu: bản gốc ở 8,49B tham số với số bước DDIM có thể cấu hình, bản chưng cất ở 9,03B với cố định 4 lần đánh giá khử nhiễu mỗi khối, bản gốc có 106 lượt tải so với 5 lượt của bản chưng cất, và phần chân ghi chú rằng mọi số liệu đều lấy từ thẻ mô hình NVIDIA và không có benchmark độc lập nào cho cả hai.
Guides & Insights

Nemotron-Labs-Sigma-distill-8B-nfe4 so với Nemotron-Labs-Sigma: Cùng dòng dõi trọng số, hai hợp đồng giải mã

Tác giả

jinhao.song

Ngày đăng

Mô hình mới nhất · 20Xem tất cả mô hình →
Benchmark: Artificial Analysis · cập nhật hằng ngày
Quay lại tất cả bài viết

Điều gây bối rối ở Nemotron-Labs-Sigma-distill-8B-nfe4 là nó không phải một Nemotron-Labs-Sigma-8B tốt hơn. Nó là một tệp khác với một hợp đồng khác, được tạo ra từ một mô hình thầy trong cùng dòng, và khác biệt giữa hai mô hình không phải là độ chính xác — mà là số lần mạng chạy để phát ra một từ. Bản 8B gốc được công bố vào ngày 5 tháng 10 năm 2026 như một mô hình nghiên cứu đã tiền huấn luyện: 8.49B tham số, số bước khử nhiễu có thể cấu hình, classifier-free guidance mà bạn phải tự tinh chỉnh bằng tay, và một thẻ mô hình không công bố điểm số nào cả mà chỉ trỏ đến arXiv:2610.02665. Bản chưng cất nfe4 ra mắt vào ngày 12 tháng 11 năm 2026 với 9.03B tham số, số bước được tích hợp sẵn vào checkpoint, và là bảng theo từng benchmark duy nhất mà NVIDIA đã đưa lên một thẻ Sigma. Cả hai đều chỉ dùng tiếng Anh, cả hai đều giới hạn ở 4,096 token, cả hai đều nằm dưới cùng một giấy phép. Lựa chọn giữa chúng là lựa chọn về cách bạn muốn mô hình sử dụng tài nguyên tính toán của nó.

Điều gì thực sự khác nhau, xét theo từng tệp

Cả hai kho lưu trữ đều cung cấp cùng một model_type — nemotron_labs_sigma — và cả hai đều được tải theo cùng một cách, với trust_remote_code và một tệp mô hình 40 KB từ kho. Các cấu hình khác nhau ở những điểm quan trọng khi suy luận và gần như không khác biệt chút nào ở backbone:

• Backbone — cấu trúc giống hệt ở cả hai: 34 lớp, kích thước ẩn 4.096, FFN 14.336, 32 đầu truy vấn và 8 đầu khóa-giá trị, SwiGLU, RoPE, từ vựng 131.072 token.

• Tham số — 8,49B (8.489.947.136 BF16 cộng 2.097.186 F32) cho bản cơ sở, 9,03B (9.026.818.048 BF16 cộng cùng số lượng F32) cho bản chưng cất. Phần thêm 537M là đầu đọc tự hồi quy phụ trợ mà bản chưng cất giữ lại song song với đầu khuếch tán.

• Trọng số trên đĩa — 16.99 GB so với 18.06 GB, mỗi bên bốn shard.

• Ngữ cảnh — 4.096 token cho cả bản base và bản distill. Biến thể instruct trong cùng bộ sưu tập nâng con số này lên 8.192 và thêm một mẫu chat; không mô hình nào ở đây có mẫu này.

• Steps — bản base cung cấp steps và block_length tại thời điểm gọi, và card của nó công bố bảng theo từng ngân sách; bản distill không chấp nhận bất kỳ ghi đè nào.

• Hướng dẫn — mô hình cơ sở cần classifier-free guidance (3.0 ở 32 và 16 bước, 2.0 ở 4 bước) và score temperature đã được tinh chỉnh; bản distill chạy ở CFG 1 và score temperature 1, nghĩa là không có guidance và không có tinh chỉnh.

• Sampler — mô hình cơ sở được tài liệu hóa cho DDIM trên lưới log_snr với khối 64 token theo mặc định; bản chưng cất dùng fresh_x0 với self-conditioning được mang giữa các bước và khối 32 token.

Số bước không phải là một cài đặt trên mô hình đã chưng cất.

Đây là câu trong thẻ mô hình làm thay đổi cách nhìn về toàn bộ phép so sánh: "Số bước khử nhiễu được cố định bởi quá trình huấn luyện: biến thể này chỉ được huấn luyện cho NFE=4, và mã suy luận đi kèm cố ý không cho phép ghi đè số bước tùy ý (các số bước khác sẽ đánh giá các điểm cuối giai đoạn chưa được huấn luyện)."

Phased DMD chưng cất một quỹ đạo, và một quỹ đạo đã chưng cất có các điểm cuối pha tại những mức nhiễu cụ thể. Bảo một mô hình học trò bốn bước thực hiện tám bước không phải là chạy nó chậm hơn để có chất lượng tốt hơn — mà là yêu cầu nó đánh giá tại những mức nhiễu mà nó chưa từng được huấn luyện. Thẻ ghi rằng đầu ra bị giảm chất lượng. Không có núm điều chỉnh nào.

Bản base thì ngược lại. Card của nó đưa cho bạn bảng — DDIM-32 với CFG 3 và nhiệt độ score 0.3, DDIM-16 với CFG 3 và 0.4, DDIM-8 với CFG 3 và 0.6, DDIM-4 với CFG 2 và 0.8 — rồi thêm cảnh báo rằng dưới khoảng 16 bước thì các mô hình đã tiền huấn luyện mất chất lượng rõ rệt, và rằng việc sinh ít bước nên dùng các biến thể chưng cất thay thế.

Đọc cùng nhau, hai phát biểu đó từ cùng một tổ chức là một sự phân công lao động: base là thứ bạn tinh chỉnh, distill là thứ bạn không tinh chỉnh. Nếu bạn muốn một núm vặn, hãy chọn base. Nếu bạn muốn một hằng số, hãy chọn distill.

A generated diagram comparing the decoding contracts of the two models: the base Nemotron-Labs-Sigma-8B shown as a configurable path of 32, 16, 8 or 4 denoising steps per 64-token block with classifier-free guidance of 3, 3, 3 or 2 and score temperatures of 0.3, 0.4, 0.6 and 0.8, against the distilled nfe4 shown as a single fixed path of 4 denoising evaluations plus one readout per 32-token block at guidance 1 and temperature 1.

Phép toán tách biệt họ

Hãy đưa hai hợp đồng về cùng đơn vị và lý do tệp chưng cất tồn tại trở nên rõ ràng.

• Base ở cài đặt được đề xuất của nó — 33 lần gọi bộ khử nhiễu cho mỗi khối 64 token (32 bước cộng với một lần đọc kết quả), tức là 1,9 token mỗi lượt truyền xuôi.

• Base ở 4 bước — 5 lần gọi mỗi khối 64 token, 12,8 token mỗi lượt, nhưng thẻ cảnh báo chất lượng giảm rõ rệt khi dưới 16 bước.

• Chưng cất nfe4 — 5 lần gọi cho mỗi khối 32 token, 6,4 token mỗi lượt, ở chất lượng mà thẻ công bố.

• Distill nfe8 — 9 lần gọi cho mỗi khối 32 token, 3,6 token mỗi lượt và tốt hơn 4 điểm trên mức trung bình sáu tác vụ.

Vậy nên nfe4 đã chưng cất nằm giữa điểm vận hành an toàn của bản base và điểm không an toàn của nó: số lượt truyền xuôi trên mỗi token ít hơn ba lần so với cấu hình base được khuyến nghị, với số bước mà mô hình thực sự được huấn luyện. Đó chính là toàn bộ tiền đề của bản phát hành này, và đó là tiền đề về năng lực tính toán, không phải về trí tuệ.

Đây không phải là thông lượng đo được. Thẻ cơ sở báo cáo khoảng 120–140 token mỗi giây cho 256 token được tạo trên một H100 với DDPM ở 32 bước mỗi khối 64 token. Thẻ chưng cất không công bố con số token mỗi giây nào. Các tỷ lệ số lần gọi ở trên là phép tính số học trên các số bước đã công bố; hãy coi chúng đúng như vậy.

Cái nào có các con số, và chúng có giá trị bao nhiêu?

Ở đây, hai lá bài tách nhau rõ rệt, và theo một hướng khiến phe cơ sở cảm thấy không thoải mái.

Nemotron-Labs-Sigma-8B không công bố bảng benchmark nào. Phần đánh giá của nó chỉ gồm hai câu nói rằng các kết quả "được báo cáo trong báo cáo kỹ thuật." Mọi điều bạn có thể biết về độ chính xác của nó, bạn đều phải lấy từ arXiv:2610.02665 — một bài báo bao quát dòng 3B và 8B, cả bản base và bản distilled, và có phần tóm tắt khẳng định các mô hình đánh bại các LM khuếch tán mặt nạ và các baseline tự hồi quy với mức cải thiện nhất quán lớn nhất trên tác vụ lập trình.

Thẻ nfe4 đã chưng cất có công bố các con số, trên mười seed với hai sai số chuẩn: GSM8K 86,86 ± 0,28, MATH 61,52 ± 0,20, HumanEval 60,61 ± 1,43, HumanEval+ 57,99 ± 1,20, MBPP 57,50 ± 0,61, MBPP+ 73,70 ± 1,07, trung bình sáu tác vụ 66,36 ± 0,46. Chín trong số mười giá trị seed nằm trong khoảng 42 đến 51, nên giao thức được mô tả đủ chính xác để tái tạo.

Vì vậy, hai thẻ này xét như một cặp không thể cho bạn biết chi phí chưng cất là bao nhiêu. Đó là con số hữu ích nhất trong so sánh này và nó đang bị thiếu, bởi vì thẻ của teacher không có bảng nào để trừ đi. Bài báo là nơi duy nhất tuyên bố này tồn tại, và cách diễn đạt của nó mang tính định hướng: tăng tốc khoảng 8× trên toán và 4× trên lập trình nhờ chưng cất khớp phân phối “với mức suy giảm độ chính xác nhỏ”. Những hệ số nhân đó là do bài báo báo cáo, không phải do thẻ báo cáo, và chúng đề cập đến các thí nghiệm của chính dòng mô hình chứ không phải một so sánh có kiểm soát giữa đúng hai checkpoint trên hub hiện nay.

Một điểm rắc rối nữa ngay trong chính dòng distill: biến thể anh em nfe16 được đánh dấu là pending_ten_seed_six_task_validation. Trung bình ba tác vụ của nó là 74.50 chỉ đến từ một lần chạy seed-42 duy nhất và thẻ ghi rằng không nên so sánh nó với trung bình mười seed của các biến thể khác. Vì vậy, “cái lớn nhất là tốt nhất” là cách diễn giải mà thẻ dứt khoát không ủng hộ.

Lựa chọn thứ ba mà không ai gọi tên

Bộ sưu tập chứa một biến thể không phải là một trong hai mô hình trong so sánh này và có thể nói là tệp thú vị nhất trong đó: Nemotron-Labs-Sigma-distill-spec-8B. Đây vẫn là giáo viên MS-SUSReg-8B đó, được chưng cất với một mục tiêu chấp nhận bổ sung, và thay vì chạy như một bộ lấy mẫu thuần túy vài bước, nó phác thảo một khối 32 token bằng đầu diffusion của mình và xác minh khối đó bằng đầu tự hồi quy của chính nó. Mỗi vòng tốn một lời gọi diffusion, và các token được chấp nhận được phát ra mà không cần thêm một lượt lan truyền xuôi nào. Thẻ cho biết văn bản trả về chính xác là đầu ra tự hồi quy tham lam — việc chấp nhận thay đổi thông lượng, không bao giờ thay đổi nội dung.

Các con số chấp nhận đã công bố, một ảnh chụp nhanh duy nhất: độ dài chấp nhận trung bình 7,91 trên HumanEval, 11,86 trên GSM8K, 13,37 trên MBPP, đã bao gồm token thưởng, đã loại trừ vòng bootstrap. Đó là các thước đo thông lượng, không phải thước đo độ chính xác, và chúng không thể so sánh với bảng độ chính xác của nfe4 — một điểm khác biệt mà thẻ nhấn mạnh bằng chữ in đậm.

Trên thực tế, đây là biến thể đáng để theo dõi nếu câu hỏi là "liệu một diffusion head có thể tăng tốc một mô hình mà không thay đổi những gì nó nói hay không." Nó không phải là giải pháp thay thế trực tiếp cho cả hai mô hình trong so sánh này: nó cần generate_speculative, cả hai head, và self-conditioning phải được tắt.

Screenshot of the Hugging Face model card for nvidia/Nemotron-Labs-Sigma-8B, showing the description of an 8-billion-parameter continuous diffusion language model that denoises in a 16-dimensional continuous token-embedding space and decodes in parallel blocks using DDPM or DDIM samplers, the note that this is the base pretrained model rather than an instruction follower, and the NVIDIA Nemotron Open Model License.

Cách lựa chọn trong thực tế

Quyết định rút gọn thành bốn bước kiểm tra, và bước đầu tiên loại bỏ hoàn toàn một bên đối với hầu hết người đọc:

• Bạn có đang nghiên cứu chính quá trình lấy mẫu — lịch guidance, số bước, điều hướng quỹ đạo, hành vi classifier-free guidance? Bản nền là mô hình, vì nó là thứ có các nút điều chỉnh và bảng theo ngân sách.

• Bạn đang xây dựng một thứ tạo văn bản với chi phí cố định trên mỗi token và không muốn có bề mặt tinh chỉnh? nfe4 distill chính là mô hình, vì CFG 1 và score temperature 1 là một cấu hình hoàn chỉnh.

• Bạn có cần một trợ lý không? Không cái nào cả. Không có chat template trong cả hai kho mã nguồn, không có system prompt, không có tool calling, và card gốc nói rõ rằng nó không phải là mô hình tuân theo chỉ dẫn. Các biến thể instruct với 8,192 token ngữ cảnh mới là những bản dành cho việc đó.

• Bạn có cần một benchmark có thể trích dẫn không? Chỉ bản distill mới có, và đó là của chính NVIDIA.

Không có câu nào trong bốn câu hỏi đề cập đến số lượng tham số, và đó chính là dấu hiệu cho thấy đây không phải là một phép so sánh kích thước. Mức chênh lệch 537M tham số là cái giá phải trả để giữ đầu tự hồi quy trong tệp, và nó chẳng mang lại gì cho đường khuếch tán thuần túy của nfe4 — nó ở đó vì cùng kiến trúc cũng là nền tảng cho biến thể spec.

Điểm chính của cặp.

NVIDIA đã xây dựng một backbone và phát hành nó hai lần: một lần như thứ để nghiên cứu và một lần như thứ để chạy. Đó là một chiến lược nhất quán, và đó là lý do hai card đọc lên khác nhau đến vậy — card base được viết cho một nhà nghiên cứu, người sẽ thay đổi sampler, còn card distill dành cho một nhà phát triển, người sẽ không làm vậy.

Điều mà cặp này vẫn còn thiếu chính là thứ sẽ cho phép bạn kiểm tra sự đánh đổi một cách trung thực: điểm số của teacher. Cho đến khi card base 8B mang cùng bảng sáu tác vụ mà bản distill mang, mọi tuyên bố về những gì quá trình distillation đem lại đều là tuyên bố về các thí nghiệm cấp họ trong bài báo chứ không phải về hai tệp này. Nếu NVIDIA bổ sung bảng đó — và lần chỉnh sửa cuối của card base vào ngày 16 tháng 11 cho thấy các repository vẫn đang được duy trì — thì so sánh này sẽ trở thành một phép trừ thay vì một sự tái dựng.

Hiện tại, cách hiểu thực tế khá hẹp nhưng hữu ích: chọn bản base nếu bạn muốn khám phá cách một LM khuếch tán liên tục hoạt động với các ngân sách bước khác nhau, chọn nfe4 nếu bạn muốn cố định 6,4 token mỗi lượt truyền xuôi ở một độ chính xác đã công bố, và bỏ qua cả hai nếu bạn cần một mô hình chat hoặc một cửa sổ ngữ cảnh dài hơn một bản ghi nhớ dài. Hiện tại cả hai đều không có trong danh mục của OrcaRouter, và cả hai sẽ chưa có cho đến khi tồn tại một đường phục vụ cho kiến trúc khuếch tán khối — thứ OrcaRouter thực sự cung cấp là hơn 200 mô hình tự hồi quy mà bạn sẽ dùng để đối chiếu một trong hai mô hình đó, dưới một khóa tại giá niêm yết của nhà cung cấp không đánh thêm giá, cùng tính năng chuyển đổi dự phòng tự động nếu bạn muốn tách thử nghiệm khỏi đường sản xuất.

A generated two-column scoreboard titled Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma, contrasting the distill at 9.03B parameters and 18.06 gigabytes, a fixed 4 denoising evaluations per 32-token block, guidance 1 and no tuning, a published six-task mean of 66.36, five downloads and a 12 November 2026 release, against the base at 8.49B and 16.99 gigabytes, configurable steps from 4 to 32, guidance 3 and tuned score temperature, no published benchmark table, 106 downloads and a 5 October 2026 release, with a footer noting all figures are NVIDIA-reported.