
Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron 3.5 Lightning 30B A3B: Hai bản phát hành của NVIDIA không bao giờ cạnh tranh với nhau
- GoogleMỚIGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 trên 1 triệu token · 90 tok/s
- AnthropicMỚIAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 trên 1 triệu token · 97 tok/s
- orcaMỚIOrca: OrcaC2 1.02026-11-0717 tok/s
- OrcaMỚIOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 trên 1 triệu token · 88 tok/s
- OrcaMỚIOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 trên 1 triệu token · 133 tok/s
- OrcaMỚIOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 trên 1 triệu token · 72 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 trên 1 triệu token · 127 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 trên 1 triệu token · 65 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 trên 1 triệu token · 92 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 trên 1 triệu token · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Trí tuệ
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 trên 1 triệu token · 193 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Trí tuệ
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 trên 1 triệu token · 146 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Trí tuệ
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Trí tuệ
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 trên 1 triệu token · 124 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955Trí tuệ
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855Trí tuệ
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 trên 1 triệu token · 218 tok/s
Đặt Nemotron-Labs-Sigma-distill-8B-nfe4 và Nemotron 3.5 Lightning 30B A3B vào cùng một câu, và bản năng là hỏi cái nào thông minh hơn. Câu hỏi đó không có câu trả lời, và không phải vì dữ liệu ít ỏi — mà vì hai mô hình không chia sẻ benchmark nào, không có độ dài ngữ cảnh chung, không dùng chung ngăn xếp phục vụ và không có cùng quy trình phát hành. Nemotron-Labs-Sigma-distill-8B-nfe4 là một mô hình khuếch tán liên tục 8B mà NVIDIA công bố vào ngày 12 tháng 11 năm 2026 mà không có thông báo nào và đã được tải xuống năm lần. Nemotron 3.5 Lightning 30B A3B là một mô hình hỗn hợp chuyên gia lai giữa Mamba-2 và attention, với tổng 30B tham số và 3B tham số hoạt động, được phát hành vào tháng 8 cùng một thẻ mô hình, một endpoint build.nvidia.com và 962.098 lượt tải xuống trong tháng trước. So sánh hữu ích không phải là một bảng điểm. Mà là cái nào bạn thực sự có thể đưa ra trước người dùng, và để làm gì.
Hai thẻ này mô tả các sản phẩm khác nhau, chứ không phải các hạng khác nhau
Đọc các phần trường hợp sử dụng cạnh nhau và khoảng cách không còn là về năng lực. Thẻ của Sigma-distill nói rằng nó dành cho "nghiên cứu sinh tạo nhạy cảm với độ trễ, nghiên cứu giải mã suy đoán và song song, và thử nghiệm định hướng triển khai", đồng thời nêu rằng mô hình "chạy ngoại tuyến trên phần cứng của chính người dùng; NVIDIA không host dịch vụ nào." Thẻ của Lightning chỉ đến một điểm cuối tương thích OpenAI tại integrate.api.nvidia.com, một thẻ container vLLM, một cặp lấy mẫu được đề xuất gồm temperature 1.0 và top_p 0.95, một nút bật/tắt chế độ suy nghĩ trong mẫu trò chuyện, và ba checkpoint nháp giải mã suy đoán riêng biệt.
Một cái là tệp. Cái kia là một dịch vụ có một tệp phía sau. Sự khác biệt đó chi phối gần như mọi thứ khác trong bài viết này:
• Tham số — 8B dense (9.03B trong bản kiểm kê safetensors khi tính cả đầu đọc phụ trợ) so với tổng 30B với 3B hoạt động trên mỗi token.
• Kiến trúc — bộ giải mã kiểu Ministral với đầu khuếch tán liên tục 16 chiều so với các lớp Mamba-2, MoE và attention chọn lọc xen kẽ với các đầu dự đoán nhiều token.
• Ngữ cảnh — 4.096 token cho cả lời nhắc và đầu ra cộng lại, so với tối đa 1.000.000, với lưu ý rằng một H100 duy nhất chỉ đạt khoảng 256.000 và để đạt trọn một triệu cần tám H100, một GB200 hoặc một B200.
• Ngôn ngữ — Chỉ tiếng Anh so với tiếng Anh cùng các ngôn ngữ lập trình, tiếng Tây Ban Nha, tiếng Pháp, tiếng Đức, tiếng Ý và tiếng Nhật, với tiếng Trung trong giai đoạn huấn luyện sau.
• Hình thức phát hành — chỉ có card và weights, không có endpoint của nhà cung cấp, không có thông báo so với một endpoint được host, một bản dựng tham chiếu BF16, một bản dựng NVFP4, và ba mô hình nháp để giải mã suy đoán.
• Lượt tải xuống trong ba mươi ngày qua — năm so với 962,098 chỉ riêng trên kho BF16, trước khi tính thêm 901,381 trên bản dựng NVFP4.
• Giấy phép — NVIDIA Nemotron Open Model License cho cả hai, mặc dù thẻ mô hình của Lightning ghi tên là OpenMDW-1.1.
Không có thước đo chung, nên không có tỷ số.
Đây là phần mà hầu hết các trang so sánh sẽ che lấp. Card của Sigma-distill báo cáo GSM8K, MATH (Minerva), HumanEval, HumanEval+, MBPP và MBPP+ ở mười seed với hai sai số chuẩn, cộng với trung bình sáu tác vụ là 66.36. Card của Lightning báo cáo MMLU Pro, GPQA Diamond, HLE, SciCode, SWE-bench Verified, SWE-bench Multilingual, Terminal-Bench 2.1, PinchBench, BrowseComp, τ³-bench Banking, GDPval-AA-V2, IFBench, AA-LCR và AA-Omniscience. Phần giao là tập rỗng. Không có một benchmark nào xuất hiện trên cả hai card.
Đó không phải là sự tình cờ trong cách báo cáo. Hai đánh giá cố ý kiểm tra những khía cạnh khác nhau. Sáu nhiệm vụ của Sigma là suy luận dạng trả lời ngắn và hoàn thành mã trong vài trăm token; còn của Lightning là kỹ thuật phần mềm dạng tác tử, truy xuất ngữ cảnh dài và kiến thức chuyên môn. Một mô hình có cửa sổ 4.096 token và không có mẫu trò chuyện thì không thể chạy trong bộ khung SWE-bench, và một mô hình được huấn luyện để hoàn thành thân hàm không được hỏi các câu hỏi GPQA.
Vậy ranh giới trung thực duy nhất cần vạch ra là thế này: trên sáu tác vụ riêng của nó, Sigma-distill nfe4 đạt trung bình 66.36 với mười seed, đó là một con số thật theo một giao thức thật, và nó không nói lên điều gì về việc nó sẽ hoạt động ra sao trên bất cứ thứ gì mà Lightning được đo trên đó. Ai nói với bạn rằng cái này hơn cái kia thì thực chất chẳng so sánh gì cả.

Tốc độ là điểm mà ở đó việc so sánh trở nên thú vị — và cũng là điểm vẫn chưa ngã ngũ.
Cả hai mô hình đều nhanh theo những cách khó quy về cùng một trục, và đây là điểm duy nhất mà cuộc đối đầu thực sự có nội dung.
Sigma-distill tạo ra 32 token mỗi khối trong đúng 4 lượt đánh giá khử nhiễu cộng với một lượt đọc kết quả. Năm lượt truyền xuôi, 32 token: 6,4 token mỗi lượt truyền xuôi. Vì số bước được cố định bởi quá trình huấn luyện, tỷ lệ đó không thay đổi theo độ dài prompt hay độ dài đầu ra — nó là một hằng số, và mã suy luận của thẻ không cho phép bạn ghi đè nó. Thẻ của mô hình gốc báo cáo 120–140 token mỗi giây trên một H100 với 32 bước cho mỗi khối 64 token; biến thể chưng cất không công bố bất kỳ con số token mỗi giây nào, nên phép tính ít hơn 6,4 lần số lượt truyền không phải là thông lượng đo được.
Lightning đi theo con đường khác. Đây là một MoE với 3B tham số hoạt động, nên mỗi lượt truyền xuôi đều rẻ, và NVIDIA phát hành DSpark làm mặc định giải mã suy đoán được khuyến nghị, với DFlash và các đầu dự đoán đa token của riêng nó làm lựa chọn thay thế. Các con số thông lượng của nó cũng không được ghi trên thông số dưới dạng token mỗi giây — nhưng lượt tải xuống và công thức triển khai phục vụ của nó cho thấy nó đã được chạy trong môi trường sản xuất, điều mà Sigma chưa có.
Điểm khác biệt quan trọng: tốc độ tăng tốc của Sigma là mang tính cấu trúc và không đổi trên mỗi token, trong khi của Lightning là mang tính suy đoán và phụ thuộc vào khối lượng công việc. Một hợp đồng cố định 5 lệnh gọi cho mỗi 32 token có thể dự đoán được theo cách mà tỷ lệ chấp nhận bản nháp không bao giờ làm được. Nó cũng không thể đo được vào hôm nay, vì chưa ai công bố một con số thông lượng nào cho checkpoint nfe4.
Mỗi thứ tốn của bạn bao nhiêu để vận hành
Sigma-distill là 18,06 GB trọng số bfloat16 trải trên bốn shard, được nạp bằng mã PyTorch eager từ chính kho lưu trữ với trust_remote_code, trên GPU CUDA, không có paged attention, không có continuous batching và không có bản dựng lượng tử hoá nào trong bộ sưu tập. Không có giá theo token vì không có endpoint: thẻ của NVIDIA nêu rằng mô hình chạy trên phần cứng của bạn và NVIDIA không vận hành dịch vụ lưu trữ nào.
Lightning có hình dạng ngược lại. Trọng số BF16 là 31,6B tham số; lời khuyên sản xuất của chính NVIDIA là nên dùng bản dựng NVFP4 thay vào đó, và card của hãng đi kèm một công thức vLLM (thẻ container vllm/vllm-openai:v0.27.1) với backend Mamba FlashInfer, bộ nhớ đệm SSM FP16 và bộ nhớ đệm tiền tố, cùng một image SGLang cho Hopper và Blackwell. Không có giá niêm yết trên card hoặc trên build.nvidia.com — endpoint nằm trong điều khoản dùng thử API của NVIDIA — nhưng các nền tảng bên thứ ba liệt kê model ở mức khoảng 0,05 USD mỗi triệu token đầu vào và 0,20 USD mỗi triệu token đầu ra. Con số đó là quan sát từ marketplace, không phải giá của nhà cung cấp.
Cả hai mô hình đều không có trong danh mục OrcaRouter, và sẽ là không trung thực nếu ngụ ý điều ngược lại. Những gì có sẵn tại OrcaRouter là bộ so sánh xung quanh: hơn 200 mô hình dùng chung một khóa, giá niêm yết của nhà cung cấp được chuyển qua mà không cộng thêm, vì vậy việc giảm giá từ phía nhà cung cấp sẽ hiển thị ngay trong ngày thay vì trong một lần sửa đổi bảng giá hàng quý. Nếu lý do bạn đọc bài này là bạn cần chọn một đường cơ sở để kiểm thử Sigma, thì đó chính là nơi đường cơ sở đến từ.
Chọn theo phong bì, không theo điểm số
Bốn câu hỏi sẽ phân loại được điều này trong chưa đầy một phút, và không câu nào trong số đó liên quan đến độ chính xác của benchmark:
• Nhiệm vụ có vừa trong 4.096 token không? Nếu không, Sigma-distill bị loại và câu hỏi kết thúc. Cửa sổ một triệu token của Lightning — 256K trên một H100 — lớn hơn ba bậc độ lớn.
• Tác vụ có cần hội thoại, công cụ hay đầu ra có cấu trúc không? Sigma-distill không có bất kỳ thứ nào trong số đó: không có mẫu trò chuyện, không có lời nhắc hệ thống, không có chế độ JSON, chuỗi dừng và ngân sách token là những cơ chế dừng duy nhất. Lightning đi kèm một mẫu trò chuyện với nút bật/tắt chế độ suy nghĩ.
• Bạn có cần phục vụ nhiều hơn một yêu cầu cùng lúc không? Sigma không có ngăn xếp phục vụ — đường đi được hỗ trợ là một script Python trên một GPU. Lightning có hai tích hợp engine và một công thức song song đã được công bố.
• Mối quan tâm của bạn có phải là bản thân cơ chế giải mã — khuếch tán theo khối, chưng cất ít bước, tự suy đoán? Vậy thì Sigma-distill là cái duy nhất trong hai cái đáng quan tâm, còn Lightning hoàn toàn là so sánh sai.
Mọi thứ còn lại đều suy ra từ bốn điều đó. Một nhóm đang đánh giá Sigma cho một sản phẩm thực chất đang hỏi liệu một checkpoint nghiên cứu có thể được biến thành một dịch vụ hay không; một nhóm đánh giá Lightning đang hỏi liệu một MoE lai với 3 tỷ tham số hoạt động có nằm trong ngân sách hay không. Đó là những cuộc trò chuyện khác nhau.
Nơi cuộc đối đầu sẽ trở thành hiện thực
Hai điều sẽ biến trang này thành một màn so tài trực diện thực sự, và cả hai đều chưa tồn tại.
Đầu tiên là một benchmark dùng chung. Nếu Sigma từng có được điểm MMLU Pro hoặc GPQA, hoặc Lightning từng có được điểm GSM8K hoặc HumanEval ở một định dạng prompt tương đương, thì mới có thứ để so sánh. Cho đến lúc đó, vị thế trung thực chính là vị thế ở trên: hai bộ đánh giá rời rạc được báo cáo bởi cùng một nhà cung cấp, trên những mô hình không thể làm bài kiểm tra của nhau.
Thứ hai là một đường phục vụ. Sigma-distill hiện là một repository bạn clone về và một script bạn chạy; các pull request của SGLang có nhắc đến Nemotron diffusion nhắm tới dòng Nemotron-Labs-Diffusion-8B cũ hơn và vẫn còn mở tính đến ngày 17 tháng 11, còn registry của vLLM hoàn toàn không có kiến trúc nemotron_labs_sigma. Ngay khi một mô hình block-diffusion với số bước cố định có được paged attention và batching, lợi thế 6.4-tokens-per-pass của nó trở thành một con số bạn có thể đặt cạnh tỷ lệ chấp nhận của speculative decoding — và phép so sánh đó sẽ đáng để công bố.

Cho đến lúc đó, cách hiểu thực tế là NVIDIA đã ra mắt hai mô hình cho hai nhóm đối tượng trong cùng một mùa thu và chỉ một trong số đó là sản phẩm. Lightning là mô hình bạn có thể gọi ngay hôm nay, với hành vi bộ nhớ đệm, cửa sổ ngữ cảnh và hỗ trợ engine mà một dịch vụ hàm ý. Sigma-distill là mô hình bạn tải về nếu bạn quan tâm liệu khuếch tán liên tục ở 8B có thể giữ được 66.36 trên sáu tác vụ với năm lượt lan truyền xuôi cho mỗi 32 token hay không — một câu hỏi về giải mã, không phải về năng lực, và là câu hỏi mà dù so sánh bao nhiêu với một MoE 30B cũng không trả lời được.

