การ์ดชื่อเรื่องที่สร้างขึ้นซึ่งระบุว่า Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron 3.5 Lightning 30B A3B โดยมีคำบรรยายใต้ภาพว่าตัวหนึ่งเป็นเช็กพอยต์งานวิจัยแบบ diffusion ที่มียอดดาวน์โหลด 5 ครั้ง และอีกตัวเป็น MoE ระดับโปรดักชันที่มียอดดาวน์โหลด 962,098 ครั้ง พร้อมส่วนท้ายที่ระบุว่าตัวเลขทั้งสองชุดเป็นข้อมูลที่ผู้ขายรายงานเอง และไม่มีเบนช์มาร์กใดที่ใช้ร่วมกันระหว่างทั้งสอง
Guides & Insights

Nemotron-Labs-Sigma-distill-8B-nfe4 กับ Nemotron 3.5 Lightning 30B A3B: สองการเปิดตัวจาก NVIDIA ที่ไม่มีวันแข่งขันกัน

ผู้เขียน

Gideon Frost

วันที่เผยแพร่

โมเดลล่าสุด · 20ดูโมเดลทั้งหมด →
เบนช์มาร์ก: Artificial Analysis · อัปเดตทุกวัน
กลับไปยังโพสต์ทั้งหมด

เมื่อนำ Nemotron-Labs-Sigma-distill-8B-nfe4 และ Nemotron 3.5 Lightning 30B A3B มาไว้ในประโยคเดียวกัน สัญชาตญาณก็คือถามว่าตัวไหนฉลาดกว่า คำถามนั้นไม่มีคำตอบ และไม่ใช่เพราะข้อมูลมีน้อย — แต่เพราะสองโมเดลนี้ไม่มี benchmark ร่วมกัน ไม่มีความยาวคอนเท็กซ์ร่วมกัน ไม่มี serving stack ร่วมกัน และไม่มีกระบวนการปล่อยร่วมกัน Nemotron-Labs-Sigma-distill-8B-nfe4 เป็นโมเดล diffusion แบบต่อเนื่องขนาด 8B ที่ NVIDIA เผยแพร่เมื่อวันที่ 12 พฤศจิกายน 2026 โดยไม่มีการประกาศ และถูกดาวน์โหลดไปห้าครั้ง Nemotron 3.5 Lightning 30B A3B เป็น mixture-of-experts แบบไฮบริด Mamba-2 และ attention ที่มีขนาดรวม 30B และ active 3B ซึ่งเปิดตัวในเดือนสิงหาคม พร้อม model card, endpoint บน build.nvidia.com และยอดดาวน์โหลด 962,098 ครั้งเมื่อเดือนที่แล้ว การเปรียบเทียบที่มีประโยชน์ไม่ใช่ตัวเลขคะแนน แต่คือคุณสามารถนำตัวไหนไปวางตรงหน้าผู้ใช้ได้จริง และเพื่ออะไร

การ์ดทั้งสองใบอธิบายถึงผลิตภัณฑ์ที่แตกต่างกัน ไม่ใช่ระดับที่แตกต่างกัน

อ่านส่วนกรณีการใช้งานเทียบกันแล้ว ช่องว่างก็ไม่ใช่เรื่องของความสามารถอีกต่อไป การ์ดของ Sigma-distill ระบุว่าเหมาะสำหรับ "การวิจัยด้านการสร้างที่ไวต่อเลเทนซี การศึกษาการถอดรหัสแบบคาดการณ์ล่วงหน้าและแบบขนาน และการทดลองที่มุ่งเน้นการนำไปใช้งานจริง" และระบุว่าโมเดล "ทำงานแบบออฟไลน์บนฮาร์ดแวร์ของผู้ใช้เอง NVIDIA ไม่ได้ให้บริการโฮสต์ใด ๆ" ส่วนการ์ดของ Lightning ชี้ไปที่ endpoint ที่เข้ากันได้กับ OpenAI ที่ integrate.api.nvidia.com แท็กคอนเทนเนอร์ vLLM คู่ค่าการสุ่มที่แนะนำซึ่งประกอบด้วย temperature 1.0 และ top_p 0.95 สวิตช์เปิด-ปิดโหมดคิดในเทมเพลตแชต และเช็กพอยต์ดราฟต์สำหรับการถอดรหัสแบบคาดการณ์ล่วงหน้าแยกกันสามชุด

อันหนึ่งเป็นไฟล์ อีกอันเป็นบริการที่มีไฟล์อยู่เบื้องหลัง ความแตกต่างนี้ส่งผลต่อแทบทุกอย่างในบทความนี้:

• พารามิเตอร์ — แบบ dense 8B (9.03B ในการสำรวจ safetensors เมื่อนับหัวอ่านผลเสริมด้วย) เทียบกับ 30B ทั้งหมด โดยมี 3B ที่ใช้งานต่อโทเคน

• สถาปัตยกรรม — ตัวถอดรหัสสไตล์ Ministral พร้อมหัว diffusion แบบต่อเนื่องขนาด 16 มิติ เทียบกับเลเยอร์ Mamba-2, MoE และ selective-attention ที่สลับกัน พร้อมหัว multi-token prediction

• Context — 4,096 โทเค็นสำหรับพรอมต์และเอาต์พุตรวมกัน เทียบกับสูงสุดถึง 1,000,000 โดยมีข้อแม้ว่า H100 ตัวเดียวจะเข้าถึงได้เพียงประมาณ 256,000 และการได้ครบหนึ่งล้านต้องใช้ H100 แปดตัว, GB200 หรือ B200

• ภาษา — ภาษาอังกฤษเท่านั้น เทียบกับภาษาอังกฤษพร้อมภาษาโปรแกรม สเปน ฝรั่งเศส เยอรมัน อิตาลี และญี่ปุ่น โดยมีภาษาจีนในขั้นหลังการฝึก

• รูปแบบการเปิดตัว — มีเพียงการ์ดและเวทเท่านั้น ไม่มีเอนด์พอยต์จากผู้ให้บริการ ไม่มีการประกาศเทียบกับเอนด์พอยต์ที่โฮสต์ไว้ มีบิลด์อ้างอิง BF16 บิลด์ NVFP4 และโมเดล draft สามตัวสำหรับการถอดรหัสแบบ speculative

• ยอดดาวน์โหลดในสามสิบวันที่ผ่านมา — ห้า เมื่อเทียบกับ 962,098 ในรีโพซิทอรี BF16 เพียงแห่งเดียว ก่อนจะนับ 901,381 ในบิลด์ NVFP4

• สัญญาอนุญาต — NVIDIA Nemotron Open Model License สำหรับทั้งสองรุ่น แม้ว่าการ์ดข้อมูลของ Lightning จะระบุชื่อว่า OpenMDW-1.1

ไม่มีเกณฑ์มาตรฐานร่วมกัน จึงไม่มีสกอร์ไลน์

นี่คือส่วนที่หน้าเปรียบเทียบส่วนใหญ่มักจะกลบเกลื่อนไว้ การ์ดของ Sigma-distill รายงาน GSM8K, MATH (Minerva), HumanEval, HumanEval+, MBPP และ MBPP+ ที่สิบซีด พร้อมค่าคลาดเคลื่อนมาตรฐานสองค่า บวกค่าเฉลี่ยของหกงานที่ 66.36 การ์ดของ Lightning รายงาน MMLU Pro, GPQA Diamond, HLE, SciCode, SWE-bench Verified, SWE-bench Multilingual, Terminal-Bench 2.1, PinchBench, BrowseComp, τ³-bench Banking, GDPval-AA-V2, IFBench, AA-LCR และ AA-Omniscience ส่วนตัดกันคือเซตว่าง ไม่มีเบนช์มาร์กใดเลยที่ปรากฏบนการ์ดทั้งสอง

นั่นไม่ใช่ความบังเอิญของการรายงาน การประเมินทั้งสองแบบทดสอบคนละสิ่งโดยเจตนา หกงานของ Sigma คือการให้เหตุผลแบบตอบสั้นและการเติมโค้ดที่ระดับไม่กี่ร้อยโทเคน ส่วนของ Lightning คือวิศวกรรมซอฟต์แวร์แบบเอเจนต์ การดึงข้อมูลจากบริบทขนาดยาว และความรู้ระดับวิชาชีพ โมเดลที่มีหน้าต่าง 4,096 โทเคนและไม่มีเทมเพลตแชตไม่สามารถเข้ารับการทดสอบด้วย SWE-bench harness ได้ และโมเดลที่ฝึกมาเพื่อเติมเนื้อหาฟังก์ชันให้สมบูรณ์ก็ไม่ได้ถูกถามคำถาม GPQA

ดังนั้นเส้นแบ่งเดียวที่ตรงไปตรงมาคือ: บนหกงานของมันเอง Sigma-distill nfe4 เฉลี่ย 66.36 ที่สิบซีด ซึ่งเป็นตัวเลขจริงภายใต้โปรโตคอลจริง และมันไม่ได้บอกอะไรเลยว่ามันจะทำได้อย่างไรกับสิ่งใดก็ตามที่ Lightning ถูกวัด ใครก็ตามที่บอกคุณว่าตัวหนึ่งชนะอีกตัวหนึ่งกำลังเปรียบเทียบสิ่งที่ไม่มีความหมาย

A generated chart showing that the two model cards share no benchmark: on the left, the six Nemotron-Labs-Sigma-distill-8B-nfe4 tasks with ten-seed accuracies of GSM8K 86.86, MATH 61.52, HumanEval 60.61, HumanEval+ 57.99, MBPP 57.50 and MBPP+ 73.70, mean 66.36; on the right, the Nemotron 3.5 Lightning 30B A3B evaluations including MMLU Pro 81.94, GPQA Diamond 75.44, SWE-bench Verified 51.56 and Terminal-Bench 2.1 24.58, with a divider marking that no task appears on both sides.

ความเร็วคือจุดที่การเปรียบเทียบกลายเป็นเรื่องน่าสนใจ — และเป็นจุดที่ยังคงหาข้อสรุปไม่ได้

ทั้งสองโมเดลต่างเร็วในแบบที่ยากจะจัดวางบนแกนเดียว และนี่คือจุดเดียวที่การเปรียบเทียบนี้มีเนื้อหาจริง

Sigma-distill สร้าง 32 โทเคนต่อบล็อกด้วยการประเมินแบบดีนอยซ์จำนวน 4 ครั้งพอดี บวกกับการอ่านผลหนึ่งครั้ง การส่งผ่านไปข้างหน้าห้าครั้งสำหรับ 32 โทเคน เท่ากับ 6.4 โทเคนต่อการส่งผ่านไปข้างหน้าหนึ่งครั้ง เนื่องจากจำนวนสเต็ปถูกกำหนดตายตัวจากการฝึก อัตราส่วนนั้นจึงไม่เปลี่ยนตามความยาวพรอมต์หรือความยาวเอาต์พุต — มันเป็นค่าคงที่ และโค้ด inference ของการ์ดไม่ยอมให้คุณแทนที่ค่านี้ การ์ดของโมเดลหลักรายงานว่าได้ 120–140 โทเคนต่อวินาทีบน H100 หนึ่งตัวที่ 32 สเต็ปต่อบล็อก 64 โทเคน ส่วนตัวแปรแบบกลั่นไม่ได้เผยแพร่ตัวเลขโทเคนต่อวินาทีเลย ดังนั้นการคำนวณที่ว่ามีจำนวนรอบส่งผ่านน้อยลง 6.4 เท่าจึงไม่ใช่ปริมาณงานส่งออกที่วัดได้จริง

Lightning ใช้เส้นทางอีกแบบหนึ่ง มันเป็น MoE แบบ 3B-active ดังนั้นแต่ละ forward pass จึงมีต้นทุนต่ำ และ NVIDIA ส่ง DSpark มาเป็นค่าเริ่มต้นที่แนะนำสำหรับ speculative decoding โดยมี DFlash และ multi-token-prediction heads ของตัวเองเป็นทางเลือก ตัวเลข throughput ของมันก็ไม่ได้ระบุไว้บนการ์ดสเปกในหน่วยโทเค็นต่อวินาที — แต่จำนวนดาวน์โหลดและสูตรการเสิร์ฟโมเดลของมันบอกคุณว่ามันถูกใช้งานในโปรดักชันแล้ว ซึ่ง Sigma ยังไม่เคย

ความแตกต่างที่สำคัญ: การเร่งความเร็วของ Sigma เป็นเชิงโครงสร้างและคงที่ต่อโทเค็น ขณะที่ของ Lightning เป็นเชิงคาดเดาและขึ้นอยู่กับภาระงาน สัญญาแบบคงที่ที่ 5 ครั้งต่อ 32 โทเค็นนั้นคาดเดาได้ในลักษณะที่อัตราการยอมรับฉบับร่างไม่เคยเป็นเช่นนั้น และยังวัดไม่ได้ในปัจจุบัน เพราะยังไม่มีใครเผยแพร่ตัวเลขทรูพุตแม้แต่ตัวเดียวสำหรับเช็กพอยต์ nfe4

ค่าใช้จ่ายในการใช้งานแต่ละรายการสำหรับคุณ

Sigma-distill มีน้ำหนัก bfloat16 ขนาด 18.06 GB กระจายอยู่ในสี่ shard โหลดผ่านโค้ด PyTorch แบบ eager จากตัว repository เองด้วย trust_remote_code บน CUDA GPU โดยไม่มี paged attention ไม่มี continuous batching และไม่มีบิลด์แบบควอนไทซ์ในคอลเลกชัน ไม่มีราคาต่อโทเคนเพราะไม่มี endpoint: การ์ดของ NVIDIA ระบุว่าโมเดลรันบนฮาร์ดแวร์ของคุณ และ NVIDIA ไม่ได้โฮสต์บริการใด ๆ

Lightning มีรูปแบบตรงกันข้าม น้ำหนัก BF16 มี 31.6B พารามิเตอร์ คำแนะนำสำหรับการใช้งานจริงจาก NVIDIA เองคือให้ใช้บิลด์ NVFP4 แทน และการ์ดของบริษัทมาพร้อมสูตร vLLM (แท็กคอนเทนเนอร์ vllm/vllm-openai:v0.27.1) ที่มีแบ็กเอนด์ FlashInfer Mamba, แคช SSM แบบ FP16 และ prefix caching รวมถึงอิมเมจ SGLang สำหรับ Hopper และ Blackwell ไม่มีราคาตามรายการบนการ์ดหรือบน build.nvidia.com — ปลายทางอยู่ภายใต้ข้อกำหนดการทดลองใช้ API ของ NVIDIA — แต่แพลตฟอร์มบุคคลที่สามระบุราคาโมเดลไว้ที่ประมาณ $0.05 ต่อล้านโทเค็นอินพุต และ $0.20 ต่อล้านโทเค็นเอาต์พุต ตัวเลขนั้นเป็นการสังเกตจากตลาด ไม่ใช่ราคาจากผู้ขาย

ทั้งสองโมเดลไม่ได้อยู่ในแคตตาล็อกของ OrcaRouter และการบอกเป็นนัยว่าเป็นอย่างอื่นก็ไม่ซื่อสัตย์ สิ่งที่มีให้ใช้ที่ OrcaRouter คือชุดการเปรียบเทียบโดยรอบ: โมเดลมากกว่า 200 รายการ ภายใต้คีย์เดียว, ราคาตามรายการของผู้ให้บริการ ส่งต่อโดยไม่บวกเพิ่ม ดังนั้นการลดราคาจากต้นทางจะปรากฏในวันเดียวกัน แทนที่จะต้องรอการแก้ไขเรตการ์ดรายไตรมาส หากเหตุผลที่คุณอ่านข้อความนี้คือคุณจำเป็นต้องเลือกเกณฑ์อ้างอิงเพื่อทดสอบเทียบกับ Sigma นั่นคือที่มาของเกณฑ์อ้างอิง

เลือกตามซอง ไม่ใช่ตามคะแนน

คำถามสี่ข้อช่วยแยกแยะเรื่องนี้ได้ในไม่ถึงหนึ่งนาที และไม่มีข้อใดเกี่ยวข้องกับความแม่นยำของเบนช์มาร์กเลย:

• งานนี้พอดีกับ 4,096 โทเคนหรือไม่? ถ้าไม่ Sigma-distill ก็ใช้ไม่ได้ และจบคำถามตรงนั้น หน้าต่างหนึ่งล้านโทเคนของ Lightning — 256K บน H100 เครื่องเดียว — ใหญ่กว่าถึงสามลำดับขนาด

• งานนี้ต้องการการสนทนา เครื่องมือ หรือเอาต์พุตแบบมีโครงสร้างหรือไม่? Sigma-distill ไม่มีสิ่งเหล่านี้เลย: ไม่มีแชตเทมเพลต ไม่มีพรอมป์ต์ระบบ ไม่มีโหมด JSON โดยมีสตริงสำหรับหยุดและงบโทเค็นเป็นกลไกหยุดเพียงอย่างเดียว Lightning มาพร้อมแชตเทมเพลตที่มีสวิตช์เปิด/ปิดโหมดคิด

• คุณจำเป็นต้องให้บริการมากกว่าหนึ่งคำขอในเวลาเดียวกันหรือไม่? Sigma ไม่มีสแต็กสำหรับการให้บริการ — เส้นทางที่รองรับคือสคริปต์ Python บน GPU เพียงตัวเดียว ส่วน Lightning มีการเชื่อมต่อเอนจินสองแบบและมีสูตรการประมวลผลแบบขนานที่เผยแพร่ไว้แล้ว

• คุณสนใจในกลไกการถอดรหัสเองหรือไม่ — block diffusion, few-step distillation, self-speculation? ถ้าเช่นนั้น Sigma-distill คือตัวเดียวในสองตัวนี้ที่น่าสนใจ และ Lightning เป็นการเปรียบเทียบที่ผิดทั้งหมด

ทั้งหมดที่เหลือเป็นผลสืบเนื่องจากสี่ข้อนั้น ทีมที่ประเมิน Sigma สำหรับผลิตภัณฑ์หนึ่งๆ แท้จริงแล้วกำลังถามว่าเช็กพอยต์งานวิจัยสามารถเปลี่ยนให้เป็นบริการได้หรือไม่ ส่วนทีมที่ประเมิน Lightning กำลังถามว่า MoE แบบไฮบริดที่มีพารามิเตอร์ที่ใช้งานจริง 3B นั้นพอดีกับงบประมาณหรือไม่ สองสิ่งนี้เป็นการสนทนาที่แตกต่างกัน

ที่ที่การจับคู่จะกลายเป็นจริง

มีสองสิ่งที่จะทำให้หน้านี้กลายเป็นการเผชิญหน้าแบบตัวต่อตัวที่แท้จริง และยังไม่มีทั้งสองสิ่งนี้เลย

อย่างแรกคือ benchmark ที่ใช้ร่วมกัน หากวันหนึ่ง Sigma มีตัวเลข MMLU Pro หรือ GPQA หรือ Lightning มีตัวเลข GSM8K หรือ HumanEval ในรูปแบบ prompt ที่เทียบเคียงกันได้ ก็จะมีอะไรให้เปรียบเทียบกันได้ จนถึงตอนนั้น จุดยืนที่ซื่อตรงคือข้อความข้างต้น: ชุดการประเมินสองชุดที่แยกจากกันโดยสิ้นเชิง ซึ่งรายงานโดยผู้ขายรายเดียวกัน บนโมเดลที่ไม่สามารถทำแบบทดสอบของกันและกันได้

อย่างที่สองคือเส้นทางการให้บริการ (serving path) ปัจจุบัน Sigma-distill เป็นเพียงรีโพซิทอรีที่คุณโคลนและสคริปต์ที่คุณรัน; pull request ของ SGLang ที่กล่าวถึง Nemotron diffusion นั้นมุ่งเป้าไปที่สายตระกูล Nemotron-Labs-Diffusion-8B รุ่นเก่า และยังเปิดอยู่ ณ วันที่ 17 พฤศจิกายน ขณะที่ registry ของ vLLM ไม่มีสถาปัตยกรรม nemotron_labs_sigma เลย ในทันทีที่โมเดล block-diffusion ที่มีจำนวนสเต็ปคงที่ได้รับการจัดสรรหน่วยความจำแบบ paged attention และการทำ batching ข้อได้เปรียบ 6.4-tokens-per-pass ของมันก็กลายเป็นตัวเลขที่คุณวางเทียบกับอัตราการยอมรับของ speculative-decoding ได้ — และการเปรียบเทียบนั้นก็คุ้มค่าที่จะเผยแพร่

Screenshot of the Hugging Face model card for NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, showing the model description as a hybrid Mamba-2, mixture-of-experts and attention model with 30B total and 3B active parameters, the release date of 08/11/2026, the OpenMDW-1.1 licence, and the evaluation table beginning with MMLU Pro at 81.94 and GPQA Diamond at 75.44.

จนถึงตอนนั้น การตีความเชิงปฏิบัติก็คือ NVIDIA เปิดตัวสองโมเดลสำหรับผู้ใช้สองกลุ่มในฤดูใบไม้ร่วงเดียวกัน และมีเพียงหนึ่งในนั้นที่เป็นผลิตภัณฑ์ Lightning คือโมเดลที่คุณเรียกใช้ได้วันนี้ พร้อมพฤติกรรมแคช หน้าต่างบริบท และการรองรับเอนจินที่บริการหนึ่งๆ ต้องมี Sigma-distill คือโมเดลที่คุณดาวน์โหลด หากคุณสนใจว่าการแพร่แบบต่อเนื่องที่ 8B จะรักษาคะแนน 66.36 บนหกงานด้วยการส่งผ่านไปข้างหน้าห้าครั้งต่อ 32 โทเคนได้หรือไม่ — ซึ่งเป็นคำถามเกี่ยวกับการถอดรหัส ไม่ใช่เกี่ยวกับความสามารถ และเป็นคำถามที่การเปรียบเทียบกับ MoE ขนาด 30B ไม่ว่าจะมากเพียงใดก็ตอบไม่ได้

A generated two-column scoreboard titled Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron 3.5 Lightning 30B A3B, contrasting context of 4,096 tokens against up to 1,000,000, English only against seven languages, five downloads against 962,098, no vendor endpoint against a hosted OpenAI-compatible endpoint, no engine support against vLLM and SGLang recipes, and a fixed 6.4 tokens per forward pass against speculative decoding, with a footer noting that no benchmark is shared between the two cards.
© 2026 OrcaRouter

สำหรับผู้ให้บริการ

ให้บริการแพลตฟอร์มการอนุมานอยู่หรือไม่ นำโมเดลของคุณขึ้น OrcaRouter

[email protected]

เข้าร่วมคอมมูนิตี้ของเรา

Discord[email protected]XLinkedInGitHubYouTube