
Nemotron-Labs-Sigma-distill-8B-nfe4 กับ Nemotron 3.5 Lightning 30B A3B: สองการเปิดตัวจาก NVIDIA ที่ไม่มีวันแข่งขันกัน
- Googleใหม่Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 ต่อ 1 ล้านโทเค็น · 90 tok/s
- Anthropicใหม่Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 ต่อ 1 ล้านโทเค็น · 97 tok/s
- orcaใหม่Orca: OrcaC2 1.02026-11-0717 tok/s
- Orcaใหม่OrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 ต่อ 1 ล้านโทเค็น · 88 tok/s
- Orcaใหม่OrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 133 tok/s
- Orcaใหม่OrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 ต่อ 1 ล้านโทเค็น · 72 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 127 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 65 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 92 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447ความฉลาด
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 193 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929ความฉลาด
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 ต่อ 1 ล้านโทเค็น · 146 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733ความฉลาด
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740ความฉลาด
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 ต่อ 1 ล้านโทเค็น · 124 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955ความฉลาด
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855ความฉลาด
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 ต่อ 1 ล้านโทเค็น · 218 tok/s
เมื่อนำ Nemotron-Labs-Sigma-distill-8B-nfe4 และ Nemotron 3.5 Lightning 30B A3B มาไว้ในประโยคเดียวกัน สัญชาตญาณก็คือถามว่าตัวไหนฉลาดกว่า คำถามนั้นไม่มีคำตอบ และไม่ใช่เพราะข้อมูลมีน้อย — แต่เพราะสองโมเดลนี้ไม่มี benchmark ร่วมกัน ไม่มีความยาวคอนเท็กซ์ร่วมกัน ไม่มี serving stack ร่วมกัน และไม่มีกระบวนการปล่อยร่วมกัน Nemotron-Labs-Sigma-distill-8B-nfe4 เป็นโมเดล diffusion แบบต่อเนื่องขนาด 8B ที่ NVIDIA เผยแพร่เมื่อวันที่ 12 พฤศจิกายน 2026 โดยไม่มีการประกาศ และถูกดาวน์โหลดไปห้าครั้ง Nemotron 3.5 Lightning 30B A3B เป็น mixture-of-experts แบบไฮบริด Mamba-2 และ attention ที่มีขนาดรวม 30B และ active 3B ซึ่งเปิดตัวในเดือนสิงหาคม พร้อม model card, endpoint บน build.nvidia.com และยอดดาวน์โหลด 962,098 ครั้งเมื่อเดือนที่แล้ว การเปรียบเทียบที่มีประโยชน์ไม่ใช่ตัวเลขคะแนน แต่คือคุณสามารถนำตัวไหนไปวางตรงหน้าผู้ใช้ได้จริง และเพื่ออะไร
การ์ดทั้งสองใบอธิบายถึงผลิตภัณฑ์ที่แตกต่างกัน ไม่ใช่ระดับที่แตกต่างกัน
อ่านส่วนกรณีการใช้งานเทียบกันแล้ว ช่องว่างก็ไม่ใช่เรื่องของความสามารถอีกต่อไป การ์ดของ Sigma-distill ระบุว่าเหมาะสำหรับ "การวิจัยด้านการสร้างที่ไวต่อเลเทนซี การศึกษาการถอดรหัสแบบคาดการณ์ล่วงหน้าและแบบขนาน และการทดลองที่มุ่งเน้นการนำไปใช้งานจริง" และระบุว่าโมเดล "ทำงานแบบออฟไลน์บนฮาร์ดแวร์ของผู้ใช้เอง NVIDIA ไม่ได้ให้บริการโฮสต์ใด ๆ" ส่วนการ์ดของ Lightning ชี้ไปที่ endpoint ที่เข้ากันได้กับ OpenAI ที่ integrate.api.nvidia.com แท็กคอนเทนเนอร์ vLLM คู่ค่าการสุ่มที่แนะนำซึ่งประกอบด้วย temperature 1.0 และ top_p 0.95 สวิตช์เปิด-ปิดโหมดคิดในเทมเพลตแชต และเช็กพอยต์ดราฟต์สำหรับการถอดรหัสแบบคาดการณ์ล่วงหน้าแยกกันสามชุด
อันหนึ่งเป็นไฟล์ อีกอันเป็นบริการที่มีไฟล์อยู่เบื้องหลัง ความแตกต่างนี้ส่งผลต่อแทบทุกอย่างในบทความนี้:
• พารามิเตอร์ — แบบ dense 8B (9.03B ในการสำรวจ safetensors เมื่อนับหัวอ่านผลเสริมด้วย) เทียบกับ 30B ทั้งหมด โดยมี 3B ที่ใช้งานต่อโทเคน
• สถาปัตยกรรม — ตัวถอดรหัสสไตล์ Ministral พร้อมหัว diffusion แบบต่อเนื่องขนาด 16 มิติ เทียบกับเลเยอร์ Mamba-2, MoE และ selective-attention ที่สลับกัน พร้อมหัว multi-token prediction
• Context — 4,096 โทเค็นสำหรับพรอมต์และเอาต์พุตรวมกัน เทียบกับสูงสุดถึง 1,000,000 โดยมีข้อแม้ว่า H100 ตัวเดียวจะเข้าถึงได้เพียงประมาณ 256,000 และการได้ครบหนึ่งล้านต้องใช้ H100 แปดตัว, GB200 หรือ B200
• ภาษา — ภาษาอังกฤษเท่านั้น เทียบกับภาษาอังกฤษพร้อมภาษาโปรแกรม สเปน ฝรั่งเศส เยอรมัน อิตาลี และญี่ปุ่น โดยมีภาษาจีนในขั้นหลังการฝึก
• รูปแบบการเปิดตัว — มีเพียงการ์ดและเวทเท่านั้น ไม่มีเอนด์พอยต์จากผู้ให้บริการ ไม่มีการประกาศเทียบกับเอนด์พอยต์ที่โฮสต์ไว้ มีบิลด์อ้างอิง BF16 บิลด์ NVFP4 และโมเดล draft สามตัวสำหรับการถอดรหัสแบบ speculative
• ยอดดาวน์โหลดในสามสิบวันที่ผ่านมา — ห้า เมื่อเทียบกับ 962,098 ในรีโพซิทอรี BF16 เพียงแห่งเดียว ก่อนจะนับ 901,381 ในบิลด์ NVFP4
• สัญญาอนุญาต — NVIDIA Nemotron Open Model License สำหรับทั้งสองรุ่น แม้ว่าการ์ดข้อมูลของ Lightning จะระบุชื่อว่า OpenMDW-1.1
ไม่มีเกณฑ์มาตรฐานร่วมกัน จึงไม่มีสกอร์ไลน์
นี่คือส่วนที่หน้าเปรียบเทียบส่วนใหญ่มักจะกลบเกลื่อนไว้ การ์ดของ Sigma-distill รายงาน GSM8K, MATH (Minerva), HumanEval, HumanEval+, MBPP และ MBPP+ ที่สิบซีด พร้อมค่าคลาดเคลื่อนมาตรฐานสองค่า บวกค่าเฉลี่ยของหกงานที่ 66.36 การ์ดของ Lightning รายงาน MMLU Pro, GPQA Diamond, HLE, SciCode, SWE-bench Verified, SWE-bench Multilingual, Terminal-Bench 2.1, PinchBench, BrowseComp, τ³-bench Banking, GDPval-AA-V2, IFBench, AA-LCR และ AA-Omniscience ส่วนตัดกันคือเซตว่าง ไม่มีเบนช์มาร์กใดเลยที่ปรากฏบนการ์ดทั้งสอง
นั่นไม่ใช่ความบังเอิญของการรายงาน การประเมินทั้งสองแบบทดสอบคนละสิ่งโดยเจตนา หกงานของ Sigma คือการให้เหตุผลแบบตอบสั้นและการเติมโค้ดที่ระดับไม่กี่ร้อยโทเคน ส่วนของ Lightning คือวิศวกรรมซอฟต์แวร์แบบเอเจนต์ การดึงข้อมูลจากบริบทขนาดยาว และความรู้ระดับวิชาชีพ โมเดลที่มีหน้าต่าง 4,096 โทเคนและไม่มีเทมเพลตแชตไม่สามารถเข้ารับการทดสอบด้วย SWE-bench harness ได้ และโมเดลที่ฝึกมาเพื่อเติมเนื้อหาฟังก์ชันให้สมบูรณ์ก็ไม่ได้ถูกถามคำถาม GPQA
ดังนั้นเส้นแบ่งเดียวที่ตรงไปตรงมาคือ: บนหกงานของมันเอง Sigma-distill nfe4 เฉลี่ย 66.36 ที่สิบซีด ซึ่งเป็นตัวเลขจริงภายใต้โปรโตคอลจริง และมันไม่ได้บอกอะไรเลยว่ามันจะทำได้อย่างไรกับสิ่งใดก็ตามที่ Lightning ถูกวัด ใครก็ตามที่บอกคุณว่าตัวหนึ่งชนะอีกตัวหนึ่งกำลังเปรียบเทียบสิ่งที่ไม่มีความหมาย

ความเร็วคือจุดที่การเปรียบเทียบกลายเป็นเรื่องน่าสนใจ — และเป็นจุดที่ยังคงหาข้อสรุปไม่ได้
ทั้งสองโมเดลต่างเร็วในแบบที่ยากจะจัดวางบนแกนเดียว และนี่คือจุดเดียวที่การเปรียบเทียบนี้มีเนื้อหาจริง
Sigma-distill สร้าง 32 โทเคนต่อบล็อกด้วยการประเมินแบบดีนอยซ์จำนวน 4 ครั้งพอดี บวกกับการอ่านผลหนึ่งครั้ง การส่งผ่านไปข้างหน้าห้าครั้งสำหรับ 32 โทเคน เท่ากับ 6.4 โทเคนต่อการส่งผ่านไปข้างหน้าหนึ่งครั้ง เนื่องจากจำนวนสเต็ปถูกกำหนดตายตัวจากการฝึก อัตราส่วนนั้นจึงไม่เปลี่ยนตามความยาวพรอมต์หรือความยาวเอาต์พุต — มันเป็นค่าคงที่ และโค้ด inference ของการ์ดไม่ยอมให้คุณแทนที่ค่านี้ การ์ดของโมเดลหลักรายงานว่าได้ 120–140 โทเคนต่อวินาทีบน H100 หนึ่งตัวที่ 32 สเต็ปต่อบล็อก 64 โทเคน ส่วนตัวแปรแบบกลั่นไม่ได้เผยแพร่ตัวเลขโทเคนต่อวินาทีเลย ดังนั้นการคำนวณที่ว่ามีจำนวนรอบส่งผ่านน้อยลง 6.4 เท่าจึงไม่ใช่ปริมาณงานส่งออกที่วัดได้จริง
Lightning ใช้เส้นทางอีกแบบหนึ่ง มันเป็น MoE แบบ 3B-active ดังนั้นแต่ละ forward pass จึงมีต้นทุนต่ำ และ NVIDIA ส่ง DSpark มาเป็นค่าเริ่มต้นที่แนะนำสำหรับ speculative decoding โดยมี DFlash และ multi-token-prediction heads ของตัวเองเป็นทางเลือก ตัวเลข throughput ของมันก็ไม่ได้ระบุไว้บนการ์ดสเปกในหน่วยโทเค็นต่อวินาที — แต่จำนวนดาวน์โหลดและสูตรการเสิร์ฟโมเดลของมันบอกคุณว่ามันถูกใช้งานในโปรดักชันแล้ว ซึ่ง Sigma ยังไม่เคย
ความแตกต่างที่สำคัญ: การเร่งความเร็วของ Sigma เป็นเชิงโครงสร้างและคงที่ต่อโทเค็น ขณะที่ของ Lightning เป็นเชิงคาดเดาและขึ้นอยู่กับภาระงาน สัญญาแบบคงที่ที่ 5 ครั้งต่อ 32 โทเค็นนั้นคาดเดาได้ในลักษณะที่อัตราการยอมรับฉบับร่างไม่เคยเป็นเช่นนั้น และยังวัดไม่ได้ในปัจจุบัน เพราะยังไม่มีใครเผยแพร่ตัวเลขทรูพุตแม้แต่ตัวเดียวสำหรับเช็กพอยต์ nfe4
ค่าใช้จ่ายในการใช้งานแต่ละรายการสำหรับคุณ
Sigma-distill มีน้ำหนัก bfloat16 ขนาด 18.06 GB กระจายอยู่ในสี่ shard โหลดผ่านโค้ด PyTorch แบบ eager จากตัว repository เองด้วย trust_remote_code บน CUDA GPU โดยไม่มี paged attention ไม่มี continuous batching และไม่มีบิลด์แบบควอนไทซ์ในคอลเลกชัน ไม่มีราคาต่อโทเคนเพราะไม่มี endpoint: การ์ดของ NVIDIA ระบุว่าโมเดลรันบนฮาร์ดแวร์ของคุณ และ NVIDIA ไม่ได้โฮสต์บริการใด ๆ
Lightning มีรูปแบบตรงกันข้าม น้ำหนัก BF16 มี 31.6B พารามิเตอร์ คำแนะนำสำหรับการใช้งานจริงจาก NVIDIA เองคือให้ใช้บิลด์ NVFP4 แทน และการ์ดของบริษัทมาพร้อมสูตร vLLM (แท็กคอนเทนเนอร์ vllm/vllm-openai:v0.27.1) ที่มีแบ็กเอนด์ FlashInfer Mamba, แคช SSM แบบ FP16 และ prefix caching รวมถึงอิมเมจ SGLang สำหรับ Hopper และ Blackwell ไม่มีราคาตามรายการบนการ์ดหรือบน build.nvidia.com — ปลายทางอยู่ภายใต้ข้อกำหนดการทดลองใช้ API ของ NVIDIA — แต่แพลตฟอร์มบุคคลที่สามระบุราคาโมเดลไว้ที่ประมาณ $0.05 ต่อล้านโทเค็นอินพุต และ $0.20 ต่อล้านโทเค็นเอาต์พุต ตัวเลขนั้นเป็นการสังเกตจากตลาด ไม่ใช่ราคาจากผู้ขาย
ทั้งสองโมเดลไม่ได้อยู่ในแคตตาล็อกของ OrcaRouter และการบอกเป็นนัยว่าเป็นอย่างอื่นก็ไม่ซื่อสัตย์ สิ่งที่มีให้ใช้ที่ OrcaRouter คือชุดการเปรียบเทียบโดยรอบ: โมเดลมากกว่า 200 รายการ ภายใต้คีย์เดียว, ราคาตามรายการของผู้ให้บริการ ส่งต่อโดยไม่บวกเพิ่ม ดังนั้นการลดราคาจากต้นทางจะปรากฏในวันเดียวกัน แทนที่จะต้องรอการแก้ไขเรตการ์ดรายไตรมาส หากเหตุผลที่คุณอ่านข้อความนี้คือคุณจำเป็นต้องเลือกเกณฑ์อ้างอิงเพื่อทดสอบเทียบกับ Sigma นั่นคือที่มาของเกณฑ์อ้างอิง
เลือกตามซอง ไม่ใช่ตามคะแนน
คำถามสี่ข้อช่วยแยกแยะเรื่องนี้ได้ในไม่ถึงหนึ่งนาที และไม่มีข้อใดเกี่ยวข้องกับความแม่นยำของเบนช์มาร์กเลย:
• งานนี้พอดีกับ 4,096 โทเคนหรือไม่? ถ้าไม่ Sigma-distill ก็ใช้ไม่ได้ และจบคำถามตรงนั้น หน้าต่างหนึ่งล้านโทเคนของ Lightning — 256K บน H100 เครื่องเดียว — ใหญ่กว่าถึงสามลำดับขนาด
• งานนี้ต้องการการสนทนา เครื่องมือ หรือเอาต์พุตแบบมีโครงสร้างหรือไม่? Sigma-distill ไม่มีสิ่งเหล่านี้เลย: ไม่มีแชตเทมเพลต ไม่มีพรอมป์ต์ระบบ ไม่มีโหมด JSON โดยมีสตริงสำหรับหยุดและงบโทเค็นเป็นกลไกหยุดเพียงอย่างเดียว Lightning มาพร้อมแชตเทมเพลตที่มีสวิตช์เปิด/ปิดโหมดคิด
• คุณจำเป็นต้องให้บริการมากกว่าหนึ่งคำขอในเวลาเดียวกันหรือไม่? Sigma ไม่มีสแต็กสำหรับการให้บริการ — เส้นทางที่รองรับคือสคริปต์ Python บน GPU เพียงตัวเดียว ส่วน Lightning มีการเชื่อมต่อเอนจินสองแบบและมีสูตรการประมวลผลแบบขนานที่เผยแพร่ไว้แล้ว
• คุณสนใจในกลไกการถอดรหัสเองหรือไม่ — block diffusion, few-step distillation, self-speculation? ถ้าเช่นนั้น Sigma-distill คือตัวเดียวในสองตัวนี้ที่น่าสนใจ และ Lightning เป็นการเปรียบเทียบที่ผิดทั้งหมด
ทั้งหมดที่เหลือเป็นผลสืบเนื่องจากสี่ข้อนั้น ทีมที่ประเมิน Sigma สำหรับผลิตภัณฑ์หนึ่งๆ แท้จริงแล้วกำลังถามว่าเช็กพอยต์งานวิจัยสามารถเปลี่ยนให้เป็นบริการได้หรือไม่ ส่วนทีมที่ประเมิน Lightning กำลังถามว่า MoE แบบไฮบริดที่มีพารามิเตอร์ที่ใช้งานจริง 3B นั้นพอดีกับงบประมาณหรือไม่ สองสิ่งนี้เป็นการสนทนาที่แตกต่างกัน
ที่ที่การจับคู่จะกลายเป็นจริง
มีสองสิ่งที่จะทำให้หน้านี้กลายเป็นการเผชิญหน้าแบบตัวต่อตัวที่แท้จริง และยังไม่มีทั้งสองสิ่งนี้เลย
อย่างแรกคือ benchmark ที่ใช้ร่วมกัน หากวันหนึ่ง Sigma มีตัวเลข MMLU Pro หรือ GPQA หรือ Lightning มีตัวเลข GSM8K หรือ HumanEval ในรูปแบบ prompt ที่เทียบเคียงกันได้ ก็จะมีอะไรให้เปรียบเทียบกันได้ จนถึงตอนนั้น จุดยืนที่ซื่อตรงคือข้อความข้างต้น: ชุดการประเมินสองชุดที่แยกจากกันโดยสิ้นเชิง ซึ่งรายงานโดยผู้ขายรายเดียวกัน บนโมเดลที่ไม่สามารถทำแบบทดสอบของกันและกันได้
อย่างที่สองคือเส้นทางการให้บริการ (serving path) ปัจจุบัน Sigma-distill เป็นเพียงรีโพซิทอรีที่คุณโคลนและสคริปต์ที่คุณรัน; pull request ของ SGLang ที่กล่าวถึง Nemotron diffusion นั้นมุ่งเป้าไปที่สายตระกูล Nemotron-Labs-Diffusion-8B รุ่นเก่า และยังเปิดอยู่ ณ วันที่ 17 พฤศจิกายน ขณะที่ registry ของ vLLM ไม่มีสถาปัตยกรรม nemotron_labs_sigma เลย ในทันทีที่โมเดล block-diffusion ที่มีจำนวนสเต็ปคงที่ได้รับการจัดสรรหน่วยความจำแบบ paged attention และการทำ batching ข้อได้เปรียบ 6.4-tokens-per-pass ของมันก็กลายเป็นตัวเลขที่คุณวางเทียบกับอัตราการยอมรับของ speculative-decoding ได้ — และการเปรียบเทียบนั้นก็คุ้มค่าที่จะเผยแพร่

จนถึงตอนนั้น การตีความเชิงปฏิบัติก็คือ NVIDIA เปิดตัวสองโมเดลสำหรับผู้ใช้สองกลุ่มในฤดูใบไม้ร่วงเดียวกัน และมีเพียงหนึ่งในนั้นที่เป็นผลิตภัณฑ์ Lightning คือโมเดลที่คุณเรียกใช้ได้วันนี้ พร้อมพฤติกรรมแคช หน้าต่างบริบท และการรองรับเอนจินที่บริการหนึ่งๆ ต้องมี Sigma-distill คือโมเดลที่คุณดาวน์โหลด หากคุณสนใจว่าการแพร่แบบต่อเนื่องที่ 8B จะรักษาคะแนน 66.36 บนหกงานด้วยการส่งผ่านไปข้างหน้าห้าครั้งต่อ 32 โทเคนได้หรือไม่ — ซึ่งเป็นคำถามเกี่ยวกับการถอดรหัส ไม่ใช่เกี่ยวกับความสามารถ และเป็นคำถามที่การเปรียบเทียบกับ MoE ขนาด 30B ไม่ว่าจะมากเพียงใดก็ตอบไม่ได้

