Nemotron 3.5 Bolt 74B กับ Nemotron 3.5 Lightning 30B-A3B: สูตรเดียวกัน เพดานหน่วยความจำสองแบบ

นี่คือการเปรียบเทียบเพียงกรณีเดียวในตระกูล N​VIDIA N​emotron 3.5 ที่ทั้งสองฝั่งสร้างขึ้นโดยทีมเดียวกัน เพื่องานเดียวกัน ในสองขนาดที่แตกต่างกัน และผู้ผลิตเองก็ได้ทดสอบแบบตัวต่อตัวมาแล้วด้วยตัวเอง N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB และ N​VIDIA N​emotron 3.5 Lightning 30B-A3Bต่างก็เป็นเช็กพอยต์แบบ Mamba-2 hybrid mixture-of-experts ที่มีส่วนหัวสำหรับ speculative decoding ทั้งคู่เผยแพร่ภายใต้ OpenMDW-1.1 เพื่อการใช้งานเชิงพาณิชย์ และทั้งคู่ถูกออกแบบมาให้ผู้ที่กำลังอ่านข้อมูลเกี่ยวกับมันเป็นผู้รันเอง มากกว่าจะเช่าจากศูนย์ข้อมูล Lightning เปิดตัวเมื่อวันที่ 11 สิงหาคม 2026 ส่วนน้ำหนักของ Bolt เปิดให้ดาวน์โหลดเมื่อวันที่ 7 ตุลาคม 2026 และ N​VIDIA ประกาศเมื่อวันที่ 15 ตุลาคม

ความแตกต่างอยู่ที่เพดานหน่วยความจำ: 24GB สำหรับตัวหนึ่ง และราว 16GB สำหรับอีกตัวหนึ่งในรูปแบบควอนไทซ์ และ 8 คะแนนของ Artificial Analysis Intelligence Index ที่ต่างกันระหว่างสองตัวนี้คือสิ่งที่เพดานนั้นแลกมา

สูตรเดียว รันที่สองขนาด

Lightning มาถึงก่อน และเป็นผู้กำหนดโครงร่างที่ทั้งเจเนอเรชัน 3.5 ยึดตาม: สแต็กไฮบริดที่สลับบล็อก state-space ของ Mamba-2 กับเลเยอร์ mixture-of-experts และ attention, หัว Multi-Token Prediction เพื่อให้โมเดลร่างโทเค็นหลายตัวพร้อมกันและตรวจสอบแบบขนาน และดราฟเตอร์เสริมแยกต่างหาก — DSpark สำหรับการติดตั้งใช้งานในศูนย์ข้อมูลที่มีการทำงานพร้อมกันต่ำ, DFlash และภายหลังคือดราฟเตอร์ LiLiCorr — ซึ่งทำให้ speculative decoding เป็นการกำหนดค่าที่รองรับได้จริง ไม่ใช่กลเม็ดเพื่อการวิจัย การกลั่นความรู้จากครู N​emotron 3 Ultra คืออีกครึ่งหนึ่งของสูตร

Bolt คือสูตรเดียวกันที่มุ่งเป้าไปยังงบประมาณที่ตึงตัวกว่ามาก พารามิเตอร์ 74B ของมันถูกบีบอัดเหลือ 24GB ด้วย Star Elastic ซึ่งเป็นสถาปัตยกรรมการค้นหาแบบนำทางด้วยเราเตอร์ของ N​VIDIA โดยรับเช็กพอยต์ต้นทางและค้นหาจำนวนผู้เชี่ยวชาญต่อเลเยอร์และความกว้างระดับกลางของ MoE ที่ตอบโจทย์พื้นที่ติดตั้งใช้งานจริงแบบตายตัว พร้อมลดความสูญเสียจากการกลั่นความรู้ให้เหลือน้อยที่สุด ในกรณีของ Bolt การค้นหาถูกจำกัดให้ต่ำกว่า 24GB ที่ขนาดแบตช์ 1 และบริบท 128K ค่า top-K ของผู้เชี่ยวชาญลดลงจาก 22 ในโมเดลต้นทางเหลือ 9 จากนั้นน้ำหนักของผู้เชี่ยวชาญถูกควอนไทซ์เป็น IQ2-XXS ที่ 2.0625 บิตต่อองค์ประกอบ พร้อมการกลั่นความรู้แบบคำนึงถึงการควอนไทซ์เพื่อฟื้นคืนความแม่นยำ เลเยอร์ Mamba อยู่ในรูปแบบ NVFP4 ส่วน embedding และเลเยอร์เอาต์พุตอยู่ในรูปแบบ Q8_0

โมเดลแม่ของ Bolt ไม่ใช่ Lightning แต่คือ N​emotron 3.5 Super VL 120B-A12B ซึ่งเป็นโมเดลมัลติโมดัลขนาด 120 พันล้านพารามิเตอร์ที่ N​VIDIA เปิดตัวในวันเดียวกัน ด้วยเหตุนี้ Bolt จึงมาพร้อมตัวเข้ารหัสภาพ C-RADIO v4-H ขณะที่ Lightning ไม่มี

การเปรียบต่างสเปก ทั้งสองด้านในบรรทัดเดียว

• พารามิเตอร์ทั้งหมดและพารามิเตอร์ที่ใช้งานอยู่ — Bolt: 74B ทั้งหมด, 9B ที่ใช้งานต่อโทเคน Lightning: 30B ทั้งหมด, ประมาณ 3B ที่ใช้งานต่อโทเคน

• สถาปัตยกรรม — Bolt: LatentMoE แบบไฮบริด Mamba-2–Transformer พร้อมตัวเข้ารหัสภาพ C-RADIO v4-H Lightning: MoE แบบไฮบริด Mamba-2 ที่มี attention ไม่มีวิชันทาวเวอร์

• ความแม่นยำและขนาดที่ใช้หน่วยความจำ — Bolt: IQ2 ที่ 2.0625 บิตต่อองค์ประกอบ แพ็กให้ต่ำกว่า 24GB Lightning: BF16, NVFP4 และบิลด์แบบควอนไทซ์อื่น ๆ ที่เผยแพร่แยกต่างหาก

• บริบท — Bolt: สูงสุด 256,000 โทเค็น โดยสูตรการปรับใช้แต่ละแบบสามารถเลือกใช้น้อยกว่าได้ Lightning: โดยหลักการสูงสุด 1,000,000 โทเค็น โดยประมาณ 256,000 คือเพดานในทางปฏิบัติบน H100 ตัวเดียว

• อินพุตและเอาต์พุต — Bolt: รับข้อความ รูปภาพ และวิดีโอเข้า ส่งออกเป็นข้อความ Lightning: รับข้อความเข้า ส่งออกเป็นข้อความ

• สัญญาอนุญาต — OpenMDW-1.1 สำหรับทั้งสองรายการ ได้รับการรับรองจาก N​VIDIA สำหรับการใช้งานเชิงพาณิชย์และไม่เชิงพาณิชย์

• การถอดรหัสแบบคาดการณ์ — Bolt: ดราฟเตอร์ LiLiCorr ผ่าน DFlash โดยมีโทเคนคาดการณ์เจ็ดตัวในสูตรอ้างอิง Lightning: หัว MTP พร้อมดราฟเตอร์ DFlash และ DSpark

• Intelligence Index — Bolt: 21.4 อยู่อันดับสี่จาก 67 ในระดับขนาดเดียวกัน วัดผลอย่างอิสระโดย Artificial Analysis Lightning: 12.9 วัดผลอย่างอิสระ

• ราคา — Bolt: ไม่มีอัตราคิดค่าตามปริมาณการใช้งานในที่ใดเลย; Artificial Analysis ไม่ได้ระบุราคาอินพุตหรือเอาต์พุต และไม่มี hosted endpoint ที่เผยแพร่ไว้ให้ใช้งาน Lightning: $0.06 ต่อล้านโทเคนอินพุต และ $0.20 ต่อล้านโทเคนเอาต์พุต ตามที่ Artificial Analysis ติดตามไว้ โดยอินพุตที่แคชไว้อยู่ที่ประมาณ $0.006

• ความเร็วเอาต์พุต — Bolt: ไม่มีการเผยแพร่ผลการวัดที่เป็นอิสระ Lightning: 305 โทเค็นเอาต์พุตต่อวินาที โดยใช้เวลา 0.57 วินาทีถึงโทเค็นแรก ทั้งสองวัดผลอย่างอิสระ ซึ่งเป็นหนึ่งในตัวเลขที่เร็วที่สุดบนกระดานของคณะกรรมการ

การเปรียบเทียบแบบตัวต่อตัวของผู้ขายเอง อ่านให้ละเอียด

การ์ดโมเดลของ NVIDIA สำหรับ Bolt เผยแพร่ตารางที่ Lightning เป็นหนึ่งในสาม baseline และควรอ่านในฐานะข้อโต้แย้งมากกว่ากระดานคะแนน เพราะบริษัทเลือก benchmark ที่โมเดลใหม่ของตนชนะ

• Terminal-Bench 2.1 — Bolt 50.98 เทียบกับ 23.46 ของ Lightning ทั้งคู่รันโดยผู้ขาย และทั้งคู่รันบนบิลด์ Lightning แบบ BF16

• GPQA Diamond — Bolt 86.43 เทียบกับ Lightning 75.57

• BrowseComp — Bolt 66.75 เทียบกับ 36.81 ของ Lightning

• HLE โดยไม่ใช้เครื่องมือ — Bolt 25.30 เทียบกับ 10.47 ของ Lightning

• {{1}}PinchBench{{/1}} — Bolt 87.82 เทียบกับ 83.43 ของ Lightning ซึ่งเป็นช่องว่างที่แคบกว่าตัวอื่นมาก และสอดคล้องกับคำกล่าวอ้างของ N​VIDIA ที่ว่า Bolt เป็นโมเดลเปิดอันดับหนึ่งในระดับเดียวกันบนเบนช์มาร์กนั้น

• {{1}}AA-Omniscience ด้านการไม่สร้างข้อมูลเท็จ{{/1}} — Bolt ได้ 61.27 เทียบกับ Lightning ที่ 68.81 Lightning ชนะในข้อนี้ และเป็นแถวที่ N​VIDIA เลือกเผยแพร่อยู่ดี ซึ่งถือเป็นข้อดีของตารางนี้

• ความแม่นยำ AA-Omniscience — Bolt 16.90 เทียบกับ 16.63 ของ Lightning ถือว่าเสมอกัน และเป็นคู่ตัวเลขที่อ่อนที่สุดในตารางเมื่อพิจารณาในเชิงค่าสัมบูรณ์

ทุกตัวเลขในรายการนั้นเป็นข้อมูลที่ผู้ขายรายงานไว้บนโมเดลการ์ดและยังไม่มีการทำซ้ำผล ต่อมา Artificial Analysis ได้วัดคะแนนดัชนีทั้งสองอย่างเป็นอิสระ — 21.4 และ 12.9 — และทิศทางสอดคล้องกัน ซึ่งเป็นสิ่งสูงสุดที่อาจกล่าวได้ในวันนี้

ในกรณีที่โมเดลที่เล็กกว่าเป็นคำตอบที่ดีกว่า

ช่องว่างของดัชนีเป็นเรื่องจริง และไม่ใช่แกนเดียวเท่านั้น Lightning ชนะสามแถวที่สำคัญสำหรับการติดตั้งใช้งานเฉพาะ

มันเร็วกว่าด้วยปัจจัยที่ยังไม่มีใครวัดในฝั่ง Bolt โดยทำได้ 305 โทเค็นเอาต์พุตต่อวินาที พร้อมเวลาถึงโทเค็นแรกต่ำกว่าหนึ่งวินาที ซึ่งเป็นความสามารถในการตอบสนองต่างระดับจากสิ่งที่เช็กพอยต์ 74B แบบ 2-bit ที่ยังไม่ได้วัดอาจถูกสันนิษฐานในปัจจุบันว่าจะทำได้ และนี่คือค่าที่วัดแล้ว อัตราทรูพุตที่ Bolt เผยแพร่เองที่ 83.99 โทเค็นต่อวินาทีบน AIPerf SPEED-Bench-Coding ขณะเปิดใช้งาน LiLiCorr drafter มาจากหน้าการวิจัยของ N​VIDIA บนเครื่องระดับแล็ปท็อป และไม่สามารถเทียบได้กับชุดทดสอบของคณะกรรมการ

มันมีบริบทมากกว่าเป็นสี่เท่า — หนึ่งล้านโทเคนเทียบกับ 256,000 และความแตกต่างนี้ปรากฏในคะแนนการดึงข้อมูลบริบทยาวแบบอิสระ: Lightning ได้ 49.19 บน AA-LCR ในตารางของ NVIDIA ส่วน Bolt ได้ 64.06 — Bolt ใช้บริบทยาวได้ดีกว่า แต่ Lightning เป็นหนึ่งในสองรุ่นเดียวที่โฆษณาหน้าต่างหนึ่งล้านโทเคน ดังนั้นหากงานคือ "อ่านทั้งรีโพซิทอรี" เพดานความยาวอาจสำคัญกว่าคุณภาพการดึงข้อมูลภายในนั้น

มันเป็นเพียงตัวเดียวจากสองตัวที่มีราคา Lightning มีให้ใช้งานในราคา $0.06 ต่อโทเค็นขาเข้า และ $0.20 ต่อโทเค็นขาออกต่อล้านโทเค็น ซึ่งทำให้มันเป็นโครงสร้างพื้นฐานที่เรียกใช้งานได้ มากกว่าจะเป็นโครงการฮาร์ดแวร์ ไม่มีใครเผยแพร่อัตราราคาแบบโฮสต์สำหรับ Bolt ดังนั้นวิธีเดียวที่จะรันมันได้คือต้องเป็นเจ้าของเครื่อง

สิ่งที่ Lightning ทำไม่ได้คือการมองเห็น มันรองรับเฉพาะข้อความเท่านั้น และ Bolt รับภาพและวิดีโอผ่านตัวเข้ารหัส C-RADIO v4-H โดยได้คะแนน 50.86 บน WebArena vision ซึ่ง Lightning ไม่มีผลคะแนนอยู่ในนั้น หากเอเจนต์อ่านภาพหน้าจอ เปิดไฟล์ PDF หรือควบคุมเบราว์เซอร์ แถวนั้นเพียงแถวเดียวก็ตัดสินการเลือก — และมันคือแถวที่มาจากเชื้อสาย Super VL ของ Bolt มากกว่าจะมาจากจำนวนพารามิเตอร์ของมัน

ค่าใช้จ่ายจริง ๆ ในการรัน Bolt คือเท่าไหร่

สูตรการเสิร์ฟอ้างอิงของ NVIDIA สำหรับเช็กพอยต์ขนาด 24GB ไม่ใช่คำสั่งเดียวที่คุณนำไปวาง แต่จะตรึงอิมเมจ vLLM nightly ที่ระบุไว้โดยเฉพาะ ติดตั้งแพ็กเกจเคอร์เนล b12x และดาวน์โหลดเคอร์เนลต่าง ๆ ดึงไฟล์ปลั๊กอิน reasoning-parser แยกต่างหาก จากนั้นตั้งค่า v2 model runner, แบ็กเอนด์ linear และ MoE เป็น b12x, แบ็กเอนด์ attention และ Mamba เป็น FlashInfer, ระบุ dtype ของแคช Mamba อย่างชัดเจน, เปิดแฟล็ก chunked-prefill และกำหนดค่าการถอดรหัสแบบ speculative ที่ชี้ไปยัง LiLiCorr drafter พร้อมโทเคนร่างเจ็ดโทเคน ทั้งนี้ได้ระบุชื่อ parser สำหรับ tool-call และ reasoning อย่างชัดเจน และขีดจำกัดด้านสื่อกำหนดให้คำขอหนึ่งคำขอมีภาพหนึ่งภาพและวิดีโอหนึ่งวิดีโอ โดยมีอัตราการตัดทอนวิดีโอที่ 0.5

เรื่องราวการติดตั้งใช้งานของ Lightning คือคอนเทนเนอร์ Docker, เอนด์พอยต์ที่เข้ากันได้กับ OpenAI และชื่อโมเดลที่คุณยังหาได้จากผู้ให้บริการแบบโฮสต์ในราคาหกเซนต์ต่อหนึ่งล้านโทเค็น ในทางปฏิบัติ ความแตกต่างนั้นคือทั้งหมดของการเปรียบเทียบ: Bolt คืองานหนึ่งสุดสัปดาห์กับเครื่องที่คุณเป็นเจ้าของ ส่วน Lightning คือหนึ่งบ่ายกับใบแจ้งหนี้

วิธีเลือก และอะไรที่จะช่วยชี้ขาด

เลือก Lightning หากภาระงานของคุณเป็นข้อความ งบความหน่วงของคุณตึงตัว และไม่ว่าความต้องการด้านบริบทของคุณจะสูง หรือคุณยินดีจ่ายตามจำนวนโทเค็นมากกว่าซื้อฮาร์ดแวร์ โปรไฟล์อิสระของมัน — ความเร็วเอาต์พุตที่วัดได้เร็วที่สุดในระดับเดียวกัน โทเค็นแรกภายในต่ำกว่าหนึ่งวินาที และราคาที่เปิดเผยไว้ — ทำให้เป็นตัวเลือกที่มีความเสี่ยงต่ำที่สุดในตระกูลนี้ และคะแนนความฉลาดที่ต่ำกว่าก็ถูกกำหนดราคาให้สอดคล้องกัน นอกจากนี้ยังเป็นค่าเริ่มต้นที่เหมาะสมหากคุณวางแผนจะจับคู่ตัวดำเนินการขนาดเล็กในเครื่องกับตัววางแผนขนาดใหญ่ที่โฮสต์ไว้ ซึ่งเป็นวิธีที่ N​VIDIA วางตำแหน่งผลิตภัณฑ์นี้ไว้พอดี

เลือก Bolt หากเอเจนต์ของคุณเกี่ยวข้องกับพิกเซลหรือทำงานโดยไม่ต้องใช้เครือข่าย แถวด้านวิชันเป็นความสามารถเฉพาะของมัน การให้เหตุผลระดับ 74B นำอยู่ 8 คะแนนดัชนี และกรอบหน่วยความจำ 24GB เป็นเพียงรุ่นเดียวในตระกูลที่บรรจุเช็กพอยต์ที่กลั่นจากโมเดลครูขนาด 74B ลงบนตัวเร่งระดับผู้บริโภคเพียงตัวเดียวได้ ยอมรับว่าคุณกำลังรันตัววางแผนที่โฮสต์บน GPU ภายในเครื่อง และแลกมาด้วยความหน่วงที่คุณยังคาดการณ์ไม่ได้

สำหรับครึ่งที่เป็นโฮสต์ของสถาปัตยกรรมทั้งสองแบบ OrcaRouter นำโมเดลที่เราจัดเส้นทางให้ไปไว้หลังคีย์เดียวในราคาตามที่ผู้ให้บริการระบุ โดยไม่บวกกำไรเพิ่ม 0 เปอร์เซ็นต์ และ การสลับไปใช้ผู้ให้บริการรายอื่นโดยอัตโนมัติเมื่อเกิดปัญหา หมายความว่าปัญหาด้านความจุที่ต้นทางจะถูกส่งไปลองใหม่แทนที่จะถูกแสดงออกมาให้เห็น เราไม่ได้โฮสต์โมเดลตระกูล N​emotron ใด ๆ — แคตตาล็อกถูกตรวจสอบแล้ว而不是สันนิษฐาน และตระกูลนี้ไม่ได้อยู่ในนั้น — ดังนั้นฝั่งโลคอลของการเปรียบเทียบนี้จึงไม่ได้รับผลกระทบจากสิ่งที่เราทำ สิ่งที่การตั้งค่าแบบจัดเส้นทางมอบให้คือแผนสำรองสำหรับตัววางแผนระหว่างที่คุณประเมิน ซึ่งสำคัญในกรณีนี้เพราะเช็กพอยต์ทั้งสองตัวนี้ไม่มีโปรไฟล์ความหน่วงอิสระที่เผยแพร่ให้คุณใช้กำหนดขนาดเส้นทางการผลิตได้

สิ่งที่ทำให้การตัดสินใจได้ข้อสรุปคือตัวเลขหนึ่งตัวที่ยังไม่มีอยู่ในตอนนี้ นั่นคือ ผลรันแบบอิสระด้าน throughput และ latency บนเช็กพอยต์ขนาด 24GB ที่ batch size เท่ากับหนึ่ง จนกว่าจะมีใครเผยแพร่ผลนั้นออกมา ข้อสนับสนุนฝั่ง Bolt ก็ขึ้นอยู่กับสองสิ่งที่ Lightning เทียบไม่ได้ทั้งหมด — ขนาดพารามิเตอร์และ sight — และข้อสนับสนุนฝั่ง Lightning ก็ขึ้นอยู่กับตัวเลขสี่ตัวที่วัดแยกกันอย่างอิสระ

สิ่งที่ตัวเลขบอกคุณไม่ได้คือว่ามีสิ่งใดผิดพลาดไปในการใช้งานจริงหรือไม่: เหตุการณ์ AI และความล้มเหลวของเอเจนต์ที่ได้รับการบันทึกไว้เกี่ยวกับโมเดลในคลาสนี้ถูกรวบรวมไว้ใน OrcaRouter AI Incident Archive โดยแต่ละรายการมีแหล่งที่มา ความรุนแรง ระดับความเชื่อมั่น และสถานะข้อโต้แย้งของตนเอง