Nemotron 3.5 Bolt vs Nemotron 3.5 Lightning: ตารางของ NVIDIA เองบอกอะไรเมื่อคุณอ่านทั้งสองคอลัมน์

NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB และ NVIDIA Nemotron 3.5 Lightning 30B-A3B เป็นสองระดับของตระกูลเดียวกัน เปิดตัวห่างกันสิบสัปดาห์ และผู้ขายได้เผยแพร่ตารางที่นำทั้งสองมาเทียบกันแบบหัวต่อหัวแล้ว นั่นเป็นเรื่องผิดปกติและมีประโยชน์ ตารางเทียบแบบหัวต่อหัวที่คุณอ่านส่วนใหญ่ถูกรวบรวมโดยนักข่าวหรือผู้ขายที่เลือกเฉพาะการเปรียบเทียบที่เข้าข้างตัวเอง แต่ตารางนี้เป็นห้องแล็บที่ทดสอบโมเดลใหม่กว่าของตัวเองเทียบกับโมเดลเก่ากว่าของตัวเอง ต่อสาธารณะ โดยระบุชื่อโมเดลเก่าเป็นเส้นฐาน ยังคงเป็นข้อมูลที่ผู้ขายรายงานเอง และไม่มีใครนอก NVIDIA ทำซ้ำได้แม้แต่แถวเดียว — แต่เจตนาเบื้องหลังไม่เป็นที่น่าสงสัย และทิศทางของผลลัพธ์ก็เช่นกัน Bolt ชนะสิบสองจากสิบสามแถว คุ้มค่าที่จะเข้าใจให้ชัดเจนว่ามันแพ้แถวไหน และทำไมแถวนั้นจึงเป็นแถวที่น่าสนใจ

โครงสร้างของตระกูลโมเดลมีความสำคัญก่อนตัวเลข Nemotron 3.5 Lightning เปิดตัวเมื่อวันที่ 11 สิงหาคม 2026 ในฐานะเลเยอร์การทำงานของสแต็กเอเจนต์ — ไฮบริดที่มีพารามิเตอร์รวม 30B และพารามิเตอร์ที่ใช้งาน 3B ที่ NVIDIA กลั่นจาก Nemotron 3 Ultra ที่ใหญ่กว่ามาก โดยเฉพาะเพื่อให้โมเดลระดับแนวหน้าสามารถวางแผนได้ ในขณะที่ Lightning ทำงานกับการเรียกใช้เครื่องมือบน GPU เดียว Bolt เป็นสายพันธุ์ที่แตกต่างโดยสิ้นเชิง: มันถูกบีบอัดจากโมเดล 120B-A12B Nemotron 3.5 Super VL ไม่ใช่จาก Ultra และมันมีอยู่เพื่อเป็นโมเดลอเนกประสงค์ด้านภาพและภาษาที่สามารถรันได้ใน 24GB ทั้งคู่เป็น open-weight ภายใต้ OpenMDW-1.1 ทั้งคู่เป็น sparse mixture of experts บนแบ็กโบนไฮบริด Mamba-2 และทั้งคู่มาพร้อม speculative decoding — Lightning มีหัว Multi-Token Prediction พร้อมด้วย DFlash และ DSpark drafters, Bolt มี LiLiCorr drafter ที่ขับเคลื่อนผ่าน DFlash ซึ่งเสนอโทเค็นล่วงหน้า 7 โทเค็น

การสืบทอดสายเดียวกันจะหมดประโยชน์ไป ณ จุดที่คุณต้องตัดสินใจ เพราะโมเดลทั้งสองตอบคำถามที่ต่างกัน ตัวหนึ่งเป็นผู้ปฏิบัติการราคาถูก อีกตัวหนึ่งเป็นผู้รู้รอบด้านแบบโลคอล

อ่านตารางตามบทบาท ไม่ใช่ตามคะแนน

ตัวเลขทุกตัวด้านล่างนี้มาจากโมเดลการ์ดของ NVIDIA เองสำหรับเช็คพอยต์ Bolt 24GB ซึ่งระบุ Lightning เป็นค่าพื้นฐาน คอลัมน์ Bolt คือ IQ2 ซึ่งเป็นอาร์ติแฟกต์แบบควอนไทซ์ 2-bit คอลัมน์ Lightning คือ BF16 ซึ่งไม่ได้ผ่านการควอนไทซ์ ความไม่สมมาตรนั้นเป็นสิ่งสำคัญที่สุดเพียงสิ่งเดียวที่ควรรู้เกี่ยวกับตารางนี้ และมันเอื้อประโยชน์ให้ Bolt — มันชนะในแถวเหล่านั้นทั้งที่ถูกบีบอัดลงประมาณแปดเท่าเมื่อเทียบกับพาเรนต์ของมัน

• การให้เหตุผลแบบเอเจนต์ทั่วไป — GDPVal-AA-V2: Bolt 28.47, Lightning 18.26 ช่องว่างสิบจุด และเป็นแถวที่ใกล้เคียงที่สุดกับ "ความสามารถของมันดีแค่ไหนกับงานในรูปแบบออฟฟิศประจำวันที่โมเดลถูกสร้างขึ้นมาเพื่อ"

• งานด้าน Terminal — Terminal-Bench 2.1: Bolt 50.98, Lightning 23.46 นี่คือช่องว่างที่กว้างที่สุดบนกระดานคะแนน และไม่น่าแปลกใจ เพราะคำแนะนำของ NVIDIA เองสำหรับ Lightning คือไม่ควรใช้เป็นเอเจนต์หลัก การประเมินอิสระบันทึกไว้ประมาณ 24.6 สำหรับ Lightning บนเบนช์มาร์กเดียวกัน ซึ่งใกล้เคียงกับ 23.46 ของผู้ขายพอที่จะบ่งชี้ว่าตัวเลขนั้นเป็นจริง

• การให้เหตุผลด้านวิทยาศาสตร์และความรู้ — GPQA Diamond: Bolt 86.43, Lightning 75.57. SciCode: Bolt 41.02, Lightning 31.38. Humanity's Last Exam แบบไม่ใช้เครื่องมือ: Bolt 25.30, Lightning 10.47. ความสม่ำเสมอในคำถามยากสามรูปแบบที่แตกต่างกัน

• การให้เหตุผลแบบบริบทยาว — AA-LCR: Bolt 64.06, Lightning 49.19 ห่างกันสิบห้าคะแนน และในที่นี้ ข้อจำกัดด้านหน่วยความจำไม่ใช่ปัจจัยจำกัดสำหรับทั้งสองโมเดล

• ความสามารถในการลงมือทำบนเว็บและการท่องเว็บ — BrowseComp: Bolt 66.75, Lightning 36.81 สามสิบพอยต์ ช่องว่างเดี่ยวที่ใหญ่ที่สุดในตาราง และเป็นรายการที่ขัดแย้งกับแนวคิดที่ว่า Lightning เป็นผู้ดำเนินการอัตโนมัติโดยตรงที่สุด

• ความหนาแน่นของการใช้เครื่องมือ — MCP-Atlas: Bolt 52.20, Lightning 46.4. PinchBench: Bolt 87.82, Lightning 83.43. ทั้งคู่มีส่วนต่างแคบกว่าส่วนต่างข้างต้น ซึ่งสอดคล้องกับโจทย์การออกแบบที่แท้จริงของ Lightning: ขั้นตอนการใช้เครื่องมือแบบสั้นและมีความถี่สูง

• ด้านการมองเห็น — วิชันของ WebArena: Bolt 50.86, Lightning ไม่มีรายการ นี่ไม่ใช่ช่องว่างในการรายงาน Lightning เป็นข้อความเข้า ข้อความออก; จึงไม่มีตัวเข้ารหัสภาพให้ประเมินคะแนน

แถวเดียวที่ Lightning ชนะ และเหตุใดจึงไม่ใช่สัญญาณรบกวน

AA-Omniscience ด้านการไม่สร้างข้อมูลเท็จ: Nemotron 3.5 Lightning 68.81, Nemotron 3.5 Bolt 61.27 ในครึ่งที่เป็นความแม่นยำของการประเมินเดียวกัน ทั้งสองห่างกันไม่เกินหนึ่งในสามของจุด — 16.90 สำหรับ Bolt เทียบกับ 16.63 สำหรับ Lightning — ซึ่งทำให้ช่องว่างในครึ่งด้านการไม่สร้างข้อมูลเท็จเป็นเรื่องที่อธิบายทั้งหมด ไม่ใช่เพียงผลจากการปัดเศษ วัดได้ว่าโมเดลที่เล็กกว่า เก่ากว่า และยังไม่ผ่านการควอนไทซ์นั้นระมัดระวังมากกว่าในการพูดสิ่งที่ไม่รู้

นั่นเป็นข้อค้นพบจริงและมีกลไกที่เป็นไปได้ Bolt บรรลุขนาดที่เล็กได้ด้วยการควอนไทซ์ 2-bit แบบรุนแรงพร้อมการกลั่นที่คำนึงถึงการควอนไทซ์ ส่วนที่สูญเสียข้อมูลของไปป์ไลน์นั้นคือส่วนที่ควบคุมความไม่แน่นอนที่ปรับเทียบแล้วพอดี Lightning มีขนาดเล็กกว่าแต่ยังคงอยู่ที่ความแม่นยำ BF16 เต็มรูปแบบ และเป้าหมายการกลั่นของมันคือโมเดลการให้เหตุผลมากกว่าอัตราการบีบอัด ถ้ารูปแบบความล้มเหลวของเอเจนต์ของคุณคือคำตอบที่ผิดอย่างมั่นใจซึ่งแพร่กระจายไปสู่การกระทำ นี่คือแถวที่ต้องให้น้ำหนักมากที่สุด — และไม่ว่าการกำหนดเส้นทางจะฉลาดแค่ไหน ก็ไม่อาจแก้ไขโมเดลที่กุเรื่องขึ้นมาเพิ่มได้

ผู้ขายแทบไม่เคยเผยแพร่ตารางที่มีแถวซึ่งโมเดลใหม่ของตนเองแพ้ การที่ตารางนี้มีแถวเช่นนั้นถือเป็นหลักฐานชิ้นเล็ก ๆ ว่าตารางนี้ไม่ได้มีไว้เพื่อโปรโมตเพียงอย่างเดียว

ต้นทุนการให้บริการคือแกนที่สองที่แท้จริง

คะแนนข้างต้นไม่ใช่ตัวชี้ขาดทั้งหมด เพราะโมเดลสองตัวนี้มีต้นทุนในการรันไม่เท่ากัน

• พารามิเตอร์ที่ใช้งานอยู่ — Bolt เปิดใช้งาน 9B ต่อโทเคน; Lightning เปิดใช้งานประมาณ 3B ปริมาณการประมวลผลต่อโทเคนเป็นสามเท่าสำหรับโมเดลที่ใหญ่กว่า ในทุกโทเคน ตลอดไป

• ขอบเขตหน่วยความจำ — Bolt เป็นไฟล์ขนาด 24GB ที่ทุกอย่างถูกบีบอัดไว้แล้ว; Lightning เป็นเช็กพอยต์ 30B BF16 ที่ต้องการ GPU เพียงตัวเดียว และพอดีได้อย่างสบายบน RTX 5090, DGX Spark หรืออุปกรณ์ Jetson

• บริบท — ทั้งคู่ระบุสเปกว่า 1M โทเค็น และในทางปฏิบัติทั้งคู่ก็แคบกว่านั้น Lightning ให้บริการ 256K บน H100 เครื่องเดียวก่อนที่การคำนวณหน่วยความจำจะเริ่มยุ่งยาก; หน้าต่างที่เผยแพร่ของ Bolt คือ 262,144 และหน้าต่างนั้นใช้พื้นที่ 24GB เดียวกันร่วมกับ KV cache, รูปภาพ และผลลัพธ์จากเครื่องมือ

• คำอ้างเรื่องความเร็ว — NVIDIA อ้างว่า Lightning ให้ความเร็วเอาต์พุตสูงสุดถึง 4 เท่าเมื่อเทียบกับโมเดลขนาดใกล้เคียงกัน โดยอาศัยดราฟเตอร์ MTP และ DFlash/DSpark ของตน และอ้างว่าอย่างน้อย 80 โทเคนต่อวินาทีสำหรับการถอดรหัสเป็นเป้าหมายการออกแบบของ Bolt โดยวัดได้ 84 บน AIPerf SPEED-Bench บน RTX Spark และ 83.99 จากการรัน llama.cpp บน Surface Laptop Ultra ที่มีหน่วยความจำ 128GB ทั้งสองค่าเป็นตัวเลขจากผู้ผลิตเอง ยังไม่มีใครนอก NVIDIA ที่ทำซ้ำได้

• การวัดปริมาณการใช้งาน — ทั้งสองแบบไม่มีราคาแบบโฮสต์จากเราหรือจากแพลตฟอร์มใด ๆ ที่เราชี้ให้คุณได้ ไม่ว่าจะทางไหน ต้นทุนก็คือฮาร์ดแวร์ของคุณ ซึ่งเป็นเหตุผลว่าทำไมจำนวนพารามิเตอร์ที่ใช้งานอยู่จึงสำคัญกว่าที่มันเป็นในการเปรียบเทียบแบบโฮสต์

สิ่งที่คณะผู้เชี่ยวชาญสามารถวัดได้และไม่สามารถวัดได้

Artificial Analysis มีข้อมูลสำหรับ Nemotron 3.5 Bolt 74B-A9B และให้คะแนน 21 บน Intelligence Index เป็นอันดับที่ 4 จาก 67 ในคลาสขนาดของมัน เมื่อเทียบกับค่ามัธยฐานของคลาสที่ 8 ฟิลด์ความเร็วและต้นทุนต่องานของมันแสดงเป็น N/A เนื่องจากไม่มีเอนด์พอยต์ที่โฮสต์ไว้ให้เรียกใช้ ช่องว่างสองช่องนั้นคือสถานะที่ซื่อสัตย์ของโมเดล: พื้นความฉลาดของมันได้รับการตรวจสอบอย่างอิสระ และเพดานประสิทธิภาพของมันยังไม่ได้รับการตรวจสอบ

ณ เวลาที่เขียนนี้ ยังไม่มีรายการของ Artificial Analysis สำหรับ Nemotron 3.5 Lightning ซึ่งทำให้การเปรียบเทียบทั้งหมดต้องอาศัยข้อมูลจากการ์ดของ NVIDIA เองเท่านั้น จุดข้อมูลอิสระที่มีอยู่จริง — การตรวจสอบโดย LLM Stats ที่ประมาณ 24.6 บน Terminal-Bench 2.1 ซึ่งสอดคล้องกับ 23.46 ของผู้จำหน่าย — สนับสนุนตัวเลขของผู้จำหน่ายมากกว่าที่จะขัดแย้งกับตัวเลขเหล่านั้น นั่นทำให้มั่นใจเกี่ยวกับตารางได้ในระดับหนึ่ง แต่ก็ไม่ได้ใช้แทนชุดทดสอบชุดที่สองได้

วิธีเลือกจริงๆ

เจตนารมณ์ของการออกแบบเป็นตัวตัดสินกรณีส่วนใหญ่ก่อนที่เบนช์มาร์กจะตัดสิน Lightning เป็นผู้ลงมือปฏิบัติโดยโครงสร้าง: แนวทางของ NVIDIA เองคือให้โมเดลระดับแนวหน้าวางแผน และให้ Lightning รันลูป และแถวที่ดีที่สุดของมันในตารางคือแถวที่เป็นการเรียกใช้เครื่องมือความถี่สูง ไม่ใช่แถวที่เป็นเอเจนต์อัตโนมัติ Bolt เป็นผู้ทำงานแบบอเนกประสงค์โดยโครงสร้าง: ตารางเดียวกันแสดงให้เห็นว่ามันนำหน้าไปไกลในด้านความสามารถในการท่องเว็บและงานบนเทอร์มินัล ซึ่งเป็นงานแนววางแผนที่ Lightning ไม่ได้ถูกออกแบบมาให้รับผิดชอบตั้งแต่แรก — และมันเป็นเพียงหนึ่งเดียวในสองตัวนี้ที่มีความสามารถในการมองเห็น

องค์ประกอบที่โมเดลทั้งสองถูกสร้างขึ้นมาเพื่อก็คือ planner, executor และ local specialist เนื่องจากไม่มี checkpoint ใดมีราคาแบบโฮสต์ การแยกส่วนจึงตกอยู่บนฮาร์ดแวร์ของคุณเอง และendpoint หนึ่งจุดที่วางไว้ข้างหน้ามันจะเป็นตัวทำงานที่มีประโยชน์: กฎการจัดเส้นทางที่ส่งลูปเรียกเครื่องมือแบบสั้นไปยัง deployment ของ Lightning ส่วนคำขอที่ต้องใช้ความสามารถด้านภาพและการควบคุมเบราว์เซอร์ส่งไปยัง Bolt และสิ่งที่ต้องใช้การให้เหตุผลระดับ frontier จริง ๆ ส่งออกไปยังโมเดลแบบโฮสต์ — ทั้งหมดอยู่หลังคีย์เดียว พร้อม failover ข้ามผู้ให้บริการต้นทางเมื่อขาแบบโฮสต์มีปัญหา กฎนี้อยู่ในคอนฟิกูเรชันแทนที่จะอยู่ในทุกบริการ ซึ่งเป็นความแตกต่างระหว่างเลเยอร์การจัดเส้นทางกับการเขียนใหม่

คำถามที่ยังเปิดอยู่คือการรันอิสระเพียงครั้งเดียว หากบุคคลที่สามทำซ้ำช่องว่างของ Terminal-Bench และ BrowseComp บน Bolt ได้ เช็กพอยต์ 24GB ก็เป็นโมเดลเอนกประสงค์ที่แข็งแกร่งกว่าอย่างแท้จริง และเหตุผลสำหรับระดับ 30B ก็แคบลงเหลือเพียงเศรษฐศาสตร์ของทรูพุตล้วนๆ หากไม่เป็นเช่นนั้น การตีความตามจริงก็คือ 74B ที่ควอนไทซ์แบบ 2-bit กับ 30B แบบ BF16 นั้นใกล้กันมากกว่าที่ตารางของผู้ขายรายหนึ่งบอกเป็นนัย — และแถวการไม่ฮัลลูซิเนชัน ซึ่งเป็นแถวที่ Lightning ชนะ ควรได้รับน้ำหนักมากกว่าที่ตำแหน่งด้านล่างของการ์ดจะบอกเป็นนัย