Nemotron 3.5 Bolt 24GB vs Nemotron 3.5 Lightning 30B-A3B: ตระกูลเดียวกัน แต่แนวทางการนำไปใช้งานตรงกันข้าม

Two models from one family, released four months apart, built to opposite ends of the same question. N​VIDIA N​emotron 3.5 Lightning 30B-A3B shipped in August 2026 as a high-throughput text model for data-centre serving. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB shipped on 15 October 2026 as a multimodal agent that fits on a laptop. Bolt has double the total parameters and three times the active parameters of Lightning, and it runs on hardware Lightning cannot start on. This is what actually separates them, and where the family resemblance is misleading.

ทั้งคู่มาจากสูตรการฝึกเดียวกัน

N​VIDIA's technical report for the pair is explicit that both models begin with the same two stages: a 100-billion-token warm-up for multi-token-prediction heads, then a trillion tokens of distillation from the next-larger N​emotron 3 model. Lightning distils from N​emotron 3 Super Base; Bolt distils from the N​emotron 3.5 Super VL line, which is why Bolt can see and Lightning cannot.

หลังจากนั้นเส้นทางก็แยกจากกัน และการแยกจากกันนั้นคือเรื่องราวทั้งหมด

Lightning ผ่านขั้นตอน long-context ขนาด 21 พันล้านโทเคนที่ขยายไปถึงหนึ่งล้านโทเคน จากนั้นเป็นไปป์ไลน์หลังการฝึกอบรมแบบ SFT-and-RLVR และเปิดตัวเป็นโมเดลข้อความขนาด 30B ทั้งหมด / 3B ที่ใช้งานจริง พร้อมตัวเลือก speculative ของ DSpark, DFlash และ MTP และเป้าหมายการปรับใช้บน GPU เดียวคือ H100 หนึ่งตัวหรือ DGX Spark หนึ่งตัวที่มีน้ำหนัก NVFP4

Bolt ถูกบีบอัดจากโมเดลแม่ขนาด 120 พันล้านพารามิเตอร์ด้วยการค้นหาสถาปัตยกรรม Star Elastic แล้วเชื่อมต่อกลับเข้ากับ vision tower ของมัน ฝึกใหม่ผ่านขั้นตอนแบบมีผู้สอนที่เน้นงานภาพอย่างหนัก จากนั้นเข้าสู่การเรียนรู้แบบเสริมกำลังแบบต้นทางถึงปลายทางในสภาพแวดล้อมแบบเอเจนต์ และสุดท้ายถูกควอนไทซ์เหลือ 2.0625 บิตต่อน้ำหนักของ expert ด้วยการกลั่นแบบตระหนักถึงการควอนไทซ์ โดยมาพร้อมกับดราฟเตอร์หนึ่งตัวชื่อ LiLiCorr และรูปแบบการดีพลอยแบบเดียว: สิ่งที่มีหน่วยความจำ 24GB และสามารถรันควบคู่ไปกับแอปพลิเคชันอื่นได้

การเปรียบเทียบสเปก แบบเคียงข้างกัน

• พารามิเตอร์ — Bolt: รวม 74B, ใช้งาน 9B. Lightning: รวม 30B, ใช้งาน 3B.

• ความแม่นยำ ณ ตอนจัดส่ง — Bolt: experts แบบ IQ2_XXS ที่ 2.0625 บิตต่อองค์ประกอบ, เลเยอร์ Mamba แบบ NVFP4, embedding และ attention แบบ Q8_0. Lightning: NVFP4 ในทุกส่วนสำหรับ checkpoint ที่นำไป deploy โดยมี release อ้างอิงแบบ BF16 สำหรับการปรับแต่ง

• บริบท — Bolt: 262,144 โทเคน Lightning: หนึ่งล้านโทเคน ซึ่งเป็นผลมาจากเฟสการฝึกฝนเพื่อรองรับบริบทยาวโดยเฉพาะ

• รูปแบบอินพุต — Bolt: รับข้อความ รูปภาพ และวิดีโอ Lightning: รับเฉพาะข้อความเท่านั้น รายการของ Artificial Analysis สำหรับแต่ละโมเดลระบุไว้เช่นนั้นบนแผงเดียวกันด้วยถ้อยคำเดียวกัน ซึ่งทำให้มันเป็นหนึ่งในไม่กี่แถวที่ทั้งสองเปรียบเทียบกันได้โดยตรงโดยไม่มีข้อแม้

• ฮาร์ดแวร์โฮสต์ — Bolt: แล็ปท็อป RTX Spark, พีซี GeForce RTX, DGX Spark, DGX Station, เวิร์กสเตชัน RTX PRO Lightning: DGX Spark หรือ H100 หรือ Blackwell และ Ampere ผ่าน W4A16

• การถอดรหัสแบบคาดการณ์ — Bolt: LiLiCorr ซึ่งเป็นดราฟเตอร์ขนาด 1.13B โดยดราฟต์ได้เจ็ดโทเคนต่อขั้นตอน Lightning: DSpark สำหรับงานคอนเคอร์เรนซีต่ำ โดยมี DFlash และ MTP ที่เผยแพร่แล้วเช่นกัน

• สัญญาอนุญาต — OpenMDW-1.1 สำหรับทั้งสอง และทั้งสองได้รับอนุญาตให้ใช้ในเชิงพาณิชย์

ที่เดียวที่ทั้งคู่ถูกวัดโดยคนอื่น

สองโมเดลนี้มีบางสิ่งที่สมาชิกส่วนใหญ่ในตระกูล N​emotron ไม่มี นั่นคือ การอยู่ในคณะผู้ประเมินอิสระชุดเดียวกันและวัดผลด้วยวิธีเดียวกัน สิ่งนี้ทำให้การเปรียบเทียบสะอาดเป็นพิเศษสำหรับการแข่งขันภายในตระกูล

Artificial Analysis scores N​emotron 3.5 Lightning at 13 on its Intelligence Index, ranking 28th of 141 models, and N​emotron 3.5 Bolt 74B-A9B at 21, ranking fourth of 67 models in its own class. Those classes are not identical — Bolt is a medium open-weights model, Lightning is a small one — so the ranks are not directly comparable, but the index scores are produced by the same methodology on the same evaluations.

ความเร็วคือจุดที่ช่องว่างกลับทิศ และนี่คือข้อเท็จจริงที่เกี่ยวข้องกับการตัดสินใจมากที่สุดเพียงข้อเดียวเกี่ยวกับคู่นี้ คณะกรรมการวัด Lightning ที่ 307 โทเค็นเอาต์พุตต่อวินาที เป็นอันดับหนึ่งจาก 63 โมเดลในมิตินั้น โดยรายงานความเร็วของ Bolt ว่าไม่มีข้อมูล เนื่องจากไม่มี API สาธารณะที่ให้บริการมัน และการวัดความเร็วของคณะกรรมการจำเป็นต้องใช้ API นั้น ตัวเลขปริมาณงานเดียวที่มีอยู่สำหรับ Bolt คือของ N​VIDIA เอง: 83.99 โทเค็นต่อวินาทีบน AIPerf SPEED-Bench-Coding บน Surface Laptop Ultra ที่มีความจำ 128GB โดยมี drafter เชื่อมต่ออยู่

พออ่านสองอย่างนี้รวมกัน เรื่องราวของตระกูลก็เป็นรูปธรรมขึ้น เมื่อดูจากตัวเลขที่เรามี Lightning เร็วกว่า Bolt ราวสามเท่าครึ่ง ในรูปแบบที่คุณเช่าใช้งานได้โดยคิดตามโทเคน ส่วน Bolt ฉลาดกว่าอย่างมีนัยสำคัญบนดัชนีเดียวกัน และรันบนเครื่องที่ไม่มีใครเช่าได้เลย

สามวิธีที่การเลือกนี้จะคลี่คลาย

หากปริมาณงานมีจำนวนมากและเป็นข้อความล้วนLightning ไม่ใช่ทางเลือกแบบประนีประนอม แต่เป็นเครื่องมือที่ดีกว่า คอนเท็กซ์หนึ่งล้านโทเค็นที่ความเร็ว 307 โทเค็นต่อวินาที พร้อมอัตราที่ประกาศไว้ที่หกเซนต์ต่อหนึ่งล้านโทเค็นอินพุตและยี่สิบเซนต์ต่อหนึ่งล้านโทเค็นเอาต์พุตนั้นเป็นสิ่งที่เฉพาะเจาะจงและมีประโยชน์ และ Bolt ไม่สามารถเทียบความเร็วหรือคอนเท็กซ์ได้บนฮาร์ดแวร์ชนิดใดก็ตาม

หากงานที่ต้องทำเป็นงานด้านภาพ ก็ไม่มีอะไรต้องตัดสินใจ Bolt รองรับรูปภาพและวิดีโอ ส่วน Lightning ไม่รองรับ และไม่ว่าจะมี context หรือ throughput มากเพียงใด ก็ไม่อาจทดแทน modality ที่ขาดหายไปได้ แถว WebArena vision ในตารางของ NVIDIA เอง — 50.86 สำหรับ Bolt โดยที่ Lightning ไม่ถูกระบุไว้เลย — คือภาพของสิ่งนั้นเมื่อมันย้ายจากสเปกชีตไปสู่ benchmark

หากเวิร์กโหลดจำเป็นต้องทำงานโดยไม่มีเครือข่าย Bolt เป็นเพียงหนึ่งเดียวในสองตัวนี้ที่ถูกแพ็กเกจมาเพื่อรองรับกรณีดังกล่าว เป้าหมายการติดตั้งใช้งานของ Lightning คือ H100 เครื่องเดียวหรือ DGX Spark พร้อมเช็คพอยต์ NVFP4 ซึ่งถือเป็นเซิร์ฟเวอร์ ส่วนของ Bolt คือไฟล์ขนาด 24GB บนแล็ปท็อปที่เปิดเบราว์เซอร์ใช้งานอยู่ด้วย ความแตกต่างนี้ไม่ใช่เรื่องของขีดความสามารถ แต่เป็นเรื่องของตำแหน่งที่ตั้งของเครื่อง

สิ่งที่ครอบครัวได้รับจากการส่งทั้งสองอย่าง

สิ่งที่น่าสนใจเกี่ยวกับคู่นี้ไม่ใช่ว่าตัวหนึ่งเอาชนะอีกตัวได้ แต่อยู่ที่ NVIDIA สร้างรุ่นราคาถูกก่อน จากนั้นใช้เวลาสี่เดือนสร้างรุ่นราคาแพงเพื่อให้พอดีกับจุดที่รุ่นราคาถูกไปไม่ถึง

Lightning เป็นกลยุทธ์ที่เน้นปริมาณงาน: พารามิเตอร์ที่ใช้งานอยู่จำนวนน้อย, คอนเท็กซ์ขนาดมหึมา, ออกแบบมาเพื่อให้บริการได้หลายรอบบน GPU ตัวเดียว Bolt เป็นกลยุทธ์ที่เน้นความหนาแน่น: จำนวนพารามิเตอร์มหาศาลที่ถูกบีบอัดลงในงบหน่วยความจำที่จำกัด เพื่อให้ผู้ใช้เพียงคนเดียวบนเครื่องเดียวได้รับสิ่งที่ใกล้เคียงกับพฤติกรรมของเอเจนต์ระดับแนวหน้าในเครื่องของตนเอง ทั้งสองปรับแต่งอัตราส่วนที่แตกต่างกัน — โทเค็นต่อวินาทีต่อ GPU เทียบกับความฉลาดต่อกิกะไบต์ต่ออุปกรณ์ — และการที่ Bolt ได้ 21 คะแนนเทียบกับ 13 ของ Lightning ไม่ใช่ความพ่ายแพ้ของ Lightning เพราะ Lightning ไม่สามารถรันบนเครื่องที่ Bolt ถูกสร้างมาเพื่อรองรับในรูปแบบที่ Bolt เป็นอยู่ได้

นอกจากนี้ยังมีจุดข้อมูลสำหรับข้อโต้แย้งเรื่องการบีบอัดเองด้วย ตารางผู้ขายของ Bolt รวม Lightning ไว้เป็นหนึ่งในเส้นฐานของมัน และ Bolt เอาชนะมันในแทบทุกแถวแบบเอเจนต์: 50.98 ต่อ 23.46 บน Terminal-Bench 2.1, 66.75 ต่อ 36.81 บน BrowseComp, 17.01 ต่อ 9.48 บน Tau3 Banking, 28.47 ต่อ 18.26 บน GDPVal-AA-V2 นั่นคือตัวเลขของ N​VIDIA เองที่เปรียบเทียบโมเดลสองตัวของบริษัทเองในตารางเดียวกัน และการตีความอย่างตรงไปตรงมาคือ การบีบอัดโมเดลแม่ขนาด 120B เอาชนะการเทรนโมเดล 30B จากศูนย์ที่ขนาดเป้าหมายเดียวกัน นั่นคือข้ออ้างที่ Star Elastic ถูกคิดค้นขึ้นมาเพื่อสนับสนุนอย่างแม่นยำ

แล้วเรื่องนี้ทำให้ใครก็ตามที่กำลังสร้างเอเจนต์อยู่ตรงไหน

การจับคู่นี้บ่งชี้ถึงรูปแบบมากกว่าจะบ่งชี้ผู้ชนะ Lightning จัดการกับงานส่วนกลางของเอเจนต์ที่เป็นข้อความล้วน ปริมาณสูง และบริบทยาว ซึ่งอัตราทรูพุตและบริบทเป็นข้อจำกัดที่เป็นตัวกำหนด Bolt จัดการกับงานภายในเครื่อง งานที่เกี่ยวกับภาพ และงานที่ทนต่อความหน่วงซึ่งไม่สามารถออกจากเครื่องได้ ไม่มีตัวใดแทนที่อีกตัว และการวางกรอบของ NVIDIA เองต่อตระกูลนี้ — Ultra สำหรับการให้เหตุผลที่ยากที่สุด, Lightning สำหรับอัตราทรูพุต, Bolt สำหรับ Edge — คือการยอมรับว่าเส้นแบ่งนั้นมีอยู่จริง

สิ่งที่ไม่มีโมเดลใดในสองตัวนี้แก้ได้ คือส่วนของสแต็กที่ไม่ได้อยู่ภายในเครื่องและไม่ใช่ของ N​VIDIA. เราไม่ได้โฮสต์เช็กพอยต์ตัวใดจากสองตัวนี้; แค็ตตาล็อกของ OrcaRouter ไม่มีรายการ N​emotron ดังนั้นจึงไม่มี endpoint หรืออัตราให้เสนอสำหรับสองตัวนี้. สิ่งที่เกตเวย์ช่วยเพิ่มให้สแต็กแบบผสมคืออีกด้านหนึ่ง: คีย์เดียวใช้กับโมเดลที่โฮสต์ไว้กว่า 200 โมเดล ราคาตามรายการของผู้ให้บริการจะถูกส่งผ่านโดยไม่มีการบวกเพิ่ม, การสลับสำรองอัตโนมัติ เมื่อผู้ให้บริการมีประสิทธิภาพลดลง และ DSL สำหรับกำหนดเส้นทาง เพื่ออธิบายการยกระดับข้ามโมเดลในรูปแบบการตั้งค่า การเลือกระหว่าง Bolt กับ Lightning เกิดขึ้นบนฮาร์ดแวร์ของคุณและในฮาร์เนสของคุณ สิ่งที่เกิดขึ้นเมื่องานเกินขีดความสามารถของทั้งสอง หรือเมื่อคำขอต้องไปถึงโมเดลที่ทั้งสองไม่สามารถเป็นได้ คือส่วนที่อยู่เบื้องหลัง endpoint

ควรลองอันไหนก่อน

ถ้าคุณมี GPU ที่มีความจุ 24GB และการเชื่อมต่อเครือข่ายที่ไม่เสถียร ไป ๆ มา ๆ Bolt คือดาวน์โหลดที่น่าสนใจกว่า: มันใหม่กว่า เป็นมัลติโมดัล และทำในสิ่งที่รีลีสอื่นในตระกูลเดียวกันทำไม่ได้

หากคุณมี DGX Spark, H100 หรือแอปพลิเคชันที่ความหน่วงคือผลิตภัณฑ์ Lightning ก็พร้อมใช้งานทั่วไปตั้งแต่เดือนสิงหาคม มีการวัดความเร็วโดยอิสระที่จัดให้อยู่ในอันดับหนึ่งของระดับเดียวกัน มีราคาที่ประกาศไว้ และมีเวลาสองเดือนให้ระบบนิเวศค้นหาจุดที่ยังต้องขัดเกลา ส่วน Bolt เพิ่งมีได้หนึ่งวัน ดราฟเตอร์ของมันเป็นสิ่งที่ต้องดาวน์โหลดเป็นรายการที่สาม และยังไม่มีใครนอก N​VIDIA วัดความหน่วงของมันเลย

คำกล่าวทั้งสองเป็นจริงพร้อมกันได้ นั่นคือสิ่งที่ครอบครัวมีไว้เพื่อ

ช่องว่างระหว่างสิ่งที่สกอร์บอร์ดวัดค่าได้กับสิ่งที่การนำไปใช้งานจริงต้องเผชิญ คือเหตุผลที่บันทึกนี้มีความสำคัญคลังเหตุการณ์ AI ของ OrcaRouter ซึ่งเป็นที่รวบรวมความล้มเหลวของ AI และเหตุการณ์ที่เกิดกับเอเจนต์ของโมเดลในระดับนี้ที่ได้รับการบันทึกไว้ โดยแต่ละรายการมีแหล่งอ้างอิงของตัวเอง มีระดับความรุนแรง เกรดความเชื่อมั่น และธงข้อโต้แย้งกำกับไว้