Nemotron 3.5 Bolt กับ Nemotron 3 Ultra: อะไรที่รอดจากการบีบอัด 7.4 เท่า

โมเดลสองตัวจากผู้จำหน่ายรายเดียวกัน มีจำนวนพารามิเตอร์แตกต่างกัน 7.4 เท่า และมีฮาร์ดแวร์ที่ต้องใช้ในการรันแตกต่างกันราวสองอันดับของขนาด NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GBเปิดตัวเมื่อวันที่ 15 ตุลาคม 2026 เป็นไฟล์ขนาด 24GB ที่ทำงานควบคู่ไปกับแอปพลิเคชันอื่นของคุณบนอุปกรณ์ Spark หรือ GPU Blackwell NVIDIA Nemotron 3 Ultra 550B-A55Bอยู่บน Hugging Face ตั้งแต่วันที่ 3 มิถุนายน 2026 และต้องการ H100 จำนวนสิบหกตัวเป็นอย่างน้อยใน BF16

คำถามที่น่าสนใจไม่ใช่ว่าอันไหนแข็งแกร่งกว่า — คำตอบชัดเจนและไม่ใกล้เคียงกันเลย แต่คือสิ่งที่อยู่รอดโดยเฉพาะเจาะจงเมื่อคุณบีบอัดโมเดลขนาดใหญ่ให้อยู่ในขอบเขตหน่วยความจำขนาดเล็ก เพราะสิ่งนั้นบอกคุณว่าเวิร์กโหลดแบบใดที่โมเดลเล็กจะรองรับได้ และแบบใดที่จะทำให้มันเสียหน้า บันทึกวิจัยของ NVIDIA เองตอบคำถามนั้นไปส่วนหนึ่งโดยตรง และส่วนที่มันไม่ได้ตอบเอาไว้คือจุดที่การตัดสินใจที่แท้จริงอยู่

พวกเขาไม่ใช่พ่อแม่และลูก ไม่ว่าชื่อจะสื่อเป็นนัยเช่นไร

ข้อสันนิษฐานที่เห็นได้ชัดคือ Bolt เป็น Ultra ที่ถูกย่อขนาดลง แต่ไม่ใช่ และการเข้าใจจุดนี้ให้ถูกต้องจะเปลี่ยนสิ่งที่คุณคาดหวังจากไฟล์นี้ Nemotron 3.5 Lightning ซึ่งเป็นรุ่นระดับ 30B-A3B จากวันที่ 11 สิงหาคม 2026 นั้นกลั่นมาจาก Ultra แต่ Bolt ไม่ใช่ Bolt ถูกบีบอัดมาจาก Nemotron 3.5 Super VL ซึ่งเป็นโมเดล vision-language ขนาด 120B-A12B โดยใช้การค้นหาแบบนำทางด้วย router ที่ NVIDIA เรียกว่า Star Elastic ตามด้วยการกลั่นแบบ quantization-aware ลงมาจนเหลือ 2.0625 บิตต่อน้ำหนัก expert หนึ่งตัวในรูปแบบ IQ2_XXS

ที่มาสายนี้ explains? แปล: "ที่มาสายนี้ช่วยอธิบายความแตกต่างเพียงหนึ่งเดียวที่สำคัญยิ่งกว่าแถวผลทดสอบใด ๆ: Bolt มี vision encoder แบบ C-RADIO v4-H และรับภาพกับวิดีโอได้ ส่วน Ultra เป็นข้อความเข้า ข้อความออก และนี่ไม่ใช่ช่องว่างในการรายงาน — checkpoint ไม่มี vision tower ให้ประเมิน โมเดลที่เล็กกว่า ใหม่กว่า และถูกควอนไทซ์อย่างหนักมองเห็นได้ ส่วนโมเดลที่ให้เหตุผลใหญ่ที่สุดในตระกูลกลับมองไม่เห็น" But ensure no English leftover "explains" accidental. Need final only Thai. Let's craft polished. "เชื้อสายนี้" maybe "ที่มาสายนี้". "หนึ่งความต่าง". "benchmark row" = "แถวเกณฑ์มาตรฐาน". "reporting gap" = "ช่องโหว่ของการรายงาน" maybe. "the checkpoint has no vision tower to score" = " checkpoint นั้นไม่มี vision tower ให้คิดคะแนน". "score" could "ให้วัดผล". "vision tower" preserve. Checkpoint maybe "เช็กพอยต์" but technical. Use "เช็กพอยต์". "heavily quantised" = "ถูกควอนไทซ์อย่างหนัก". "the largest reasoning model in the family does not" = "โมเดลให้เหตุผลที่ใหญ่ที่สุดในตระกูลกลับทำไม่ได้" but context sees; "กลับมองไม่เห็น" works. Need output ONLY translated text. No quotes.ที่มาสายนี้ช่วยอธิบายความแตกต่างเพียงหนึ่งเดียวที่สำคัญยิ่งกว่าแถวผลทดสอบใด ๆ: Bolt มี vision encoder แบบ C-RADIO v4-H และรับภาพกับวิดีโอได้ ส่วน Ultra เป็นข้อความเข้า ข้อความออก และนี่ไม่ใช่ช่องว่างในการรายงาน — เช็กพอยต์นั้นไม่มี vision tower ให้ประเมิน โมเดลที่เล็กกว่า ใหม่กว่า และถูกควอนไทซ์อย่างหนักกลับมองเห็นได้ ส่วนโมเดลให้เหตุผลที่ใหญ่ที่สุดในตระกูลกลับมองไม่เห็น

สิ่งที่การบีบอัดเก็บไว้

Bolt มีพารามิเตอร์ 74 พันล้าน โดยมี 9 พันล้านที่แอ็กทีฟต่อโทเคน บนแบ็กโบนไฮบริดของ Mamba-2 และ Transformer ส่วน Ultra มี 550 พันล้าน โดยมี 55 พันล้านที่แอ็กทีฟ อัตราส่วนพารามิเตอร์ที่แอ็กทีฟคือ 6.1 ต่อ 1 และอัตราส่วนพารามิเตอร์ทั้งหมดคือ 7.4 ต่อ 1 ซึ่งหมายความว่าการบีบอัดตัดความจุรวมออกในสัดส่วนที่มากกว่าคอมพิวต์ต่อโทเคน — โมเดลแคบลงเร็วกว่าที่มันตื้นลง

สิ่งที่มันก่อให้เกิดขึ้น จากหลักฐานที่มีอยู่:

• ความฉลาดที่เป็นอิสระ — Artificial Analysis ให้คะแนน Nemotron 3.5 Bolt ที่ 21 บน Intelligence Index ของตน เป็นอันดับสี่จาก 67 ในคลาสที่กรองตามขนาดการใช้งาน เทียบกับค่ามัธยฐานของคลาสที่ 8 Ultra ไม่ได้อยู่ในคลาสเดียวกันและได้คะแนนสูงกว่ามากในเวอร์ชันดัชนีเดียวกัน นี่คือต้นทุนที่วัดได้ของการบีบอัด

• ความเร็วที่เป็นอิสระ — Artificial Analysis วัดค่า Ultra ได้ 156.1 โทเค็นเอาต์พุตต่อวินาที เป็นอันดับที่สิบจาก 74 โมเดลในหน้านั้น และอยู่ในกลุ่มความเร็วสูงสุดของตน สำหรับ Bolt ฟิลด์เดียวกันแสดงเป็น N/A เนื่องจากไม่มี hosted endpoint ให้เรียกใช้ ตัวเลขของ NVIDIA เอง — 84 โทเค็นต่อวินาทีบน AIPerf SPEED-Bench บน RTX Spark, 83.99 ใน llama.cpp บน Surface Laptop Ultra — เป็นตัวเลขที่ผู้ขายรายงานเองและยังไม่มีการทำซ้ำ

• การทำตามคำสั่ง — Ultra ทำคะแนนได้ 82.9 บน IFBench นี่คือแถวที่ต้องจับตาในเอเจนต์ที่ต้องปฏิบัติตามนโยบายเครื่องมือที่ยาว และเป็นความสามารถประเภทที่การกลั่นแบบตระหนักถึงการควอนไทซ์ (quantization-aware distillation) รักษาไว้ได้อย่างไม่สม่ำเสมอ

• การให้เหตุผลแบบบริบทยาว — Ultra ทำคะแนน 75.2 บน AA-LCR เทียบกับสเปกที่รองรับ 1M โทเคน หน้าต่างที่ประกาศไว้ของ Bolt คือ 262,144 โทเคน โดยแชร์ 24GB ร่วมกับ KV cache รูปภาพ และบทสนทนา การประกาศหน้าต่างที่กว้างกับการใช้มันได้จริงเป็นคนละคุณสมบัติกัน ในกรณีนี้โมเดลที่ใหญ่กว่ามีมากกว่าทั้งสองอย่าง

• ความยับยั้งชั่งใจด้านข้อเท็จจริง — Ultra ทำได้ 22.1 ในเกณฑ์การหลอนของ AA-Omniscience พร้อม 77.91 ในเกณฑ์ไม่หลอน การ์ดของ Bolt เองบันทึกไว้ที่ 61.27 ในเกณฑ์ไม่หลอน ซึ่งเป็นแถวเดียวที่มันแพ้ให้กับ Nemotron 3.5 Lightning ที่เล็กกว่ามาก สัญญาณอิสระสองสัญญาณที่ชี้ไปในทางเดียวกัน: นี่คือจุดที่การบีบอัด 2-bit แบบก้าวร้าวมีต้นทุนสูงที่สุด และไม่มีกลเม็ดการจัดเส้นทางใดจะซ่อมแซมโมเดลที่แต่งเรื่องขึ้นมามากกว่าได้

ขอบเขตการปรับใช้ ซึ่งเป็นจุดที่ทั้งสองแยกจากกันจริง ๆ

นี่คือส่วนของการเปรียบเทียบที่ไม่อาจลดทอนให้เหลือเป็นคะแนนได้

• หน่วยความจำ — Bolt เป็นอาร์ติแฟกต์ขนาด 24GB ชิ้นเดียว ควอนไทซ์แล้ว มีไว้เพื่ออยู่ร่วมกับเบราว์เซอร์และ IDE บนเครื่องเดียว Ultra ใน BF16 ต้องการ H100 สิบหกตัว, H200 แปดตัว หรือโหนดระดับ GB200 แปดโหนด ตามโมเดลการ์ดของตัวเอง; บิลด์ NVFP4 ลดสิ่งนั้นเหลือ H100 แปดตัวที่ระดับต่ำสุด ความแตกต่างระหว่างสองประโยคนั้นคือความแตกต่างระหว่างใบสั่งซื้อกับโครงการจัดซื้อ

• การตั้งค่าคอนเท็กซ์ — Bolt ให้บริการ 262,144 โทเคนโดยตรงในสูตร vLLM ที่เผยแพร่ของตน สูตรของ Ultra มีค่าเริ่มต้นที่ 256K และต้องใช้แฟล็กสภาพแวดล้อมเพื่อให้ถึง 1,048,576 แบบเต็ม ซึ่งเป็นเหตุผลที่แผงบันทึก 262K สำหรับ Ultra แม้ข้อกำหนดจะเป็น 1M อ่านข้อกำหนด แล้วอ่านสูตร

• สแต็กการให้บริการ — Bolt ทำงานภายใต้ vLLM บน Ampere, Hopper และ Blackwell หรือภายใต้ llama.cpp บนฮาร์ดแวร์ RTX Spark และ DGX Spark ภายใต้สัญญาอนุญาต OpenMDW-1.1 ที่อนุญาตให้ใช้เชิงพาณิชย์ได้ Ultra ทำงานภายใต้สัญญาอนุญาตเดียวกันบนการประมวลผลแบบขนานระดับศูนย์ข้อมูล ทั้งคู่เป็นโมเดลแบบเปิดน้ำหนัก มีเพียงตัวเดียวเท่านั้นที่พกพาได้

• ค่าใช้จ่ายของพรอมป์ต์ — Ultra คิดค่าบริการตามการใช้งานที่ $0.60 ต่อล้านโทเค็นอินพุต และ $2.50 ต่อล้านโทเค็นเอาต์พุต พร้อมส่วนลดแคช 73% ซึ่งคิดออกมาแล้วประมาณ $0.60 สำหรับการรันงาน Intelligence Index หนึ่งงาน — ถือว่าถูกมากสำหรับโมเดลขนาดนั้น และใช้งานได้เพราะมีคนอื่นดูแลคลัสเตอร์ให้ ส่วน Bolt ไม่มีราคาเลย: ไม่มีโฮสต์เอนด์พอยต์ ไม่มี API จากผู้ขาย ไม่มีตารางราคา และเป็น N/A ทั้งในช่องความเร็วและค่าใช้จ่ายของแผงข้อมูลอิสระเพียงแห่งเดียวที่ระบุชื่อมันไว้

อ่านประกาศเพื่อดูว่ามันพูดอะไรและไม่พูดอะไร

เช็กพอยต์ของ Bolt อยู่บน Hugging Face ตั้งแต่วันที่ 7 ตุลาคม 2026 โดยมีเพียงการ์ดโมเดลแนบมาด้วยเท่านั้น ประกาศของผู้ขายที่ระบุชื่อมัน — พร้อมกับโมเดลพี่น้องขนาด 4GB อย่าง Nemotron 3.5 Bolt E4B ซึ่งมุ่งเป้าไปที่ตัวละครในเกมและมีกำหนดวันที่ 23 ตุลาคม — เปิดตัวเมื่อวันที่ 15 ตุลาคม การปล่อยเวตก่อนข้อความประกาศแปดวันไม่ใช่เรื่องแปลก แต่มันหมายความว่าบันทึกสาธารณะหนึ่งสัปดาห์ไม่มีคำอธิบายใด ๆ เกี่ยวกับโมเดลเลย และรายงานใด ๆ ที่เขียนในช่วงเวลานั้นอ้างอิงจากการ์ดเพียงอย่างเดียว

ประกาศนี้ยังเป็นจุดที่ควรดูว่าอะไรขาดหายไปเช่นกัน ไม่มีเอนด์พอยต์ที่โฮสต์ไว้ ไม่มี API ไม่มีเรตการ์ด ไม่มีแพลตฟอร์มของบุคคลที่สามใดคอยวัดการใช้งาน Bolt — และไม่มีใครรันเบนช์มาร์กอิสระบนเวตขนาด 24GB เลย ตัวเลขของผู้ขายเป็นของจริงและเจาะจง วัดด้วย llama.cpp บน Surface Laptop Ultra ที่มี 128GB; เพียงแต่ยังไม่เคยถูกทำซ้ำนอก NVIDIA

โมเดลแต่ละตัวอยู่ตรงไหน และเราเตอร์อยู่ตรงไหน

ทั้งสองโมเดลนี้ไม่ได้อยู่ในแคตตาล็อกของ OrcaRouter เราไม่ได้โฮสต์เช็กพอยต์ใด ๆ ของ NVIDIA ไม่มีเอนด์พอยต์ Bolt และไม่มีเอนด์พอยต์ Ultra และไม่มีสิ่งใดในนี้ที่เป็นข้อเสนอให้บริการโมเดลใดโมเดลหนึ่งในสองนี้ สิ่งที่เอนด์พอยต์เดียวให้ได้จริง หากคุณรันโมเดลหนึ่งหรือทั้งสองด้วยตัวเอง คือวิธีทำให้ครึ่งที่อยู่ในเครื่องและครึ่งที่โฮสต์ไว้ของเวิร์กโฟลว์อยู่ภายใต้คีย์เดียว — โมเดลกว่า 200 รายการในแคตตาล็อกของเราอยู่เบื้องหลังคีย์ API เดียวและบิลเดียว ในราคาตามที่ผู้ให้บริการแต่ละรายประกาศไว้ บวกมาร์กอัป 0% ดังนั้นเมื่อผู้ขายเปลี่ยนราคา ฝั่งเราจะอัปเดตทันทีในวันเดียวกัน ไม่ต้องรอถึงรอบต่ออายุถัดไป คำขอที่ต้องใช้หน้าต่างบริบทเต็มหนึ่งล้านโทเคนหรือตัวให้เหตุผลระดับฟรอนต์เอนด์จะถูกส่งออกไปยังโมเดลที่โฮสต์ไว้ ส่วนไฟล์ในเครื่องจะรับงานปริมาณมากที่อ่อนไหวต่อความเป็นส่วนตัวซึ่งไม่ควรออกจากอาคารตั้งแต่แรก การสลับไปใช้ระบบสำรองอัตโนมัติหมายความว่าต้นทางที่เสื่อมประสิทธิภาพจะย้ายคำขอไปแทนที่จะทำให้ล้มเหลว.

การจัดวางตำแหน่งเป็นผลจากคณิตศาสตร์ของการติดตั้งใช้งาน มากกว่าคะแนนที่ได้ Bolt เหมาะกับเวิร์กสเตชันเมื่อข้อมูลไม่สามารถเคลื่อนย้ายได้ เมื่อภาระงานมีวิดีโอเป็นองค์ประกอบ หรือเมื่อปริมาณงานทำให้การคิดค่าบริการต่อโทเคนกลายเป็นรายการค่าใช้จ่ายหลัก — และเมื่อหน้าต่าง 262K กับช่องว่างด้านการยับยั้งข้อเท็จจริงที่มองเห็นได้อยู่แล้วนั้นเป็นสิ่งที่ยอมรับได้ Ultra เหมาะกับปลายทางแบบคิดค่าบริการตามปริมาณ เมื่องานต้องใช้การเข้าถึงระดับหนึ่งล้านโทเคน การทำตามคำสั่งที่ดีที่สุดในตระกูลนี้ และอัตราการสร้างข้อมูลเท็จต่ำที่สุดที่ NVIDIA เผยแพร่ในปัจจุบัน

ใครควรลงมือ และใครควรรอ

ลงมือเลยตอนนี้ ถ้าภาระงานของคุณทำงานบนเครื่องโลคอลและต้องรองรับวิดีโอ: Bolt เป็นโมเดลเดียวในตระกูลนี้ที่ทั้งพอดีกับ 24GB และสามารถมองเห็นได้ และไม่มีเช็กพอยต์โอเพนซอร์สอื่นใดที่ขนาดเท่านี้ทำคะแนนได้ 21 บนดัชนีอิสระ ลงมือเลยตอนนี้ ถ้าภาระงานของคุณคือการให้เหตุผลกับข้อความบริบทยาวในปริมาณมาก: Ultra คิดค่าบริการตามการใช้งานจริง ผ่านการวัดผลจริง และมีต้นทุนต่อหนึ่งงานใน Intelligence Index ที่ถูกกว่าโมเดลขนาดเดียวกันอย่างไม่น่าเป็นไปได้

เดี๋ยวก่อน ถ้าการตัดสินใจของคุณขึ้นอยู่กับทรูพุต ความเร็วของ Bolt คือมิติเดียวที่ไม่มีใครวัดอย่างเป็นอิสระที่ไหนเลย และสำหรับโมเดลที่ติดตั้งในเครื่อง ความเร็วคือสิ่งที่คุณรู้สึกได้ทุกวินาทีของทุกวัน การทดสอบความหน่วงโดยบุคคลที่สามเพียงครั้งเดียวบนเวต 24GB จะให้คำตอบได้มากกว่าตารางผล benchmark จากผู้ขายอีกสิบแถวถัดไป — และจนกว่าจะมีการทดสอบนั้น การวางแผนความจุสำหรับ Bolt ก็คือการวางแผนโดยอิงกับคำกล่าวอ้าง