Nemotron 3.5 Bolt 24GB: สิ่งที่ NVIDIA ใส่จริง ๆ ไว้ในไฟล์ขนาด 24GB

ตัวเลขบนพาดหัวไม่ใช่จำนวนพารามิเตอร์ แต่เป็นจำนวนไบต์ เมื่อวันที่ 15 ตุลาคม 2026 NVIDIA ได้เปิดตัว NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB ซึ่งเป็นโมเดลเอเจนต์แบบ Vision-Language ที่มีพารามิเตอร์ 74 พันล้านตัวใช้พื้นที่ 23.75GB ในรูปแบบที่คนส่วนใหญ่จะดาวน์โหลดจริง — GGUF ขนาด 22.02GB บวกไฟล์ vision projector ขนาด 1.73GB ตัวเลขทั้งสองมาจากรายการไฟล์ของ repository ที่เผยแพร่เอง ไม่ใช่จากโพสต์บล็อก และเป็นเหตุผลที่ชื่อลงท้ายด้วยตัวเลข นี่คือสิ่งที่ตัวเลขนั้นให้ สิ่งที่มันซ่อน และสิ่งที่มันไม่ได้รวมไว้

จัดส่งอะไรไปบ้าง และเมื่อใด

ห้องข่าวของ NVIDIA นำเสนอวันที่ 15 ตุลาคมในฐานะการขยายตระกูล มากกว่าการเปิดตัวโมเดลเดียว: Nemotron 3.5 Super VLโมเดลมัลติโมดัลขนาด 1.2 แสนล้านพารามิเตอร์ ที่มีพารามิเตอร์ทำงาน 1.2 หมื่นล้าน เปิดตัวพร้อมกับเช็กพอยต์ Bolt และรุ่นน้องที่เล็กกว่ามากอย่าง Nemotron 3.5 Bolt E4B 4GB มีกำหนดวันที่ 23 ตุลาคม Bolt เข้าร่วมกับ Nemotron 3.5 Lightning (สิงหาคม) และ Nemotron 3 Ultra ในตระกูลที่ตอนนี้ครอบคลุมการให้เหตุผลในศูนย์ข้อมูล การให้บริการที่มีทรูพุตสูง และเอเจนต์ที่ทำงานบนเอดจ์แบบโลคอล

การเปิดตัวครั้งนี้ใหม่จริง ๆ และยังเก่ากว่าการประกาศเล็กน้อยด้วยซ้ำ ที่เก็บ Hugging Face nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GBถูกสร้างขึ้นเมื่อวันที่ 7 ตุลาคม 2026; การ์ดโมเดลที่อยู่ภายในระบุวันเปิดตัวเป็นวันที่ 15 ตุลาคม ซึ่งเป็นวันเดียวกับที่หน้าวิจัยของ NVIDIA เองถูกประทับว่า "Published" แปดวันที่ไฟล์วางอยู่ในสายตาสาธารณชนก่อนจะมีคำอธิบายแม้แต่คำเดียวเป็นรูปแบบปกติสำหรับผู้ขายที่ส่งของภายใต้การประสานงานเรื่องการห้ามเผยแพร่ชั่วคราวกับฮาร์ดแวร์ — แล็ปท็อป RTX Spark ลงวันที่ 16 ตุลาคม ซึ่งเป็นวันถัดจากการประกาศ — และเป็นการดีที่ควรรู้ว่าครึ่งไหนของบันทึกสาธารณะของโมเดลนี้มาจากการตัดสินใจทางการตลาด และครึ่งไหนมาจากการลงรายการไฟล์

พารามิเตอร์ 74 พันล้านตัวใส่ใน 24 กิกะไบต์ได้อย่างไร

กลไกสองอย่าง และมันแยกออกจากกันได้

ประการแรกคือเชิงโครงสร้าง Bolt ไม่ใช่โมเดลขนาดเล็กที่ฝึกจากศูนย์ หากเป็นโมเดลแม่ Super 3.5 VL ที่ถูกบีบอัดด้วยอัลกอริทึมที่ NVIDIA เรียกว่า Star Elastic ซึ่งเป็นการค้นหาสถาปัตยกรรมแบบนำทางด้วยเราเตอร์ที่ต้องเป็นไปตามข้อจำกัดหนึ่งข้อ — ขนาดการปรับใช้ต่ำกว่า 24GB ที่ batch size 1 และบริบท 128K — โดยสูญเสียความแม่นยำในการกลั่นความรู้น้อยที่สุดเท่าที่จะเป็นไปได้ สิ่งที่ได้คือไฮบริดแบบ mixture-of-experts ขนาดรวม 74B / ใช้งานจริง 9B โดยกำหนด top-K ของผู้เชี่ยวชาญไว้ที่ 9 ในขณะที่โมเดลแม่ใช้ 22 คำอธิบายผลลัพธ์ของ NVIDIA เองก็ตรงไปตรงมาและตรวจสอบได้: ภายใต้งบหน่วยความจำคงที่ การบีบอัดโมเดลขนาดใหญ่เอาชนะการฝึกโมเดลขนาดเล็ก

ประการที่สองคือความแม่นยำ และนี่คือจุดที่มีการประหยัดมากที่สุด

• น้ำหนักผู้เชี่ยวชาญ — เลเยอร์ FC1 และ FC2 แบบ routed และ shared ซึ่งถูกควอนไทซ์เป็น IQ2_XXS ที่ 2.0625 บิตต่อองค์ประกอบ คิดเป็นสัดส่วนหลักของโมเดลเมื่อนับตามจำนวนพารามิเตอร์

• เลเยอร์ Mamba — NVFP4 ซึ่งเป็นรูปแบบทศนิยม 4 บิต และใช้เฉพาะกับเลเยอร์ที่ความแม่นยำเพิ่มเติมคุ้มค่ากับไบต์ที่เพิ่มขึ้นเท่านั้น

• Embeddings, output head, attention และน้ำหนัก MoE แฝง — Q8_0

• การกู้คืน — การกลั่นแบบตระหนักถึงการควอนไทเซชัน แทนที่จะเป็นการปัดเศษเป็นค่าที่ใกล้ที่สุดแบบหลังกระบวนการ ซึ่งเป็นความแตกต่างระหว่างโมเดลที่ถูกบีบอัดกับโมเดลที่พังไปแล้ว

อ่านสิ่งเหล่านั้นรวมกัน แล้ว "24GB" ก็ไม่ใช่แค่สรุปทางการตลาดอีกต่อไป แต่กลายเป็นการจัดสรรงบประมาณ เอ็กซ์เพิร์ตแบบ 2-bit นั้นถูกต่อไบต์และมีจำนวนมาก ส่วนเลเยอร์ที่มีความสำคัญต่อเสถียรภาพยังคงใช้ 4 หรือ 8 บิต

ตัวเลข 24GB ที่ตรวจสอบเทียบกับไฟล์

ข้อกล่าวอ้างนี้ผ่านการตรวจสอบ ซึ่งไม่ใช่เรื่องจริงเสมอไป

• เวท GGUF — 22,018,326,528 ไบต์ หรือ 22.02GB แบบทศนิยม ภายในไฟล์เดียว

• วิชันโปรเจกเตอร์ — 1,733,692,736 ไบต์ หรือ 1.73GB ซึ่งจัดส่งแยกต่างหากในชื่อ mmproj และเป็นวิธีที่ llama.cpp รับอินพุตภาพและวิดีโอ

• บิลด์ Safetensors — โมเดลเดียวกันในชาร์ดที่พร้อมใช้กับ vLLM รวมเป็น 24.12GB จาก 90 ไฟล์ ซึ่งเกินตัวเลขที่ระบุไว้เล็กน้อย

• เรฟเฟอเรนซ์ BF16 — 149.8GB กระจายอยู่ใน 63 ชาร์ด เผยแพร่แยกต่างหากสำหรับทุกคนที่ต้องการไฟน์จูนมากกว่าการทำอินเฟอเรนซ์

มีข้อควรระวังตรงไปตรงมาสองข้อซ้อนอยู่บนนั้น ข้อแรก ค่าน้ำหนักไม่ใช่โมเดลที่กำลังรัน สูตร vLLM ที่ NVIDIA เผยแพร่กำหนด KV cache ให้เป็น fp8 และตั้งค่าบริบทที่ให้บริการเป็น 262,144 โทเคน โดยมี max-num-seqs 1 — ซึ่งเป็นลำดับพร้อมกันเพียงหนึ่งลำดับ นั่นคือความแตกต่างระหว่างการใส่ให้พอดีใน 24GB กับการรันได้เร็วใน 24GB และมันเป็นรายละเอียดแบบที่พาดหัวเรื่องขนาดหน่วยความจำไม่เคยบอกไว้ ข้อสอง 24GB เป็นตัวเลขที่การค้นหาสถาปัตยกรรมได้รับมา ไม่ใช่ตัวเลขที่วัดบนเครื่องของคุณ: โอเวอร์เฮดของไดรเวอร์ ระบบปฏิบัติการ และสิ่งอื่นใดก็ตามที่อยู่บนแล็ปท็อป ล้วนอยู่นอกเหนือจากนั้น ซึ่งเป็นเหตุผลที่คำโปรยคือ "รันควบคู่ไปกับแอปของคุณ" ไม่ใช่ "รันแทนแอปเหล่านั้น"

คำกล่าวอ้างเรื่องความเร็ว และเครื่องที่ใช้วัดความเร็วนั้น

NVIDIA ออกแบบให้ทำได้อย่างน้อย 80 โทเคนต่อวินาที และรายงานค่า 83.99 บน AIPerf SPEED-Bench-Coding ตัวเลขนั้นต้องมีบริบทสามอย่างประกอบก่อนที่จะมีความหมายอะไรได้: มันถูกสร้างขึ้นด้วย llama.cpp บน Windows 11 ARM x64 บน Surface Laptop Ultra ที่มีหน่วยความจำ 128GB โดยแนบตัวร่างแบบ speculative ชื่อ LiLiCorr ไว้ และร่างโทเคนเจ็ดตัวต่อหนึ่งสเต็ป ตัวร่างไม่ใช่ของตกแต่งเสริมที่可有可無 — มันคือเช็กพอยต์คู่หูขนาด 1.13B ซึ่งจุดประสงค์ทั้งหมดคือการเพิ่มความยาวที่ยอมรับได้ (acceptance length) (NVIDIA รายงานค่าเฉลี่ย 4.68 ภายใต้การถอดรหัสแบบ greedy และ 4.25 เมื่อใช้การสุ่มตัวอย่างที่ concurrency 64 ใน vLLM) ถ้าถอดตัวร่างออก คุณก็กำลังวัดโมเดลคนละตัวแล้ว

ตัวเลขความเร็วตัวที่สองน่าสนใจกว่า เพราะเป็นเวลาที่ทำจนเสร็จมากกว่าจะเป็นอัตรา: ระยะเวลารีเพลย์ 600.80 วินาทีบน AA-AgentPerf Local เทียบกับ 453.97 สำหรับ Qwen3.6 35B-A3B, 480.68 สำหรับ Gemma 4 26B-A4B และ 1,043.28 สำหรับ Qwen3.8 27B — ทั้งหมดมาจากตารางของ NVIDIA เอง ทั้งหมดบนฮาร์ดแวร์เดียวกัน Bolt ชนะในแถวนั้นด้วยการทำเส้นทางการทำงานของเอเจนต์ชุดเดียวกันให้เสร็จเร็วกว่าโมเดลที่เล็กกว่า และแพ้ในแถวอัตราทรูพุตให้กับอีกสองตัวที่ 83.99 เทียบกับ 96.63 และ 100.56 โทเคนต่อวินาที เร็วกับไวไม่ใช่การวัดค่าเดียวกัน และนี่คือโมเดลที่แลกอย่างหลังเพื่อเอาอย่างแรก

สิ่งที่การวัดที่เป็นอิสระบอกไว้

ตัวเลขหนึ่งในข้อมูลสาธารณะเกี่ยวกับ Bolt ไม่ได้มาจาก NVIDIA: Artificial Analysis Intelligence Index ให้คะแนนไว้ที่ 21 ซึ่งทำให้อยู่อันดับที่สี่จาก 67 โมเดลในระดับเดียวกัน คณะผู้จัดทำนั้นยังรายงานว่าไม่มีความเร็วและไม่มีค่าใช้จ่ายสำหรับโมเดลนี้ เนื่องจากไม่มี API สาธารณะให้เรียกใช้ — และระบุรูปแบบอินพุตของโมเดลเป็นข้อความและรูปภาพ ไม่ใช่วิดีโอ ซึ่งเป็นการตีความที่แคบกว่าของผู้ขาย

หน้าเดียวกันระบุว่าโมเดลสร้างโทเคน 230M ขณะถูกประเมิน ซึ่งมันระบุว่าละเอียดเกินไปมากเมื่อเทียบกับค่ามัธยฐานที่ 100M การให้เหตุผลที่สร้างโทเคนมากขึ้นในงานเดียวกันไม่ได้แย่กว่าโดยอัตโนมัติ แต่มันมีต้นทุนบางอย่างบนอุปกรณ์ท้องถิ่นที่ทุกโทเคนถูกสร้างโดยพัดลม

ทุกสิ่งอื่นที่เผยแพร่ในวงกว้างล้วนเป็นข้อมูลที่ผู้ขายรายงานเอง ตารางสิบสามเกณฑ์มาตรฐานของ NVIDIA เอง ซึ่ง Bolt นำในคลาสหน่วยความจำของตนบน PinchBench และอยู่ในอันดับสองบน WebArena และ BrowseComp นั้นเปรียบเทียบกับโมเดลที่ถูกเลือกมาส่วนหนึ่งเพื่อให้พอดีใน 24GB ที่ 4-bit — กลุ่มเทียบเคียงที่ถูกกำหนดด้วยข้อจำกัดที่ Bolt ถูกออกแบบมาให้ตอบสนอง มันไม่ได้เป็นการหลอกลวง แต่ก็ไม่ใช่การจัดอันดับโมเดลเอเจนต์โดยทั่วไปเช่นกัน และช่องเดียวที่ให้ผลตรงกันข้ามก็ให้ข้อคิดสำคัญ: ด้วยคะแนน 16.90 ด้านความแม่นยำ AA-Omniscience นั้น Bolt ตามหลัง Gemma 4 26B-A4B ที่ 22.17 ในตารางเดียวกัน

อะไรที่ไม่อยู่ในกล่อง

ไม่มีเอนด์พอยต์ ไม่มีอัตราคิดตามปริมาณ ไม่มีผู้ให้บริการที่เสิร์ฟมัน ไม่มีวิธีประเมินมันบนทราฟฟิกของคุณเองโดยไม่ทำให้การติดตั้งเสร็จสมบูรณ์ สิ่งที่มีแทนคือการรองรับรันไทม์ที่มาพร้อมตอนเปิดตัวแทนที่จะมาอีกหลายเดือนให้หลัง: llama.cpp และเช็กพอยต์ GGUF, Ollama, LM Studio, Unsloth สำหรับการปรับแต่งละเอียด และ vLLM สำหรับเช็กพอยต์แบบควอนไทซ์บน DGX Spark และเช็กพอยต์ BF16 ที่อื่น บล็อกของ NVIDIA เองระบุชื่อทั้งห้านี้ และความกว้างขวางคือผลิตภัณฑ์จริงตรงนี้ — ไฟล์ขนาด 24GB จะมีประโยชน์ก็ต่อเมื่อสิ่งที่โหลดมันมีอยู่แล้วบนเครื่องของคุณ

ขอบเขตฮาร์ดแวร์กว้างกว่าที่เรื่องราวในวันเปิดตัวเกี่ยวกับแล็ปท็อป RTX Spark ชี้ให้เห็น: GeForce RTX PCs, DGX Spark, DGX Station และเวิร์กสเตชัน RTX PRO ต่างก็ถูกระบุชื่อไว้ และการ์ดโมเดลระบุ Ampere, Hopper และ Blackwell สำหรับเส้นทาง vLLM

สัญญาอนุญาตนี้คือ OpenMDW-1.1 ซึ่งเปิดกว้างพอที่จะต่อยอดได้ และยังไม่เป็นที่คุ้นเคยพอจนการทบทวนทางกฎหมายกลายเป็นขั้นตอนจริง ไม่ใช่แค่พิธีการ — เป็นสิ่งที่ควรรู้ไว้ก่อนที่การตัดสินใจด้านสถาปัตยกรรมจะต้องขึ้นอยู่กับมัน

การคัดลอกวางพลาดในบล็อกทางเทคนิคของ NVIDIA เอง ทำให้รายการเช็กพอยต์ไปอยู่ใต้หัวข้อ "Nemotron 3.5 Super VL 74B-A9B 24GB" แทนที่จะเป็น Bolt นี่เป็นการพิมพ์ผิดในการเร่งส่ง ไม่ใช่การแตกแขนงของตระกูล แต่เป็นเครื่องเตือนใจที่มีประโยชน์ว่าหน้าเวนเดอร์ที่เขียนในวันประกาศนั้นเป็นฉบับร่างที่ประทับวันที่เผยแพร่ไว้

สำหรับทีมที่เรียกใช้โมเดลที่ตนเองไม่ได้เป็นเจ้าของด้วย

ครึ่งที่รันในเครื่องของสแตกเอเจนต์กับครึ่งที่โฮสต์ไว้มักเป็นโปรเจกต์เดียวกัน และ Bolt จัดการเพียงด้านเดียวเท่านั้น OrcaRouter ไม่ได้โฮสต์ Nemotron checkpoint ใด ๆ — เรื่องนี้ตรวจสอบกับแค็ตตาล็อกของเราเอง ไม่ใช่สันนิษฐานเอา — ดังนั้นสิ่งที่พูดในนี้จึงไม่ใช่การเชียร์โมเดลที่เราให้บริการ สิ่งที่เราทำคืออีกด้านหนึ่งของการติดตั้งแบบผสม: คีย์เดียวใช้ได้กับโมเดลกว่า 200 ตัวในราคาตามที่ผู้ให้บริการกำหนด โดยไม่มีการบวกเพิ่ม, การสลับไปใช้ผู้ให้บริการรายอื่นโดยอัตโนมัติ เมื่อผู้ให้บริการสะดุดกลางคำขอ และDSL สำหรับการจัดเส้นทาง สำหรับอธิบายเชนการสำรองเป็นการตั้งค่าแทนที่จะเป็นโค้ดแอปพลิเคชัน ถ้า Bolt รันครึ่งที่อยู่ในเครื่อง นั่นคือครึ่งที่ไม่เคยปรากฏในบิล คำถามเรื่องการจัดเส้นทางก็คือสิ่งที่เกิดขึ้นกับส่วนที่เหลือ

ดูอะไรดี

สามสิ่งที่จะชี้ขาดชื่อเสียงของโมเดลนี้ และไม่มีสักสิ่งหนึ่งในนั้นอยู่ในประกาศ

ข้อแรกคือความหน่วงที่เป็นอิสระบนฮาร์ดแวร์จริง 83.99 โทเค็นต่อวินาทีของ NVIDIA เป็นการทดสอบมาตรฐานแบบควบคุมที่มี speculative drafter แนบมาด้วย ในที่สุดก็จะมีใครสักคนเผยแพร่ว่ามันทำงานอย่างไรบนแล็ปท็อปที่รันเบราว์เซอร์และเอดิเตอร์พร้อมกัน และตัวเลขนั้นจะสำคัญกว่าตัวเลขนี้ ข้อที่สองคือตัวแปร E4B ในวันที่ 23 ตุลาคม ซึ่งทดสอบว่าสูตรการบีบอัดสามารถขยายลงได้หรือทำงานได้เพียงขนาดเดียว ข้อที่สามคือการที่ใครก็ตามนอก NVIDIA จะทำการฝึกหลัง (post-train) เช็คพอยต์ BF16 หรือไม่ — เพราะอาร์ติแฟกต์การปรับใช้ขนาด 24GB ที่มีสัญญาอนุญาตเปิดและอาร์ติแฟกต์การปรับแต่งขนาด 150GB ที่อยู่ข้างๆ เป็นการเปิดตัวสองแนวทางที่ตั้งใจไว้ และแนวทางที่สองคือสิ่งที่จะตัดสินว่าสิ่งนี้จะกลายเป็นแพลตฟอร์มหรือเช็คพอยต์

สำหรับตอนนี้ ข้อเท็จจริงนี้ยืนได้ด้วยตัวเอง เอเจนต์แบบมัลติโมดัลขนาด 74 พันล้านพารามิเตอร์สามารถอยู่ในหน่วยความจำของแล็ปท็อปที่ราคาถูกกว่าสถานีงาน ทำงานที่ประมาณ 84 โทเคนต่อวินาทีเมื่อมีดราฟเตอร์ต่ออยู่ ทำคะแนนได้ 21 บนดัชนีอิสระเพียงตัวเดียวที่วัดมัน และไม่มีใครสามารถเรียกใช้มันผ่าน API ได้ นั่นคือชุดค่าผสมที่เฉพาะเจาะจงและไม่ธรรมดา และคุ้มค่าที่จะระบุให้ชัดเจนว่าคุณต้องการครึ่งไหนของมัน

ไม่มีสิ่งใดในนั้นที่เป็นเพียงข้อสันนิษฐาน: ความล้มเหลวของ AI และเหตุการณ์ที่เกี่ยวข้องกับเอเจนต์ซึ่งได้รับการบันทึกไว้ ที่อยู่เบื้องหลังการเปิดตัวแบบนี้ ถูกรวบรวมไว้ใน the OrcaRouter AI Incident Archive โดยแต่ละรายการมีแหล่งที่มา ระดับความรุนแรง ระดับความเชื่อมั่น และสถานะข้อโต้แย้งของตนเอง