Nemotron 3.5 Bolt 24GB กับ Nemotron 3.5 Bolt 74B: หนึ่งโมเดล สองอาร์ติแฟกต์

This is a comparison between a model and itself. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB and N​VIDIA N​emotron 3.5 Bolt 74B-A9B BF16 are the same architecture at the same parameter count, produced in the same week, from the same parent — and N​VIDIA's own documentation says plainly that one is for running and the other is for changing. Treating them as rivals is a category error; treating them as interchangeable is an expensive one. Here is the difference, measured in bytes and in benchmark points.

อาร์ติแฟกต์ทั้งสองคืออะไรกันแน่

The names describe the pipeline, not two designs. N​VIDIA took N​emotron 3.5 Super VL 120B-A12B, ran a router-guided architecture search called Star Elastic against a memory budget, and produced a 74-billion-parameter model with 9 billion active parameters. That result exists in two published forms: the BF16 weights as they came out of post-training, and the same weights with the expert layers quantised to 2.0625 bits per element and repaired with quantisation-aware distillation.

ทั้งสองระบุวันที่ 15 ตุลาคม 2026 ไว้บนการ์ดโมเดลของตนเอง ทั้งคู่ใช้สัญญาอนุญาต OpenMDW-1.1 เดียวกัน หน้าต่างบริบท 256,000 โทเคนเท่ากัน โครงหลังแบบ Mamba-2 hybrid LatentMoE เดียวกัน และตัวเข้ารหัสภาพ C-RADIO v4-H ตัวเดียวกัน เมทาดาทาของรีโพซิทอรีแสดงความสัมพันธ์นี้อย่างชัดเจนในฟิลด์เดียว: การ์ดของเช็กพอยต์ขนาด 24GB ระบุbase_model_relation: quantized เทียบกับเวอร์ชัน BF16

สิ่งที่แตกต่างกันคือจุดประสงค์การใช้งานของแต่ละการ์ด การ์ด 24GB ระบุกรณีการใช้งานว่าเป็นฮาร์เนสเอเจนต์ภายในเครื่อง — การเรียกใช้เครื่องมือ การท่องเว็บ งานเทอร์มินัล — และการปรับใช้เป็น vLLM บน Ampere, Hopper หรือ Blackwell การ์ด BF16 ระบุกรณีการใช้งานว่าเป็น post-training ด้วย NeMo RL และ NeMo Gym, การปรับโดเมน, การกลั่น, และการสร้างเวอร์ชันควอนไทซ์ของคุณเอง และเตือนในย่อหน้าเดียวกันว่าสำหรับการอนุมานที่ปรับให้เหมาะกับความหน่วงและปริมาณงาน คุณควรใช้เวอร์ชัน 24GB แทน ผู้ขายที่บอกคุณว่าอย่ารันเช็กพอยต์ที่คุณเพิ่งดาวน์โหลดมา เป็นสิ่งที่ควรอ่านตามตัวอักษร

ความแตกต่างของขนาด ซึ่งอ่านได้จากรายการไฟล์

• BF16 — รวม 149.8GB กระจายใน safetensors 63 shard โดย shard ใหญ่สุดคือ 3.71GB และมี vision tower ขนาด 228MB อีกด้วย

• 24GB safetensors — 24.12GB แบ่งเป็น 90 ชาร์ดในบิลด์ที่พร้อมใช้กับ vLLM ซึ่งสูงกว่าตัวเลขในชื่อโมเดลเล็กน้อย

• 24GB GGUF — 22.02GB ในไฟล์เดียว พร้อม vision projector แยกต่างหากอีก 1.73GB รวมทั้งหมด 23.75GB

• อัตราส่วน — ประมาณหกต่อหนึ่งในหน่วยไบต์ จากเอ็กซ์เพิร์ต 16-bit ไปเป็นเอ็กซ์เพิร์ต 2-bit บวกกับการจัดการแบบ mixed-precision กับทุกอย่างที่เหลือ

การมี 63 ชาร์ดเทียบกับ 90 ชาร์ดก็เป็นความแตกต่างเชิงโครงสร้างเช่นกัน ไม่ใช่แค่ความแตกต่างเชิงขนาด รีลีส BF16 ถูกสร้างมาเพื่อให้เฟรมเวิร์กการเทรนโหลดได้บนเลย์เอาต์แบบขนานแบบใดก็ตามที่คุณมี ส่วนรีลีส 24GB ถูกสร้างมาเพื่อให้โหลดโดย GPU หนึ่งตัว หรือโดย llama.cpp บนเครื่องเดียว และจำนวนชาร์ดสะท้อนถึงงานที่แตกต่างกัน

สามกิกะไบต์จากส่วนต่าง 24GB นั้นคุ้มค่าที่จะทำความเข้าใจก่อนที่คุณจะวางแผนพื้นที่จัดเก็บ ตัวฉายภาพ (vision projector) เป็นไฟล์แยกต่างหากในบิลด์ GGUF เพราะนั่นคือวิธีที่ llama.cpp จัดการอินพุตแบบหลายรูปแบบ และใครก็ตามที่ดาวน์โหลดเฉพาะเวทแล้วสงสัยว่าทำไมภาพถึงใช้ไม่ได้ ก็ได้ข้ามมันไปแล้ว ในบิลด์ safetensors หอคอยภาพ (vision tower) อยู่ภายในแชร์ด และยอดรวมก็ข้ามเส้น 24GB ไป

What the quantisation cost, on N​VIDIA's own numbers

การ์ด BF16 เผยแพร่ทั้งสองคอลัมน์เคียงข้างกัน ซึ่งถือว่าเปิดเผยอย่างตรงไปตรงมาอย่างผิดปกติ: ตาราง benchmark ตารางเดียวกันมีทั้งตัวเลข IQ2 24GB และตัวเลข BF16 สำหรับการประเมินสิบสามรายการชุดเดียวกัน ข้อมูลที่ผู้ขายรายงาน ยังไม่ได้ทำซ้ำ และยังคงเป็นหลักฐานที่ตรงที่สุดเท่าที่มีเกี่ยวกับว่าสองบิตต่อ expert มีต้นทุนเท่าใด

• Terminal-Bench 2.1 — 50.98 ที่ IQ2 เทียบกับ 53.93 ที่ BF16 ซึ่งลดลง 2.95 คะแนน

• BrowseComp — 66.75 เทียบกับ 70.00 ลดลง 3.25

• GPQA Diamond — 86.43 เทียบกับ 88.83 ลดลง 2.40

• AA-LCR การใช้เหตุผลแบบบริบทยาว — 64.06 เทียบกับ 67.38 ลดลง 3.32

• HLE โดยไม่ใช้เครื่องมือ — 25.30 เทียบกับ 28.73 ขาดไป 3.43

• ความแม่นยำของ AA-Omniscience — 16.90 เทียบกับ 21.80 ลดลง 4.90 ซึ่งมากที่สุดในตาราง

• PinchBench — 87.82 เทียบกับ 90.35 ลดลง 2.53

• GDPVal-AA-V2 — 28.47 เทียบกับ 31.13 ซึ่งลดลง 2.66

มีสองแถวที่หลุดออกจากรูปแบบ และมันเป็นแถวที่น่าสนใจ บน AA-Omniscience ด้าน non-hallucination โมเดลที่ควอนไทซ์ได้คะแนน สูงกว่า โดยได้ 61.27 เทียบกับ 56.14 — การบีบอัดผู้เชี่ยวชาญทำให้โมเดลมีแนวโน้มน้อยลงที่จะตอบอย่างมั่นใจในสิ่งที่มันไม่รู้ ซึ่งเป็นผลการค้นพบแบบที่ทำให้ตารางหนึ่งคุ้มค่าที่จะเผยแพร่แบบเต็ม บน WebArena vision ทั้งสองอยู่ในระดับเดียวกัน 50.86 เทียบกับ 50.25 ซึ่งบ่งชี้ว่าเส้นทาง vision รอดจากการบีบอัดมาได้เกือบจะสมบูรณ์ และการฝึก vision adapter ใหม่ที่อธิบายไว้ใน model card น่าจะเป็นสาเหตุ

เมื่ออ่านรวมกัน: ภาษีสองถึงห้าคะแนนบนแถวความสามารถส่วนใหญ่ แทบเป็นศูนย์บนการยึดโยงทางภาพ และการปรับปรุงในตัวชี้วัดการสอบเทียบหนึ่งตัว นั่นเป็นผลลัพธ์ที่น่าพอใจสำหรับการบีบอัดแบบหกต่อหนึ่ง และมันก็ยังเป็นภาษีที่คุณควรนับรวมไว้ แทนที่จะปัดทิ้ง

อันไหนที่คุณเสิร์ฟได้จริง

อาร์ติแฟกต์ขนาด 24GB มีเรื่องราวในฝั่ง runtime ส่วนตัว BF16 มีเรื่องราวในฝั่งการเทรน และสองสิ่งนี้ไม่ใช่เรื่องราวเดียวกันที่ต่างกันแค่แฟล็ก

The 24GB GGUF is listed for llama.cpp, and N​VIDIA points the same model at Ollama, LM Studio and Unsloth. The vLLM path is stricter than it sounds: the reference recipe pins a nightly container by commit hash, requires a separate kernel package fetched at runtime, sets the v2 model runner explicitly, names b12x for the linear and MoE backends with FlashInfer for attention and Mamba, pins the KV cache to fp8, and sets max-num-seqs 1. That last flag is the one to notice — the published serving configuration is a single concurrent sequence, which is a laptop-shaped configuration, not a serving-shaped one.

The drafter is a third download. LiLiCorr is a 1.13B companion checkpoint whose card states in as many words that it is not a standalone language model, that it proposes draft tokens and the 24GB target verifies them, and that the target produces the visible text. N​VIDIA's reported 83.99 tokens per second on AIPerf SPEED-Bench-Coding assumes it is attached, with seven drafted tokens per step and mean acceptance lengths of 4.68 under greedy decoding and 4.25 with sampling at concurrency 64.

เรื่องการให้บริการของ checkpoint BF16 เป็นปัญหาที่คุณต้องแก้ไข มันต้องใช้หน่วยความจำประมาณหกเท่าของบิลด์ที่ควอนไทซ์แล้วก่อนที่ KV cache ใด ๆ จะเข้ามาเกี่ยวข้อง ซึ่งทำให้ accelerator ขนาด 80GB เพียงตัวเดียวเอื้อมไม่ถึง และทำให้ multi-GPU หรือ multi-node กลายเป็นสมมติฐานเริ่มต้น นั่นเป็นการแลกที่ถูกต้องสำหรับ post-training และเป็นการแลกที่ผิดสำหรับ inference ซึ่งตรงกับที่การ์ดระบุไว้เป๊ะ

การตัดสินใจที่กล่าวไว้อย่างตรงไปตรงมา

ถ้าคุณต้องการรันเอเจนต์วันนี้บนฮาร์ดแวร์ที่คุณเป็นเจ้าของ ดาวน์โหลดบิลด์ 24GB ยอมรับภาษีสองถึงห้าจุด และเผื่องบสำหรับดราฟเตอร์และโปรเจกเตอร์รวมถึงเวตด้วย

If you want to change the model — fine-tune on your own data, distil it into something smaller, or compress it differently for hardware N​VIDIA did not optimise for — download the BF16 build and treat the 24GB release as documentation of one possible outcome.

The interesting middle case is the one the BF16 card invites explicitly: producing your own quantised variant. Someone with a different accelerator, or an appetite for four-bit weights, or a workload that needs more concurrency than the reference recipe allows, can take the full-precision weights and build the artifact N​VIDIA did not. The quantisation tax above is then the number to beat, and it is now a published target rather than a mystery.

ตำแหน่งของเกตเวย์ในสแตกภายในเครื่อง

Neither of these checkpoints is hosted anywhere, including by us — the OrcaRouter catalogue carries no N​emotron model, so there is no endpoint and no price to quote for either. Local inference is also only ever half of an agent architecture: the machine that runs Bolt still needs to reach models it cannot download, whether that is a frontier model for the hard cases, a vision model for something Bolt handles badly, or a second opinion on a decision that matters.

นั่นคือเลเยอร์ที่เราดำเนินการ คีย์เดียวใช้ได้กับโมเดลโฮสต์มากกว่า 200 รายการ ในราคาตามที่ผู้ให้บริการประกาศ โดยไม่มีการบวกเพิ่ม; การสลับไปใช้ระบบสำรองอัตโนมัติเมื่อผู้ให้บริการมีปัญหาในระหว่างการประมวลผลคำขอ; DSL สำหรับจัดเส้นทางที่เปลี่ยน "ลองใช้ Bolt ในเครื่องก่อน แล้วยกระดับไปยังโมเดลโฮสต์เมื่องานเกินขีดความสามารถของมัน" ให้กลายเป็นการตั้งค่าแทนที่จะเป็นโค้ด ครึ่งหนึ่งของสแตกที่เป็น 24GB นั้นขึ้นอยู่กับฮาร์ดแวร์ของคุณและความอดทนต่อคอนเทนเนอร์ที่รันทุกคืน ส่วนอีกครึ่งที่อยู่อีกฟากของการยกระดับนั้นขึ้นอยู่กับว่าใครถือคีย์

อะไรจะเปลี่ยนแปลงภาพนี้

สองสิ่ง และทั้งสองอย่างคาดเดาได้

The first is a four-bit or FP4 build of Bolt from N​VIDIA or from the community, given that the parent family already ships NVFP4 checkpoints and the BF16 release exists precisely so that such variants can be made. A four-bit Bolt that recovered half the gap above while still fitting in a 24GB envelope would make the quantisation tax argument considerably less interesting.

อย่างที่สองคือการประเมินโดยอิสระใด ๆ ของอาร์ติแฟกต์ทั้งสองชิ้น คณะผู้ประเมินของ Artificial Analysis ได้วัดโมเดลขนาด 24GB ไว้ที่ 21 บน Intelligence Index ของตน โดยไม่มีการเผยแพร่ทั้งความเร็วและค่าใช้จ่าย เพราะไม่มีอะไรให้ใช้เทียบราคา ยังไม่มีใครเผยแพร่การรันที่ทำซ้ำได้ของเช็กพอยต์ BF16 เลย ซึ่งก็ไม่น่าแปลกใจสำหรับไฟล์ดาวน์โหลดขนาด 150GB ที่มีไว้สำหรับการเทรน จนกว่าจะมีใครทำได้ ช่องว่างระหว่างสองคอลัมน์ข้างต้นก็เป็นเพียงคำอธิบายของผู้ขายเกี่ยวกับการบีบอัดของตัวเอง และวิธีอ่านอย่างซื่อสัตย์คืออ่านมันเป็นข้ออ้างหนึ่งที่บังเอิญได้รับการสนับสนุนอย่างดีผิดปกติจากรูปแบบของหลักฐาน

ผลลัพธ์แบบนี้ยังเป็นเครื่องเตือนใจว่าความผิดพลาดของโมเดลได้รับการบันทึกไว้แล้ว: เหตุการณ์ AI และความล้มเหลวของเอเจนต์ที่อยู่เบื้องหลังโมเดลระดับนี้ ถูกรวบรวมไว้ใน OrcaRouter AI Incident Archive ซึ่งแต่ละรายการมีแหล่งที่มาของตนเอง ระดับความรุนแรง เกรดความเชื่อมั่น และสถานะถูกโต้แย้ง