Nemotron 3.5 Bolt 74B กับ LFM2.5 24B A2B: สองวิธีในการทำให้เอเจนต์พอดีใน 24GB

The interesting thing about N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB and Liquid AI LFM2.5 24B A2B is not that one is three times bigger. It is that both are answers to the same constraint — an agent that runs on a machine you own rather than a machine you rent — and they answer it from opposite directions. One compresses a very large model until it fits. The other is designed small from the first token and spends its budget on being fast rather than on being large.

ตัวเลขนั้นใกล้เคียงกันจนน่าสับสน Bolt เป็นเช็คพอยต์ขนาด 74 พันล้านพารามิเตอร์ โดยมี 9 พันล้านที่ทำงานอยู่ต่อโทเคน จัดเก็บที่ประมาณสองบิตต่อน้ำหนักผู้เชี่ยวชาญ ในไฟล์ขนาด 24GB LFM2.5-24B-A2B เป็นเช็คพอยต์ขนาด 24 พันล้านพารามิเตอร์ โดยมี 2.45 พันล้านที่ทำงานอยู่ต่อโทเคน ที่ความแม่นยำปกติ ทั้งคู่เป็นโมเดลแบบผสมผู้เชี่ยวชาญ ทั้งคู่ทำงานได้โดยไม่ต้องใช้เครือข่าย เบื้องหลังคำโปรยที่ฟังดูคล้ายกัน เกือบทุกการตัดสินใจทางวิศวกรรมนั้นแตกต่างกัน

LFM2.5-24B-A2B จริงๆ แล้วคืออะไร

เช็กพอยต์ของ Liquid AI เป็นสมาชิกที่ใหญ่ที่สุดและเป็นตัวสุดท้ายของตระกูล LFM2.5 และเป็นตัวสุดท้ายของตระกูลนั้นที่ยังต้องเปิดตัว น้ำหนักของโมเดลถูกอัปโหลดขึ้นบน Hugging Face เมื่อต้นเดือนตุลาคม และบริษัทได้ประกาศเปิดตัวเมื่อวันที่ 13 ตุลาคม 2026 ดังนั้นจึงถือว่าใหม่พอ ๆ กับ Bolt และก็ยังไม่มีผลลัพธ์จากการทดสอบอิสระสะสมมากนักเช่นกัน

Architecturally it is a specific bet. Forty layers, of which thirty are double-gated short-convolution blocks and ten are grouped-query attention — a mostly-convolutional stack with attention used sparingly, rather than the Mamba-2/attention interleave N​VIDIA uses. Sixty-four experts per MoE block with top-4 routing, which means the model reads four experts per token out of sixty-four. 2.45 billion parameters active per token against 24.0 billion resident. A 128,000-token vocabulary, 36 trillion training tokens, and a 131,072-token context window.

มันเป็นแบบข้อความล้วน และมันคิดก่อนตอบเสมอ — ร่องรอยการใช้เหตุผลไม่ใช่ตัวเลือกเสริม Liquid วางตำแหน่งมันไว้เทียบกับโมเดลที่ใหญ่กว่าหนึ่งเท่าครึ่งในงานแบบเอเจนต์ และเผยคะแนน LiveClaw ที่ 48.09 เทียบกับ 38.19 ของ Qwen3.6-35B-A3B เพื่อสนับสนุนเรื่องนั้น นั่นเป็นการเปรียบเทียบจากผู้ขายบนเบนช์มาร์กที่ผู้ขายเลือกเอง และควรตีความเช่นนั้น แต่จำนวนพารามิเตอร์ที่ใช้งานอยู่ซึ่งมันโอ้อวดนั้นตรวจสอบได้จากคอนฟิกูเรชันของโมเดลเอง

Bolt จริง ๆ แล้วคืออะไร

Bolt is not a model that was designed small. It is N​emotron 3.5 Super VL 120B-A12B after N​VIDIA ran Star Elastic over it — a router-guided architecture search that has to satisfy a hard footprint, in this case under 24GB at batch size 1 and 128K context — and then quantised its expert weights to IQ2-XXS at 2.0625 bits per element with quantisation-aware distillation to recover what that cost.

การบีบอัดนั้นรุนแรงในแบบที่จำนวนพารามิเตอร์ของ Bolts ไม่อาจบอกได้ top-K ของ expert ลดลงจาก 22 ในโมเดลต้นทางเหลือ 9 ซึ่งใกล้เคียงกับ top-K เท่ากับ top-4 ของ LFM2.5 แม้ว่าโมเดลนี้จะมีพารามิเตอร์มากกว่าถึงสามเท่า หลังจากนั้น vision tower ถูกนำกลับมาติดตั้งจากโมเดลต้นทาง ดังนั้น Bolt จึงรับภาพและวิดีโอได้ ในขณะที่ LFM2.5-24B-A2B รับเฉพาะข้อความ และมันยังสืบทอดหน้าต่างบริบท 256K ซึ่งมากเป็นสองเท่าของ Liquid

N​VIDIA's published claim for the compression is a general one worth repeating: for a fixed memory budget, compressing a large model beats training a small one from scratch. Bolt is that claim as an artifact. And N​VIDIA's own framing makes the comparison explicit — its model card states that the G​emma and Q​wen baselines were selected for fitting in 24GB at 4-bit, which is a different route to the same envelope than Bolt's 2-bit weights.

การเปรียบต่างสเปก ทั้งสองด้านในบรรทัดเดียว

• พารามิเตอร์ทั้งหมดและพารามิเตอร์ที่ใช้งาน — Bolt: 74B ทั้งหมด, 9B ที่ใช้งานต่อโทเคน LFM2.5-24B-A2B: 24.0B ทั้งหมด, 2.45B ที่ใช้งานต่อโทเคน

• แบ็กโบน — Bolt: บล็อกสเตตสเปซ Mamba-2 ที่สลับกับ mixture-of-experts และ attention. LFM2.5-24B-A2B: บล็อก short-convolution แบบ double-gated จำนวนสามสิบบล็อก บวกกับเลเยอร์ grouped-query attention อีกสิบเลเยอร์

• การจัดเส้นทาง — Bolt: ผู้เชี่ยวชาญ 9 อันดับแรกหลังการบีบอัด ลดลงจาก 22 ในโมเดลแม่ LFM2.5-24B-A2B: 64 ผู้เชี่ยวชาญต่อบล็อก, top-4

• ความแม่นยำที่จัดเก็บ — Bolt: experts แบบ IQ2-XXS ที่ 2.0625 บิตต่อองค์ประกอบ เลเยอร์ Mamba ที่ NVFP4 embeddings และเอาต์พุตที่ Q8_0 LFM2.5-24B-A2B: น้ำหนักความแม่นยำเต็มรูปแบบ โดยมี GGUF, FP8, ONNX และความกว้างบิต MLX หลายแบบที่เผยแพร่เป็นรุ่นพี่น้องโดยผู้จำหน่าย

• บริบท — Bolt: สูงสุด 262,144 โทเคน LFM2.5-24B-A2B: 131,072 โทเคน

• โมดัลลิตี้ — Bolt: รับข้อความ รูปภาพ และวิดีโอเข้า, ส่งข้อความออก. LFM2.5-24B-A2B: รับข้อความเข้า, ส่งข้อความออก.

• สัญญาอนุญาต — Bolt: OpenMDW-1.1. LFM2.5-24B-A2B: lfm1.0 ใช้งานเชิงพาณิชย์ได้ฟรีเมื่อมีรายได้ต่อปีต่ำกว่า 10 ล้านดอลลาร์ และต้องมีสัญญาอนุญาตเชิงพาณิชย์แบบเสียค่าใช้จ่ายเมื่อเกินกว่านั้น

• ดัชนี Intelligence Index — Bolt: 21 วัดโดย Artificial Analysis LFM2.5-24B-A2B: ไม่มีโปรไฟล์ Artificial Analysis สำหรับเช็กพอยต์นี้ ดังนั้นจึงไม่มีคะแนนอิสระที่เทียบเคียงได้ และบทความนี้จะไม่สร้างคะแนนขึ้นมาเอง

• ราคาที่ประกาศ — Bolt: ไม่มีเลยที่ใด และไม่มี endpoint ที่โฮสต์ไว้ LFM2.5-24B-A2B: $0.10 ต่อหนึ่งล้านโทเคนอินพุต โดยมีอัตราแคชที่ $0.05 และ $1.00 ต่อหนึ่งล้านโทเคนเอาต์พุต บน endpoint ที่โฮสต์โดย Liquid เอง พร้อมเครดิตเริ่มต้น $2

การจับคู่ล่าสุดนั้นเป็นข้อเท็จจริงที่คมชัดที่สุดในการเปรียบเทียบ และมันไปในทิศทางที่คนส่วนใหญ่ไม่คาดคิด: โมเดลที่มีขนาดเล็กกว่าคือรุ่นที่ต้องจ่ายเงิน และโมเดลที่มีขนาดใหญ่กว่าคือรุ่นที่ไม่ต้องจ่าย Bolt จะลองใช้ไม่ได้เลยหากไม่ซื้อฮาร์ดแวร์ ส่วน LFM2.5 ลองใช้ได้บ่ายนี้ด้วยค่าใช้จ่ายเพียงเศษสตางค์

ความเร็ว และความรอบคอบในการอ่านตัวเลข

ไม่มีโมเดลใดที่มีการวัดจากศูนย์ข้อมูลที่เป็นอิสระ นี่คือสถานะของหลักฐานตามความเป็นจริง และมันเป็นข้อจำกัดของสิ่งที่สามารถกล่าวได้

สำหรับ LFM2.5-24B-A2B นั้น Liquid รายงานว่าได้ 184 โทเคนต่อวินาทีบน Apple M5 Max และ 114 บน AMD Ryzen AI Max+ 395 พร้อมอ้างว่าอนุมานได้เร็วขึ้นถึง 1.7 เท่าเมื่อเทียบกับ MoE ที่ใกล้เคียงกันบนอุปกรณ์ ตัวเลขเหล่านี้เป็นตัวเลขจากผู้จำหน่ายบนชิประดับแล็ปท็อป ซึ่งยังไม่มีใครอื่นทำซ้ำได้ และไม่ได้บอกอะไรเกี่ยวกับสิ่งที่โมเดลนี้ทำได้บน GPU ในศูนย์ข้อมูลที่มีคำขอพร้อมกันจำนวนมาก

For Bolt, N​VIDIA reports 83.99 tokens per second on AIPerf SPEED-Bench-Coding with the LiLiCorr speculative drafter active, on an RTX Spark-class machine. That is also vendor-reported, also unreproduced, and measured on a different benchmark against different silicon, so it cannot be set beside Liquid's 184 and treated as a comparison. The honest statement is that both companies measured their own model on their own preferred hardware and neither number transfers.

สิ่งที่เป็นเชิงโครงสร้างมากกว่าที่วัดได้: Bolt อ่านพารามิเตอร์ 9 พันล้านตัวต่อโทเคน และ LFM2.5 อ่าน 2.45 พันล้านตัว ที่แบนด์วิดท์หน่วยความจำเท่ากัน MoE จะอ่านโดยประมาณตามสัดส่วนของพารามิเตอร์ที่ทำงานอยู่ และน้ำหนักผู้เชี่ยวชาญแบบบิตต่ำยังช่วยเพิ่มเติมโดยการลดจำนวนไบต์ที่เคลื่อนย้ายต่อพารามิเตอร์ LFM2.5 มีชุดที่ทำงานอยู่เล็กกว่าเป็นปัจจัย 3.7 และทำงานที่ความแม่นยำต่อน้ำหนักสูงกว่า ดังนั้นปริมาณการรับส่งไบต์ต่อโทเคนคือจุดที่ควรดู นั่นเป็นข้อโต้แย้งว่าโมเดลของ Liquid ควรจะเร็วกว่า ไม่ใช่การวัดว่าเร็วกว่าจริง

ควรดาวน์โหลดอันไหน

การแบ่งตรงนี้ไม่ใช่การเทียบความสามารถกับความสามารถ เพราะทั้งสองไม่ได้พยายามทำภารกิจเดียวกัน Bolt เป็นเอเจนต์มัลติโมดัลที่อ่านภาพหน้าจอและควบคุมเบราว์เซอร์ในระดับ 74B ซึ่งถูกบีบอัดจนพอดี LFM2.5-24B-A2B เป็นเอเจนต์ข้อความที่สร้างขึ้นมาเพื่อตอบได้อย่างรวดเร็วบนเครื่องที่ไม่มี GPU แยกเลย

เลือกใช้ Bolt เมื่อเอเจนต์ต้องมองเห็น — WebArena, PDFs, เฟรมวิดีโอ — หรือ quando ปริมาณงานทำงานแบบออฟไลน์บนเครื่องที่มีตัวเร่งความเร็วระดับ Blackwell อยู่แล้ว และเมื่อคุณยอมรับว่าคุณจะเป็นคนแรกที่วัดอัตราการประมวลผลของมัน เลือกใช้ LFM2.5-24B-A2B เมื่องานเป็นข้อความ เครื่องเป็นแล็ปท็อป ความหน่วงสำคัญกว่าความลึกของการให้เหตุผล และประเด็นสำคัญคือโมเดลพอดีกับหน่วยความจำรวมร่วมกับแอปพลิเคชันอื่นๆ ของคุณ

สองสิ่งที่จะเปลี่ยนคำตอบได้คือ การรันเบนช์มาร์กโดยอิสระบนทั้งสองตัว และการโฮสต์ Bolt ที่เผยแพร่ให้เห็นจริง ตอนนี้ยังไม่มีทั้งสองอย่าง

การรัน它们เคียงข้างโมเดลที่โฮสต์ไว้

Both of these checkpoints are, by design, things you run yourself. Neither is on our catalogue — the catalogue was checked rather than assumed, and neither the N​emotron nor the LFM2.5 families appear in it — so this section is not a pitch for hosting either one. It is a note about what sits beside them.

เอเจนต์ขนาด 24B ที่รันภายในเครื่องบนแล็ปท็อปจัดการงานประจำ เช่น การจัดเส้นทาง การสรุป การจัดรูปแบบการเรียกใช้เครื่องมือ และ 90 เปอร์เซ็นต์ของเทิร์นที่ไม่จำเป็นต้องใช้โมเดลขนาดใหญ่เลย ส่วนเทิร์นที่จำเป็นต้องใช้โมเดลขนาดใหญ่ก็ยังต้องส่งไปที่ใดที่หนึ่ง และนั่นคือจุดที่เราเตอร์พิสูจน์คุณค่าOrcaRouter เปิดให้เข้าถึงโมเดลกว่า 200 รุ่นผ่านคีย์เดียวในราคาตามที่ผู้ให้บริการกำหนด โดยบวกเพิ่ม 0 เปอร์เซ็นต์ ดังนั้นเมื่อผู้ขายลดราคา ฝั่งเราจะอัปเดตให้ทันทีในวันเดียวกัน และ DSL การจัดเส้นทางของมันช่วยให้คุณอธิบายคอมโพซิชัน — โมเดลราคาถูกสำหรับรอบแรก กฎการยกระดับ ตัวสำรอง — ให้เป็นการเรียกครั้งเดียวแทนที่จะเป็นโค้ดแอปพลิเคชัน การ failover อัตโนมัติระหว่างผู้ให้บริการ หมายความว่าปัญหาด้านความจุที่ต้นทางจะถูกลองใหม่ แทนที่จะถูกส่งต่อไปให้ผู้ใช้ของคุณ.

สำหรับใครก็ตามที่สร้างบน local executor การแบ่งหน้าที่กันแบบนี้คือเหตุผลที่ checkpoint ขนาดเล็กยังคงใช้งานได้จริง โมเดลเล็กจัดการงานปริมาณมาก ส่วนโมเดลที่มีต้นทุนสูงก็เข้าถึงได้โดยไม่ต้องมีสัญญาฉบับที่สองหรือ SDK ตัวที่สอง

อะไรจะยุติเรื่องนี้ได้

Two measurements are missing and both are cheap for someone with the hardware. The first is a like-for-like throughput and latency run: LFM2.5-24B-A2B against the 24GB Bolt checkpoint, same harness, same batch sizes, same context lengths, on the same accelerator. Nobody has run it. The second is a third-party evaluation of LFM2.5-24B-A2B on the benchmarks N​VIDIA used, so that the LiveClaw claim and the Bolt table can be read against each other instead of being quoted in parallel from two different marketing pages.

จนถึงตอนนั้น ทางเลือกนี้เป็นการตัดสินใจเรื่องงบประมาณหน่วยความจำ มากกว่าการตัดสินใจจาก benchmark โมเดลหนึ่งเรียกร้องให้คุณเป็นเจ้าของ GPU ที่มีความสามารถด้านการประมวลผลระดับ Blackwell 24GB และตอบแทนด้วยความสามารถด้านภาพและการให้เหตุผลแบบกลั่นกรองขนาด 74B ส่วนอีกโมเดลเรียกร้องแค่แล็ปท็อป มีค่าใช้จ่ายเพียงไม่กี่เพนนีต่อชั่วโมงในการลองบนเซิร์ฟเวอร์ของคนอื่น และยอมสละความสามารถในการมองเห็นกับหน้าต่างบริบทครึ่งหนึ่งเพื่อไปให้ถึงจุดนั้น

สิ่งที่ตัวเลขบอกคุณไม่ได้คือว่ามีสิ่งใดผิดพลาดไปในการใช้งานจริงหรือไม่: เหตุการณ์ AI และความล้มเหลวของเอเจนต์ที่ได้รับการบันทึกไว้เกี่ยวกับโมเดลในคลาสนี้ถูกรวบรวมไว้ใน OrcaRouter AI Incident Archive โดยแต่ละรายการมีแหล่งที่มา ความรุนแรง ระดับความเชื่อมั่น และสถานะข้อโต้แย้งของตนเอง