Nemotron 3.5 Bolt 24GB vs LFM2.5 24B-A2B: สองวิธีในการทำให้เอเจนต์พอดีใน 24GB

Here is a problem for anyone comparing these two. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB and LFM2.5-24B-A2B both published benchmark tables that include the same three baseline models — Qwen3.6 35B-A3B, Gemma 4 26B-A4B, and N​emotron 3.5 Lightning 30B-A3B — and the two tables disagree about what those baselines score. On PinchBench, N​VIDIA lists Qwen3.6 at 88.07 and Lightning at 83.43. Liquid AI lists the same two models at 89.93 and 84.20. Same benchmark, same named entries, different numbers, both published this month.

นั่นไม่ใช่เรื่องอื้อฉาว มันคือสิ่งที่การรันฮาร์เนสด้วยตัวคุณเองเป็นแบบนั้น และนี่คือเหตุผลที่การเปรียบเทียบนี้เขียนขึ้นโดยยึดกับสิ่งที่ตรวจสอบได้ มากกว่ายึดกับคะแนนแบบตัวต่อตัว สองโมเดลนี้ยังเป็นคำตอบของคำถามเดียวกันที่ไขจากปลายทางตรงข้ามกัน ในแง่หนึ่ง

ข้อจำกัดที่โมเดลทั้งสองถูกสร้างขึ้นโดยอิงกับ

ทั้งสองเป็นรุ่นความจุ 24 กิกะไบต์ ไม่มีแล็บใดพูดเช่นนั้นด้วยถ้อยคำเหล่านั้นเป๊ะ ๆ และตัวเลขดังกล่าวก็ปรากฏแตกต่างกันไปในแต่ละกรณี

Bolt is 74B total with 9B active. N​VIDIA's Star Elastic architecture search was given one budget to satisfy — below 24GB at batch size 1 and 128K context — and the resulting checkpoint is what that constraint produced, with expert weights at 2.0625 bits per element. The memory limit is the design input, and the parameter count is the output.

LFM2.5-24B-A2B มีพารามิเตอร์รวม 24B โดยมี 2.45B ที่ทำงานอยู่ และหน่วยความจำเป็นผลจากไฟล์ที่คุณเลือก ไม่ใช่จากสถาปัตยกรรม รีโพซิทอรี GGUF ที่เผยแพร่มีให้เลือก Q4_K_M ที่ 14.53GB, QAD-Q4_0 แบบคำนึงถึงการควอนไทซ์ที่ 13.58GB, Q5_K_M ที่ 17.03GB, Q6_K ที่ 19.69GB และ Q8_0 ที่ 25.49GB เลข 24 ในชื่อคือจำนวนพารามิเตอร์ ไม่ใช่ขนาดพื้นที่จัดเก็บ ส่วนขนาดพื้นที่จัดเก็บนั้นเปรียบเสมือนเมนูให้เลือก

ความแตกต่างนี้ชี้ขาดหลายอย่าง Bolt มีคอนฟิกูเรชันที่พร้อมส่งมอบสำหรับการทำอินเฟอเรนซ์เพียงหนึ่งเดียวเท่านั้น และไม่มีอะไรต้องควอนไทซ์ เพราะโมเดลมาในรูปแบบที่ควอนไทซ์แล้ว LFM2.5-24B-A2B มีเช็กพอยต์ BF16 แบบเนทีฟขนาด 47.96GB ที่คุณจะไม่รันบนแล็ปท็อป และมีชุดบิลด์จากชุมชนและจากเจ้าของผลิตภัณฑ์ที่คุณจะรัน โดยเหลือเรื่องคุณภาพไว้ให้คุณใช้ดุลยพินิจตัดสินเอง

แต่ละอันทำมาจากอะไรจริงๆ

• พารามิเตอร์ — Bolt: ทั้งหมด 74B, ทำงาน 9B ต่อโทเคน. LFM2.5-24B-A2B: ทั้งหมด 24B, ทำงาน 2.45B ต่อโทเคน.

• สถาปัตยกรรม — Bolt: เลเยอร์ state-space ของ Mamba-2 ที่สลับกับ mixture-of-experts และ attention, การกำหนดเส้นทาง LatentMoE, พร้อมด้วยตัวเข้ารหัสภาพ C-RADIO v4-H. LFM2.5-24B-A2B: 40 เลเยอร์ — บล็อก double-gated short-convolution จำนวนสามสิบ และบล็อก grouped-query attention จำนวนสิบ — โดยมีผู้เชี่ยวชาญ 64 คนต่อบล็อก MoE และการกำหนดเส้นทาง top-4

• Provenance — Bolt: compressed from N​emotron 3.5 Super VL 120B-A12B by router-guided architecture search, then quantised with quantisation-aware distillation. LFM2.5-24B-A2B: trained directly, from a 33-trillion-token pre-training run through a two-phase mid-training stage and a five-stage post-training pipeline that ends in reinforcement learning inside agent harnesses.

• อินพุต — Bolt: รับข้อความ รูปภาพ และวิดีโอเข้า ส่งออกเป็นข้อความ LFM2.5-24B-A2B: ข้อความเท่านั้น นี่คือเส้นแบ่งที่ชัดเจนที่สุดระหว่างทั้งสอง และเป็นเรื่องของสถาปัตยกรรมมากกว่าความแตกต่างด้านการปรับแต่ง

• บริบท — Bolt: 262,144 โทเคน LFM2.5-24B-A2B: 131,072 โทเคน เพิ่มขึ้นเป็นสองเท่าจากรุ่นก่อนหน้าที่ 32,768 พร้อมกับการขยายคำศัพท์จาก 65,000 เป็น 128,000 โทเคน

• ภาษา — LFM2.5-24B-A2B ระบุไว้สิบหกภาษา รวมถึงอาหรับ เกาหลี ไทย ฮินดี และรัสเซีย การ์ดโมเดลของ Bolt ระบุภาษาอังกฤษและภาษาเขียนโค้ดเป็นภาษาหลัก โดยยังรองรับสเปน ฝรั่งเศส เยอรมัน อิตาลี และญี่ปุ่นด้วย

• สัญญาอนุญาต — Bolt: OpenMDW-1.1. LFM2.5-24B-A2B: LFM Open License 1.0. ทั้งสองไม่ใช่ Apache 2.0 และทั้งคู่เปิดกว้างพอสำหรับงานเชิงพาณิชย์ แต่ก็ไม่คุ้นเคยพอที่จะสมควรให้ทนายความใช้เวลาสักสิบ นาที

• การรองรับรันไทม์เมื่อเปิดตัว — ทั้งสองรายการระบุ llama.cpp, vLLM และรูปแบบ edge ที่เกี่ยวข้องของแต่ละรายการ; LFM2.5-24B-A2B ยังมาพร้อมบิลด์ MLX และ ONNX และระบุ SGLang

ตาราง benchmark โปรดอ่านอย่างละเอียด

Bolt's vendor table hands it wins on Terminal-Bench 2.1 at 50.98 against 44.38 for Qwen3.6 35B-A3B and 37.22 for Gemma 4 26B-A4B, on BrowseComp at 66.75 against 48.74, and on GPQA Diamond at 86.43 against 83.40. It also prints the rows it loses: AA-Omniscience accuracy at 16.90 against G​emma's 22.17, and PinchBench at 87.82 against Q​wen's 88.07. N​VIDIA chose the peer group as models that fit in 24GB at four-bit — a set defined by the constraint Bolt was engineered against.

ตารางของ Liquid AI สำหรับ LFM2.5-24B-A2B รายงานว่า LiveClaw อยู่ที่ 48.09 เทียบกับ 38.19 สำหรับ Qwen3.6 35B-A3B, AutomationBench ที่ 27.69 เทียบกับ 8.72 และ ToolSandbox ที่ 80.71 เทียบกับ 75.02 ขณะที่เป็นรองโมเดลที่ใหญ่กว่าใน GPQA Diamond ที่ 74.42, HLE ที่ 7.40 และ SWE-Bench Verified ที่ 51.00 ตัวเลข AA-Omniscience ของมันติดลบ คือ -24.90 ซึ่งตามการให้คะแนนของเบนช์มาร์กนั้นหมายความว่ามันถูกปรับโทษสำหรับคำตอบผิดที่มั่นใจ แทนที่จะได้คะแนนจากความแม่นยำเพียงอย่างเดียว

ทั้งสองตารางเห็นตรงกันในรูปทรงของผลลัพธ์ แม้ตัวเลขจะต่างกัน: แต่ละโมเดลมีความแข็งแกร่งในการใช้เครื่องมือแบบเอเจนต์เมื่อเทียบกับขนาดของตัวเอง และอ่อนกว่าในการเรียกคืนข้อมูลที่เน้นความรู้หนัก ๆ ทั้งคู่ไม่มีรายการใน Artificial Analysis และทั้งคู่ไม่มี hosted endpoint ดังนั้นจึงไม่มีตัวเลขจากบุคคลที่สามมาใช้ชี้ขาด และไม่มีทางทดสอบ A/B ทั้งสองด้วยทราฟฟิกของคุณเองโดยไม่ดาวน์โหลดทั้งคู่

One independent figure does exist for Bolt: an Intelligence Index of 21, fourth of 67 models in its class, on the same panel that scores the dense models it competes with. Liquid AI reports 184 tokens per second on an Apple M5 Max for LFM2.5-24B-A2B, and N​VIDIA reports 83.99 tokens per second for Bolt on an RTX Spark machine running llama.cpp with its LiLiCorr drafter attached. Those two speeds are the most useful numbers either lab published, and they are not comparable — different hardware, different formats, different drafter setups.

เครื่องไหนที่แต่ละคนต้องการ

เรื่องราวฮาร์ดแวร์ทับซ้อนกันน้อยกว่าที่กรอบ 24GB บ่งชี้ไว้

Bolt is built for N​VIDIA's own edge stack: RTX Spark laptops arriving 16 October, GeForce RTX PCs, DGX Spark, DGX Station and RTX PRO workstations, with the quantised checkpoint for llama.cpp on Spark and vLLM on DGX, and the BF16 checkpoint named for Ampere, Hopper and Blackwell. The drafter is a separate 1.13B download, and the reference vLLM recipe pins a nightly build, a kernel package from a vendor repository, and a served sequence count of one.

LFM2.5-24B-A2B เป็นรุ่นที่พกพาได้สะดวกกว่าของทั้งสองรุ่นในทางทฤษฎี และระบุไว้เช่นนั้น: MLX สร้างสำหรับ Apple Silicon, ONNX สำหรับรันไทม์ข้ามแพลตฟอร์ม, GGUF สำหรับการประมวลผลบน CPU, FP8 สำหรับการให้บริการบน GPU และ DSpark drafter ที่ระบุว่าจะมาเร็ว ๆ นี้ บิลด์แบบควอนไทซ์ที่ 13.58GB เหลือพื้นที่ว่างบนการ์ด 24GB มากกว่าไฟล์เดียวขนาด 22.02GB ของ Bolt บวกกับโปรเจ็กเตอร์วิชัน 1.73GB ของมัน

การคำนวณสุดท้ายนั้นคือจุดสำคัญเชิงปฏิบัติ น้ำหนักและโปรเจกเตอร์ของ Bolt กินพื้นที่ 23.75GB จาก 24GB ที่โมเดลนี้ตั้งชื่อตาม เหลือให้บริบทและความสามารถในการทำงานพร้อมกันต้องแย่งกันใช้ส่วนที่เหลือ LFM2.5-24B-A2B ที่ Q4 หรือ QAD-Q4 เหลือพื้นที่ราวสิบกิกะไบต์เพื่อจุดประสงค์เดียวกัน หากงานของคุณเป็นงานเอเจนต์ระยะยาวที่มีบริบทดึงข้อมูลขนาดใหญ่ พื้นที่ใช้งานและพื้นที่จัดเก็บที่เล็กลงก็ไม่ใช่แค่รางวัลปลอบใจ

ตำแหน่งที่เหมาะสมสำหรับเลเยอร์การกำหนดเส้นทาง

โมเดลทั้งสองไม่ใช่สิ่งที่เราให้บริการ และควรพูดตรง ๆ อย่างนั้นมากกว่าจะแต่งให้ดูสวยหรู: แคตตาล็อกของ OrcaRouter ไม่มี Bolt หรือ LFM2.5-24B-A2B ดังนั้นจึงไม่มี endpoint ที่นี่สำหรับทั้งสอง และไม่มีราคาให้เปรียบเทียบ สิ่งที่ทั้งสองมีเหมือนกันคือ它们是ครึ่งฝั่งโลคอลของสแต็ก และครึ่งฝั่งโลคอลแทบไม่เคยอยู่ลำพัง — เอเจนต์ที่รันโมเดล 24GB บนเครื่องตรงหน้าก็ยังเอื้อมไปหาอะไรที่ใหญ่กว่าเมื่องานเกินขีดความสามารถของมัน

นั่นคือส่วนที่เราดูแลจริง ๆ คีย์เดียวใช้ได้กับโมเดลโฮสต์กว่า 200 รายการในราคาตามที่ผู้ให้บริการประกาศไว้ โดยไม่มีการบวกเพิ่ม, การสลับสำรองอัตโนมัติ ดังนั้นเมื่อผู้ให้บริการสะดุดกลางคำขอ ระบบจะลองใหม่แทนที่จะส่งต่อปัญหาไปยังผู้ที่กำลังรออยู่ และDSL สำหรับกำหนดเส้นทางที่แสดงสายลูกโซ่สำรองเป็นคอนฟิกูเรชันแทนที่จะเป็นโค้ดแอปพลิเคชัน หากคุณกำลังเลือกระหว่างเช็กพอยต์สองตัวนี้ การตัดสินใจจะเกิดขึ้นบนฮาร์ดแวร์ของคุณเองและในฮาร์เนสของคุณเอง — ส่วนการยกระดับ การสอบถามเสริม และการประเมินผลรอบ ๆ สิ่งนั้นคือส่วนที่ต้องผ่านเกตเวย์

จะเลือกอย่างไรเมื่อไม่มีกระดานคะแนนร่วมกัน

สี่คำถามตัดสินได้เร็วกว่าตารางใด ๆ

เอเจนต์จำเป็นต้องมองเห็นหรือไม่? ถ้ามันอ่านภาพหน้าจอ PDF หรือวิดีโอ Bolt คือตัวเดียวในสองตัวนี้ที่ทำได้ และคำถามก็จบลงตรงนั้น ถ้ามันทำงานกับข้อความและการเรียกใช้เครื่องมือ ความสามารถแบบมัลติโมดัลก็เป็นน้ำหนักที่คุณแบกไว้โดยเปล่าประโยชน์

จริง ๆ แล้วหนึ่งเทิร์นต้องใช้บริบทมากแค่ไหน? โทเคนสองแสนห้าหมื่นเมื่อเทียบกับ 131,072 นั้นเป็นความแตกต่างจริง ๆ สำหรับงานระดับรีโพซิทอรีหรือระดับเอกสาร และนี่คือมิติเดียวที่การบีบอัดของ Bolt ได้บางสิ่งที่ไม่ปรากฏในคอลัมน์เบนช์มาร์กใด ๆ

What is the machine? A discrete N​VIDIA GPU with 24GB and a tolerance for a pinned nightly vLLM favours Bolt. A Mac, or a mixed fleet where the same build has to run in more than one place, favours the model that ships MLX and ONNX next to its GGUF.

แล้วคุณจะเชื่อตัวเลขของใคร ห้องแล็บทั้งสองแห่งต่างเผยแพร่ตารางที่โมเดลของตัวเองชนะในแถวส่วนใหญ่ จุดยืนที่ซื่อตรงคือ แต่ละแห่งล้วนแข็งแกร่งภายในกลุ่มเทียบเคียงที่ตนเองเป็นผู้เลือก การที่ตารางทั้งสองขัดแย้งกันบน baseline ที่เหมือนกันคือเครื่องเตือนใจเรื่องความแปรปรวนของ harness และตัวเลข benchmark ที่มาจากห้องแล็บซึ่งสร้างโมเดลนั้นเป็นข้อกล่าวอ้างเกี่ยวกับขีดความสามารถ มากกว่าจะเป็นการวัดขีดความสามารถนั้นจริง ๆ

คำตอบสั้น ๆ

Bolt buys you sight, a quarter-million-token context and the tightest compression anyone has shipped at this size, and charges for it in two-and-a-half gigabytes of headroom and a mandatory N​VIDIA recipe. LFM2.5-24B-A2B buys you portability, a smaller working set and sixteen languages, and charges for it in modality and context.

ทั้งสองเปิดตัวห่างกันภายในสี่วันในเดือนตุลาคม 2026 — LFM2.5-24B-A2B เมื่อวันที่ 13 ตุลาคม และ Bolt เมื่อวันที่ 15 ตุลาคม — ซึ่งหมายความว่าทั้งคู่ยังไม่มีประวัติการใช้งานที่เป็นอิสระ ยังไม่มีการวัดเปรียบเทียบกันบนฮาร์ดแวร์เดียวกัน และใครก็ตามที่อ้างว่าตัวไหนชนะก็แค่อ่านตารางผู้ขายมากกว่าจะดูจากเบนช์มาร์ก ดาวน์โหลดทั้งสอง รันชุดประเมินของคุณเอง และเก็บตัวที่ทำงานเสร็จสิ้น นั่นคือการเปรียบเทียบเดียวในที่นี้ที่ยังไม่ได้รับการเผยแพร่โดยหนึ่งในสองแล็บ

ช่องว่างระหว่างสิ่งที่สกอร์บอร์ดวัดค่าได้กับสิ่งที่การนำไปใช้งานจริงต้องเผชิญ คือเหตุผลที่บันทึกนี้มีความสำคัญคลังเหตุการณ์ AI ของ OrcaRouter ซึ่งเป็นที่รวบรวมความล้มเหลวของ AI และเหตุการณ์ที่เกิดกับเอเจนต์ของโมเดลในระดับนี้ที่ได้รับการบันทึกไว้ โดยแต่ละรายการมีแหล่งอ้างอิงของตัวเอง มีระดับความรุนแรง เกรดความเชื่อมั่น และธงข้อโต้แย้งกำกับไว้