Nemotron 3.5 Bolt 24GB so với LFM2.5 24B-A2B: Hai cách để một agent vừa trong 24GB

Here is a problem for anyone comparing these two. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB and LFM2.5-24B-A2B both published benchmark tables that include the same three baseline models — Qwen3.6 35B-A3B, Gemma 4 26B-A4B, and N​emotron 3.5 Lightning 30B-A3B — and the two tables disagree about what those baselines score. On PinchBench, N​VIDIA lists Qwen3.6 at 88.07 and Lightning at 83.43. Liquid AI lists the same two models at 89.93 and 84.20. Same benchmark, same named entries, different numbers, both published this month.

Đó không phải là một vụ bê bối. Đó là việc tự bạn chạy một harness trông ra sao, và đó là lý do bản so sánh này được viết xoay quanh những gì có thể xác minh được thay vì xoay quanh một điểm số đối đầu trực tiếp. Xét theo một nghĩa nào đó, hai mô hình cũng là những câu trả lời cho cùng một câu hỏi, được giải quyết từ hai phía đối lập.

Ràng buộc mà cả hai mô hình đều được xây dựng dựa trên

Cả hai đều là phiên bản 24 gigabyte. Không phòng thí nghiệm nào nói đúng y như vậy, và con số này xuất hiện theo cách khác nhau trong mỗi trường hợp.

Bolt is 74B total with 9B active. N​VIDIA's Star Elastic architecture search was given one budget to satisfy — below 24GB at batch size 1 and 128K context — and the resulting checkpoint is what that constraint produced, with expert weights at 2.0625 bits per element. The memory limit is the design input, and the parameter count is the output.

LFM2.5-24B-A2B có tổng cộng 24B tham số, với 2,45B tham số hoạt động, và bộ nhớ là một hàm của tệp bạn chọn chứ không phải của kiến trúc. Kho lưu trữ GGUF được công bố cung cấp Q4_K_M ở mức 14,53GB, một QAD-Q4_0 nhận biết lượng tử hóa ở mức 13,58GB, Q5_K_M ở mức 17,03GB, Q6_K ở mức 19,69GB và Q8_0 ở mức 25,49GB. Số 24 trong tên của nó là số lượng tham số, không phải mức chiếm dụng bộ nhớ; mức chiếm dụng bộ nhớ là một thực đơn.

Sự khác biệt đó quyết định rất nhiều. Bolt chỉ có đúng một cấu hình phát hành cho suy luận, và không có gì để lượng tử hoá cả vì mô hình vốn đã đến ở dạng lượng tử hoá. LFM2.5-24B-A2B có một checkpoint BF16 gốc nặng 47.96GB mà bạn sẽ không chạy trên laptop, cùng một loạt bản dựng từ cộng đồng và từ chính hãng mà bạn có thể chạy, còn chất lượng thì tuỳ bạn phán đoán.

Mỗi thứ thực sự được làm từ gì

• Tham số — Bolt: tổng 74B, 9B hoạt động mỗi token. LFM2.5-24B-A2B: tổng 24B, 2,45B hoạt động mỗi token.

• Kiến trúc — Bolt: các lớp không gian trạng thái Mamba-2 xen kẽ với mixture-of-experts và attention, định tuyến LatentMoE, cùng với bộ mã hóa thị giác C-RADIO v4-H. LFM2.5-24B-A2B: 40 lớp — ba mươi khối tích chập ngắn cổng đôi và mười khối attention truy vấn nhóm — với 64 chuyên gia mỗi khối MoE và định tuyến top-4.

• Provenance — Bolt: compressed from N​emotron 3.5 Super VL 120B-A12B by router-guided architecture search, then quantised with quantisation-aware distillation. LFM2.5-24B-A2B: trained directly, from a 33-trillion-token pre-training run through a two-phase mid-training stage and a five-stage post-training pipeline that ends in reinforcement learning inside agent harnesses.

• Đầu vào — Bolt: văn bản, hình ảnh và video vào, văn bản ra. LFM2.5-24B-A2B: chỉ văn bản. Đây là ranh giới khó khăn nhất giữa hai bên, và nó mang tính kiến trúc chứ không phải là khác biệt về tinh chỉnh.

• Ngữ cảnh — Bolt: 262.144 token. LFM2.5-24B-A2B: 131.072 token, tăng gấp đôi so với 32.768 của thế hệ trước, cùng với việc mở rộng từ vựng từ 65.000 lên 128.000 token.

• Ngôn ngữ — LFM2.5-24B-A2B nêu tên mười sáu ngôn ngữ, bao gồm tiếng Ả Rập, tiếng Hàn, tiếng Thái, tiếng Hindi và tiếng Nga. Thẻ mô hình của Bolt ghi tiếng Anh và các ngôn ngữ lập trình là chính, đồng thời hỗ trợ thêm tiếng Tây Ban Nha, tiếng Pháp, tiếng Đức, tiếng Ý và tiếng Nhật.

• Giấy phép — Bolt: OpenMDW-1.1. LFM2.5-24B-A2B: LFM Open License 1.0. Cả hai đều không phải Apache 2.0, và cả hai đều đủ thông thoáng cho công việc thương mại lẫn đủ xa lạ để đáng để một luật sư dành ra mười phút.

• Hỗ trợ runtime khi phát hành — cả hai đều liệt kê llama.cpp, vLLM và các định dạng edge tương ứng của chúng; LFM2.5-24B-A2B còn phát hành thêm các bản dựng MLX và ONNX cùng tên SGLang.

Các bảng benchmark, hãy đọc kỹ.

Bolt's vendor table hands it wins on Terminal-Bench 2.1 at 50.98 against 44.38 for Qwen3.6 35B-A3B and 37.22 for Gemma 4 26B-A4B, on BrowseComp at 66.75 against 48.74, and on GPQA Diamond at 86.43 against 83.40. It also prints the rows it loses: AA-Omniscience accuracy at 16.90 against G​emma's 22.17, and PinchBench at 87.82 against Q​wen's 88.07. N​VIDIA chose the peer group as models that fit in 24GB at four-bit — a set defined by the constraint Bolt was engineered against.

Bảng của Liquid AI cho LFM2.5-24B-A2B ghi nhận LiveClaw đạt 48,09 so với 38,19 của Qwen3.6 35B-A3B, AutomationBench đạt 27,69 so với 8,72, và ToolSandbox đạt 80,71 so với 75,02, trong khi chịu thua các mô hình lớn hơn ở GPQA Diamond với 74,42, HLE với 7,40 và SWE-Bench Verified với 51,00. Chỉ số AA-Omniscience của nó là số âm, -24,90, mà theo cách tính điểm của benchmark đó nghĩa là nó bị phạt vì những câu trả lời sai một cách tự tin, chứ không được chấm điểm chỉ dựa trên độ chính xác.

Cả hai bảng đều thống nhất về hình dạng của kết quả ngay cả khi các con số khác nhau: mỗi mô hình đều mạnh về sử dụng công cụ dạng agentic so với kích thước của nó và yếu hơn ở khả năng truy hồi nặng về kiến thức. Cả hai đều không có mục trên Artificial Analysis, và cả hai đều không có endpoint được host, nên không có con số từ bên thứ ba để phá thế hòa và không có cách nào A/B chúng trên lưu lượng của riêng bạn mà không tải cả hai về.

One independent figure does exist for Bolt: an Intelligence Index of 21, fourth of 67 models in its class, on the same panel that scores the dense models it competes with. Liquid AI reports 184 tokens per second on an Apple M5 Max for LFM2.5-24B-A2B, and N​VIDIA reports 83.99 tokens per second for Bolt on an RTX Spark machine running llama.cpp with its LiLiCorr drafter attached. Those two speeds are the most useful numbers either lab published, and they are not comparable — different hardware, different formats, different drafter setups.

Mỗi người muốn chiếc máy nào

Các câu chuyện về phần cứng ít chồng lấn hơn so với những gì cách đóng khung 24GB gợi ý.

Bolt is built for N​VIDIA's own edge stack: RTX Spark laptops arriving 16 October, GeForce RTX PCs, DGX Spark, DGX Station and RTX PRO workstations, with the quantised checkpoint for llama.cpp on Spark and vLLM on DGX, and the BF16 checkpoint named for Ampere, Hopper and Blackwell. The drafter is a separate 1.13B download, and the reference vLLM recipe pins a nightly build, a kernel package from a vendor repository, and a served sequence count of one.

LFM2.5-24B-A2B là bản dễ di động hơn trong hai bản xét trên lý thuyết và nói rõ điều đó: các bản dựng MLX cho Apple Silicon, ONNX cho các runtime đa nền tảng, GGUF cho suy luận trên CPU, FP8 cho phục vụ trên GPU, và một drafter DSpark được liệt kê là sắp ra mắt. Một bản dựng được lượng tử hóa ở 13.58GB để lại nhiều dư địa hơn trên card 24GB so với tệp 22.02GB duy nhất của Bolt cùng bộ chiếu thị giác 1.73GB của nó.

Phép tính cuối cùng đó chính là mấu chốt thực tế. Trọng số và projector của Bolt tiêu tốn 23.75GB trong số 24GB gắn với tên của mô hình, khiến ngữ cảnh và khả năng đồng thời phải cạnh tranh phần còn lại. LFM2.5-24B-A2B ở Q4 hoặc QAD-Q4 để lại khoảng mười gigabyte cho cùng mục đích. Nếu workload của bạn là công việc agent dài hạn với ngữ cảnh được truy xuất lớn, thì dấu chân hoạt động và lưu trữ nhỏ hơn không phải là một giải an ủi.

Lớp định tuyến phù hợp ở đâu

Cả hai mô hình đều không phải là thứ chúng tôi cung cấp, và cần nói thẳng điều đó thay vì tô vẽ cho đẹp: danh mục OrcaRouter không có Bolt hay LFM2.5-24B-A2B, nên ở đây không có endpoint nào cho cả hai và cũng chẳng có mức giá nào để so sánh. Điểm chung của cả hai là chúng đều là nửa cục bộ của một stack, mà những nửa cục bộ thì hầu như chẳng bao giờ đứng một mình — một agent chạy mô hình 24GB trên chính chiếc máy ngay trước mặt vẫn sẽ với tới một thứ gì đó lớn hơn khi tác vụ vượt quá khả năng của nó.

Đó là phần chúng tôi thực sự xử lý. Một khóa duy nhất dùng cho hơn 200 mô hình được lưu trữ với mức giá niêm yết của nhà cung cấp, không cộng thêm phụ phí, tự động chuyển đổi dự phòng để khi một nhà cung cấp gặp trục trặc giữa chừng yêu cầu thì sẽ được thử lại thay vì hiển thị cho người đang chờ, cùng một DSL định tuyến cho phép biểu diễn chuỗi dự phòng dưới dạng cấu hình thay vì mã ứng dụng. Nếu bạn đang cân nhắc giữa hai điểm kiểm tra này, quyết định được đưa ra trên phần cứng của chính bạn và trong harness của chính bạn — còn các bước chuyển cấp, truy vấn phụ và đánh giá xung quanh đó mới là phần đi qua gateway.

Làm thế nào để lựa chọn khi không có bảng điểm chung

Bốn câu hỏi sẽ giải quyết chuyện đó nhanh hơn bất kỳ bảng nào.

Agent có cần nhìn không? Nếu nó đọc ảnh chụp màn hình, PDF hay video, thì Bolt là cái duy nhất trong hai cái làm được, và thế là hết chuyện. Nếu nó làm việc với văn bản và các lệnh gọi công cụ, thì năng lực đa phương thức chỉ là gánh nặng bạn mang theo mà chẳng để làm gì.

Một lượt thực sự cần bao nhiêu ngữ cảnh? Một phần tư triệu token so với 131.072 là khác biệt thực sự đối với công việc quy mô kho mã nguồn hoặc quy mô tài liệu, và đó là khía cạnh duy nhất mà khả năng nén của Bolt đem lại điều gì đó không xuất hiện trong bất kỳ cột benchmark nào.

What is the machine? A discrete N​VIDIA GPU with 24GB and a tolerance for a pinned nightly vLLM favours Bolt. A Mac, or a mixed fleet where the same build has to run in more than one place, favours the model that ships MLX and ONNX next to its GGUF.

Và bạn tin vào những con số của ai? Cả hai phòng thí nghiệm đều đã công bố các bảng biểu mà trong đó mô hình của chính họ thắng ở phần lớn các hàng. Lập trường trung thực là mỗi bên đều mạnh trong phạm vi một nhóm đồng đẳng mà chính họ đã chọn, rằng sự bất đồng giữa hai bảng biểu trên cùng những đường cơ sở giống hệt nhau là một lời nhắc nhở về phương sai của khung đánh giá, và rằng một con số chuẩn mực đến từ phòng thí nghiệm đã tạo ra mô hình là một tuyên bố về năng lực chứ không phải là một phép đo năng lực đó.

Câu trả lời ngắn gọn

Bolt buys you sight, a quarter-million-token context and the tightest compression anyone has shipped at this size, and charges for it in two-and-a-half gigabytes of headroom and a mandatory N​VIDIA recipe. LFM2.5-24B-A2B buys you portability, a smaller working set and sixteen languages, and charges for it in modality and context.

Cả hai đều được phát hành cách nhau trong vòng bốn ngày vào tháng 10 năm 2026 — LFM2.5-24B-A2B vào ngày 13 tháng 10, Bolt vào ngày 15 tháng 10 — nghĩa là cả hai đều chưa có thành tích độc lập nào, chưa bên nào được đánh giá đối chiếu với bên kia trên cùng phần cứng, và bất kỳ ai tuyên bố có người thắng chỉ đang đọc bảng thông số của nhà cung cấp chứ không phải một benchmark. Hãy tải cả hai, chạy bộ đánh giá của riêng bạn, và giữ lại cái hoàn thành được công việc. Đó là phép so sánh duy nhất ở đây chưa từng được một trong hai phòng thí nghiệm công bố.

Khoảng cách giữa những gì một bảng điểm đo lường và những gì một triển khai thực tế đáp ứng chính là lý do hồ sơ này quan trọng: những thất bại AI và sự cố tác nhân đã được ghi nhận liên quan đến các mô hình thuộc nhóm này đều được tập hợp trong the OrcaRouter AI Incident Archive, nơi mỗi mục đều đi kèm nguồn riêng, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ đánh dấu tranh chấp.