Nemotron 3.5 Bolt 74B so với LFM2.5 24B A2B: Hai cách để một agent vừa trong 24GB

The interesting thing about N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB and Liquid AI LFM2.5 24B A2B is not that one is three times bigger. It is that both are answers to the same constraint — an agent that runs on a machine you own rather than a machine you rent — and they answer it from opposite directions. One compresses a very large model until it fits. The other is designed small from the first token and spends its budget on being fast rather than on being large.

Những con số đủ gần nhau để gây nhầm lẫn. Bolt là một checkpoint 74 tỷ tham số với 9 tỷ tham số hoạt động mỗi token, được lưu trữ ở khoảng hai bit cho mỗi trọng số expert, trong một tệp 24GB. LFM2.5-24B-A2B là một checkpoint 24 tỷ tham số với 2,45 tỷ tham số hoạt động mỗi token, ở độ chính xác thông thường. Cả hai đều là mô hình hỗn hợp chuyên gia. Cả hai đều chạy mà không cần mạng. Đằng sau lời giới thiệu nghe có vẻ giống nhau ấy, gần như mọi lựa chọn kỹ thuật đều khác biệt.

LFM2.5-24B-A2B thực sự là gì

Checkpoint của Liquid AI là thành viên lớn nhất và cũng là thành viên cuối cùng của dòng LFM2.5, đồng thời là thành viên cuối cùng của dòng đó vẫn còn chờ được phát hành. Trọng số của nó đã được đưa lên Hugging Face vào đầu tháng 10 và công ty đã công bố nó vào ngày 13 tháng 10 năm 2026, nên nó cũng mới tương đương Bolt và cũng chưa tích lũy được nhiều kết quả độc lập.

Architecturally it is a specific bet. Forty layers, of which thirty are double-gated short-convolution blocks and ten are grouped-query attention — a mostly-convolutional stack with attention used sparingly, rather than the Mamba-2/attention interleave N​VIDIA uses. Sixty-four experts per MoE block with top-4 routing, which means the model reads four experts per token out of sixty-four. 2.45 billion parameters active per token against 24.0 billion resident. A 128,000-token vocabulary, 36 trillion training tokens, and a 131,072-token context window.

Nó chỉ xử lý văn bản, và nó luôn suy nghĩ trước khi trả lời — dấu vết lập luận không phải là tùy chọn. Liquid định vị nó so với các mô hình lớn hơn gấp rưỡi ở các tác vụ agentic, và đưa ra điểm LiveClaw 48.09 so với 38.19 của Qwen3.6-35B-A3B để hỗ trợ điều đó. Đó là so sánh của nhà cung cấp trên một benchmark do nhà cung cấp chọn và nên được hiểu đúng như vậy, nhưng số lượng tham số hoạt động mà nó đang khoe có thể kiểm chứng được trong cấu hình của chính mô hình.

Bolt thực sự là gì

Bolt is not a model that was designed small. It is N​emotron 3.5 Super VL 120B-A12B after N​VIDIA ran Star Elastic over it — a router-guided architecture search that has to satisfy a hard footprint, in this case under 24GB at batch size 1 and 128K context — and then quantised its expert weights to IQ2-XXS at 2.0625 bits per element with quantisation-aware distillation to recover what that cost.

Mức nén mạnh đến mức mà số lượng tham số của Bolts không thể hiện được. Top-K chuyên gia đã giảm từ 22 ở mô hình gốc xuống còn 9, gần như tương đương top-4 của LFM2.5 dù mô hình này mang số tham số gấp ba lần. Tháp thị giác sau đó đã được gắn lại từ mô hình gốc, nên Bolt chấp nhận hình ảnh và video trong khi LFM2.5-24B-A2B chỉ chấp nhận văn bản, và nó thừa hưởng cửa sổ ngữ cảnh 256K gấp đôi so với Liquid.

N​VIDIA's published claim for the compression is a general one worth repeating: for a fixed memory budget, compressing a large model beats training a small one from scratch. Bolt is that claim as an artifact. And N​VIDIA's own framing makes the comparison explicit — its model card states that the G​emma and Q​wen baselines were selected for fitting in 24GB at 4-bit, which is a different route to the same envelope than Bolt's 2-bit weights.

Sự đối chiếu thông số kỹ thuật, cả hai bên trên cùng một dòng

• Tổng số tham số và tham số hoạt động — Bolt: tổng 74B, 9B hoạt động mỗi token. LFM2.5-24B-A2B: tổng 24,0B, 2,45B hoạt động mỗi token.

• Backbone — Bolt: các khối không gian trạng thái Mamba-2 xen kẽ với hỗn hợp chuyên gia và attention. LFM2.5-24B-A2B: ba mươi khối tích chập ngắn có cổng kép cùng với mười lớp attention truy vấn theo nhóm.

• Định tuyến — Bolt: top-9 chuyên gia sau khi nén, giảm từ 22 ở mô hình gốc. LFM2.5-24B-A2B: 64 chuyên gia mỗi khối, top-4.

• Độ chính xác lưu trữ — Bolt: các expert IQ2-XXS ở mức 2,0625 bit mỗi phần tử, các lớp Mamba ở NVFP4, embedding và đầu ra ở Q8_0. LFM2.5-24B-A2B: trọng số độ chính xác đầy đủ, với GGUF, FP8, ONNX và một số độ rộng bit MLX được nhà cung cấp phát hành như các biến thể anh em.

• Ngữ cảnh — Bolt: tối đa 262.144 token. LFM2.5-24B-A2B: 131.072 token.

• Phương thức — Bolt: đầu vào là văn bản, hình ảnh và video, đầu ra là văn bản. LFM2.5-24B-A2B: đầu vào văn bản, đầu ra văn bản.

• Giấy phép — Bolt: OpenMDW-1.1. LFM2.5-24B-A2B: lfm1.0, miễn phí cho mục đích thương mại khi doanh thu hằng năm dưới 10 triệu USD và giấy phép thương mại trả phí khi trên mức đó.

• Chỉ số Thông minh — Bolt: 21, được đo bởi Artificial Analysis. LFM2.5-24B-A2B: không có hồ sơ Artificial Analysis nào cho checkpoint này, vì vậy không có điểm độc lập tương đương nào và bài viết này sẽ không tự bịa ra một điểm như vậy.

• Giá công bố — Bolt: không có ở đâu cả, và không có endpoint được host. LFM2.5-24B-A2B: $0.10 mỗi triệu token đầu vào với mức giá cache $0.05, và $1.00 mỗi triệu token đầu ra, trên endpoint được host của chính Liquid, với $2 credit khởi đầu.

Cặp so sánh cuối cùng đó là dữ kiện sắc bén nhất trong phép so sánh này, và nó diễn ra theo hướng mà hầu hết mọi người không ngờ tới: mô hình có dấu chân nhỏ hơn lại là mô hình phải trả tiền, còn mô hình có dấu chân lớn hơn lại là mô hình không phải trả tiền. Không thể dùng thử Bolt nếu không mua phần cứng. LFM2.5 có thể được dùng thử ngay chiều nay với chi phí nhỏ như một sai số làm tròn.

Tốc độ, và mức độ cẩn thận khi đọc các con số

Không mô hình nào có phép đo trung tâm dữ liệu độc lập. Đây là trạng thái trung thực của bằng chứng và nó giới hạn những gì có thể nói.

Đối với LFM2.5-24B-A2B, Liquid báo cáo 184 token mỗi giây trên Apple M5 Max và 114 trên AMD Ryzen AI Max+ 395, đồng thời tuyên bố suy luận nhanh hơn tới 1,7× so với các MoE tương đương trên thiết bị. Đó là những số liệu của nhà cung cấp trên chip cấp laptop, chưa được bất kỳ ai khác tái lập, và chúng không nói lên điều gì về việc mô hình hoạt động thế nào trên GPU trung tâm dữ liệu với nhiều yêu cầu đồng thời.

For Bolt, N​VIDIA reports 83.99 tokens per second on AIPerf SPEED-Bench-Coding with the LiLiCorr speculative drafter active, on an RTX Spark-class machine. That is also vendor-reported, also unreproduced, and measured on a different benchmark against different silicon, so it cannot be set beside Liquid's 184 and treated as a comparison. The honest statement is that both companies measured their own model on their own preferred hardware and neither number transfers.

Điều mang tính cấu trúc chứ không phải được đo lường: Bolt đọc 9 tỷ tham số mỗi token và LFM2.5 đọc 2,45 tỷ. Ở cùng băng thông bộ nhớ, một MoE đọc gần như tỷ lệ với các tham số hoạt động của nó, và trọng số chuyên gia bit thấp còn giúp ích thêm bằng cách giảm số byte được di chuyển trên mỗi tham số. LFM2.5 có tập tham số hoạt động nhỏ hơn theo hệ số 3,7, và nó đang chạy ở độ chính xác cao hơn trên mỗi trọng số, nên lưu lượng byte mỗi token là chỗ cần nhìn vào. Đó là một lập luận rằng mô hình của Liquid nên nhanh hơn, chứ không phải một phép đo cho thấy nó nhanh hơn.

Tải cái nào

Sự phân tách ở đây không phải là năng lực so với năng lực, bởi vì chúng không cố gắng thực hiện cùng một nhiệm vụ. Bolt là một tác nhân đa phương thức đọc ảnh chụp màn hình và điều khiển trình duyệt ở quy mô 74B, được nén đến mức vừa vặn. LFM2.5-24B-A2B là một tác nhân văn bản được xây dựng để trả lời nhanh trên một cỗ máy không có GPU rời nào cả.

Hãy chọn Bolt khi tác nhân phải nhìn thấy — WebArena, PDF, các khung hình video — hoặc khi khối lượng công việc chạy ngoại tuyến trên một máy đã có sẵn bộ tăng tốc thuộc lớp Blackwell, và khi bạn chấp nhận rằng mình sẽ là người đầu tiên đo thông lượng của nó. Hãy chọn LFM2.5-24B-A2B khi tác vụ là văn bản, máy là máy tính xách tay, độ trễ quan trọng hơn độ sâu suy luận, và toàn bộ mục đích là mô hình vừa vặn trong bộ nhớ hợp nhất cùng với phần còn lại của các ứng dụng của bạn.

Hai điều có thể thay đổi câu trả lời: một bài benchmark độc lập được chạy trên cả hai, và bất kỳ dịch vụ hosting nào được công bố cho Bolt. Hiện tại cả hai đều chưa tồn tại.

Chạy chúng bên cạnh một mô hình được lưu trữ

Both of these checkpoints are, by design, things you run yourself. Neither is on our catalogue — the catalogue was checked rather than assumed, and neither the N​emotron nor the LFM2.5 families appear in it — so this section is not a pitch for hosting either one. It is a note about what sits beside them.

Một agent 24B chạy cục bộ trên laptop xử lý phần việc thường nhật: định tuyến, tóm tắt, định dạng lệnh gọi công cụ, chín mươi phần trăm số lượt vốn chẳng cần đến mô hình lớn. Những lượt thực sự cần thì vẫn phải đi đâu đó, và đó chính là chỗ một router khẳng định được giá trị của mình. OrcaRouter mở ra hơn 200 mô hình sau một khóa API duy nhất với đúng giá niêm yết của nhà cung cấp, cộng thêm 0% phụ trội, nên khi nhà cung cấp giảm giá thì phía chúng tôi cập nhật ngay trong cùng ngày, và DSL định tuyến của nó cho phép bạn mô tả một tổ hợp — một mô hình rẻ cho lượt chạy đầu, một quy tắc leo thang, một phương án dự phòng — chỉ bằng một lệnh gọi duy nhất thay vì phải viết thành mã ứng dụng. Cơ chế chuyển đổi dự phòng tự động giữa các nhà cung cấp nghĩa là sự cố năng lực ở thượng nguồn sẽ được thử lại thay vì hiện ra trước mắt người dùng của bạn.

Đối với bất kỳ ai đang xây dựng trên một trình thực thi cục bộ, cách phân chia công việc đó chính là lý do một checkpoint nhỏ vẫn khả thi: mô hình nhỏ đảm nhiệm khối lượng lớn, còn mô hình đắt đỏ được truy cập mà không cần hợp đồng thứ hai hay SDK thứ hai.

Điều gì sẽ giải quyết được nó?

Two measurements are missing and both are cheap for someone with the hardware. The first is a like-for-like throughput and latency run: LFM2.5-24B-A2B against the 24GB Bolt checkpoint, same harness, same batch sizes, same context lengths, on the same accelerator. Nobody has run it. The second is a third-party evaluation of LFM2.5-24B-A2B on the benchmarks N​VIDIA used, so that the LiveClaw claim and the Bolt table can be read against each other instead of being quoted in parallel from two different marketing pages.

Cho đến lúc đó, sự lựa chọn là một quyết định về ngân sách bộ nhớ thay vì một quyết định dựa trên điểm chuẩn. Một mô hình yêu cầu bạn sở hữu một GPU với 24GB tính toán đẳng cấp Blackwell và đổi lại cho bạn thị giác cùng 74B suy luận chưng cất. Mô hình kia yêu cầu một chiếc laptop, tốn vài xu một giờ để dùng thử trên máy chủ của người khác, và từ bỏ khả năng nhìn cùng một nửa cửa sổ ngữ cảnh để đạt được điều đó.

Điều mà những con số không thể cho bạn biết là liệu có bất kỳ phần nào trong đó đã gặp trục trặc trong thực tế hay không: các sự cố AI và lỗi agent được ghi nhận liên quan đến các mô hình thuộc lớp này được tập hợp trong OrcaRouter AI Incident Archive, nơi mỗi mục đều có nguồn riêng, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp.