Nemotron 3.5 Bolt 24GB so với Nemotron 3.5 Lightning 30B-A3B: Cùng dòng, triển khai trái ngược

Two models from one family, released four months apart, built to opposite ends of the same question. N​VIDIA N​emotron 3.5 Lightning 30B-A3B shipped in August 2026 as a high-throughput text model for data-centre serving. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB shipped on 15 October 2026 as a multimodal agent that fits on a laptop. Bolt has double the total parameters and three times the active parameters of Lightning, and it runs on hardware Lightning cannot start on. This is what actually separates them, and where the family resemblance is misleading.

Cả hai đều xuất phát từ cùng một công thức huấn luyện

N​VIDIA's technical report for the pair is explicit that both models begin with the same two stages: a 100-billion-token warm-up for multi-token-prediction heads, then a trillion tokens of distillation from the next-larger N​emotron 3 model. Lightning distils from N​emotron 3 Super Base; Bolt distils from the N​emotron 3.5 Super VL line, which is why Bolt can see and Lightning cannot.

Sau đó, các con đường tách ra, và chính sự chia tách ấy là toàn bộ câu chuyện.

Lightning trải qua một giai đoạn long-context dài 21 tỷ token, mở rộng nó lên một triệu token, sau đó là một pipeline hậu huấn luyện SFT-and-RLVR, và nó được phát hành dưới dạng mô hình văn bản 30B tổng / 3B hoạt động với các tùy chọn suy đoán DSpark, DFlash và MTP cùng mục tiêu triển khai trên một GPU duy nhất là một H100 hoặc một DGX Spark với trọng số NVFP4.

Bolt được nén từ một mô hình gốc 120 tỷ tham số bằng tìm kiếm kiến trúc Star Elastic, được gắn lại vào tháp thị giác của nó, được huấn luyện lại qua một giai đoạn giám sát nặng về thị giác, sau đó trải qua học tăng cường đầu-cuối trong các môi trường tác tử, và cuối cùng được lượng tử hóa xuống 2.0625 bit cho mỗi trọng số chuyên gia với chưng cất nhận biết lượng tử hóa. Nó đi kèm với một drafter, LiLiCorr, và một cấu hình triển khai: một thứ gì đó có 24GB bộ nhớ và khả năng chạy nó song song với các ứng dụng khác.

Sự đối chiếu thông số, đặt cạnh nhau

• Tham số — Bolt: tổng 74B, hoạt động 9B. Lightning: tổng 30B, hoạt động 3B.

• Độ chính xác như khi phát hành — Bolt: các chuyên gia IQ2_XXS ở mức 2.0625 bit trên mỗi phần tử, các lớp Mamba NVFP4, embedding và attention Q8_0. Lightning: NVFP4 toàn diện cho checkpoint triển khai, cùng với bản phát hành tham chiếu BF16 để tùy chỉnh.

• Ngữ cảnh — Bolt: 262.144 token. Lightning: một triệu token, kết quả của một giai đoạn huấn luyện chuyên biệt cho ngữ cảnh dài.

• Phương thức — Bolt: đầu vào văn bản, hình ảnh và video. Lightning: chỉ văn bản. Mục thông tin của Artificial Analysis cho mỗi mô hình cũng ghi như vậy trên cùng một bảng, với cùng một cách diễn đạt, khiến đây trở thành một trong số ít hàng mà hai mô hình có thể so sánh trực tiếp với nhau mà không cần lưu ý kèm theo.

• Phần cứng máy chủ — Bolt: máy tính xách tay RTX Spark, PC GeForce RTX, DGX Spark, DGX Station, máy trạm RTX PRO. Lightning: một DGX Spark hoặc một H100, hoặc Blackwell và Ampere thông qua W4A16.

• Giải mã suy đoán — Bolt: LiLiCorr, một drafter 1,13B, bảy token được phác thảo mỗi bước. Lightning: DSpark cho công việc có độ đồng thời thấp, với DFlash và MTP cũng đã được công bố.

• Giấy phép — OpenMDW-1.1 cho cả hai, và cả hai đều được phép sử dụng cho mục đích thương mại.

Nơi duy nhất mà cả hai đều được người khác đo lường

These two models have something most of the N​emotron family lacks: entries on the same independent panel, measured the same way. That makes the comparison unusually clean for a family-internal matchup.

Artificial Analysis scores N​emotron 3.5 Lightning at 13 on its Intelligence Index, ranking 28th of 141 models, and N​emotron 3.5 Bolt 74B-A9B at 21, ranking fourth of 67 models in its own class. Those classes are not identical — Bolt is a medium open-weights model, Lightning is a small one — so the ranks are not directly comparable, but the index scores are produced by the same methodology on the same evaluations.

Speed is where the gap inverts, and this is the single most decision-relevant fact about the pair. The panel measures Lightning at 307 output tokens per second, first of 63 models on that dimension. It reports Bolt's speed as unavailable, because there is no public API serving it and the panel's speed measurement requires one. The only throughput figure that exists for Bolt is N​VIDIA's own: 83.99 tokens per second on AIPerf SPEED-Bench-Coding, on a Surface Laptop Ultra with 128GB of memory, with the drafter attached.

Đọc những điều đó cùng nhau và câu chuyện về dòng mô hình trở nên cụ thể. Lightning nhanh hơn Bolt khoảng ba lần rưỡi theo những con số chúng ta có, ở dạng bạn có thể thuê theo token; Bolt thông minh hơn đáng kể trên cùng chỉ số và chạy trên một cỗ máy mà không ai có thể thuê được cả.

Ba cách mà lựa chọn được giải quyết

Nếu khối lượng công việc lớn và chỉ có văn bản, Lightning không phải là một sự thỏa hiệp, mà là công cụ tốt hơn. Một ngữ cảnh một triệu token ở tốc độ 307 token mỗi giây với mức giá công bố là sáu xu cho mỗi triệu token đầu vào và hai mươi xu cho mỗi triệu token đầu ra là một thứ cụ thể và hữu ích, và Bolt không thể sánh được về tốc độ hay ngữ cảnh trên bất kỳ loại phần cứng nào.

If the workload is visual, there is no decision to make. Bolt accepts images and video and Lightning does not, and no amount of context or throughput substitutes for a modality that is absent. The WebArena vision row in N​VIDIA's own table — 50.86 for Bolt, with Lightning not listed at all — is what that looks like when it moves from a spec sheet into a benchmark.

Nếu khối lượng công việc phải chạy mà không có mạng, Bolt là cái duy nhất trong hai cái đã được đóng gói cho việc đó. Mục tiêu triển khai của Lightning là một chiếc H100 hoặc DGX Spark với checkpoint NVFP4, tức là một máy chủ; còn của Bolt là một tệp 24GB trên một chiếc laptop cũng đang chạy trình duyệt. Sự khác biệt không nằm ở năng lực mà ở vị trí của cỗ máy.

Gia đình được lợi gì khi vận chuyển cả hai

The interesting thing about this pair is not that one beats the other. It is that N​VIDIA built the cheap one first, then spent four months building the expensive one to fit somewhere the cheap one could not go.

Lightning là chiến lược về thông lượng: ít tham số hoạt động, ngữ cảnh khổng lồ, được thiết kế để phục vụ nhiều lần trên một GPU. Bolt là chiến lược về mật độ: một số lượng tham số khổng lồ được nén vào một ngân sách bộ nhớ cố định để một người dùng trên một máy duy nhất có được thứ gì đó gần với hành vi tác nhân tiên tiến ngay tại máy cục bộ. Hai bên tối ưu hóa các tỷ lệ khác nhau — token mỗi giây trên mỗi GPU so với trí tuệ mỗi gigabyte trên mỗi thiết bị — và việc Bolt đạt 21 điểm so với 13 điểm của Lightning không phải là một thất bại đối với Lightning, bởi vì Lightning sẽ không vừa trên chiếc máy mà Bolt được tạo ra cho, ở dạng mà Bolt tồn tại.

There is also a data point for the compression argument itself. Bolt's vendor table includes Lightning as one of its baselines, and Bolt beats it on nearly every agentic row: 50.98 against 23.46 on Terminal-Bench 2.1, 66.75 against 36.81 on BrowseComp, 17.01 against 9.48 on Tau3 Banking, 28.47 against 18.26 on GDPVal-AA-V2. Those are N​VIDIA's own numbers comparing two of its own models in the same table, and the honest reading is that compressing a 120B parent beats training a 30B model from scratch at the same target size. That is precisely the claim Star Elastic was invented to support.

Điều này để lại gì cho bất kỳ ai đang xây dựng một agent

The pairing suggests a shape rather than a winner. Lightning handles the high-volume, long-context, text-only middle of an agent's work where throughput and context are the binding constraints. Bolt handles the local, visual, latency-tolerant work that cannot leave the machine. Neither is a replacement for the other, and N​VIDIA's own framing of the family — Ultra for the hardest reasoning, Lightning for throughput, Bolt for the edge — is an admission that the boundary is real.

What neither model solves is the part of the stack that is not local and not N​VIDIA's. We do not host either checkpoint; the OrcaRouter catalogue has no N​emotron entry, so there is no endpoint or rate to quote for these two. What a gateway contributes to a mixed stack is the other side: one key across 200-plus hosted models, provider list price passed through with no markup added, automatic failover when a provider degrades, and a routing DSL for describing escalation across models as configuration. The choice between Bolt and Lightning is made on your hardware and in your harness. What happens when the task exceeds both, or when a request has to reach a model neither of them can be, is the part that lives behind an endpoint.

Nên thử cái nào trước?

Nếu bạn có GPU 24GB và kết nối mạng chập chờn, Bolt là bản tải về thú vị hơn: nó mới hơn, nó đa phương thức, và nó làm được điều mà không bản phát hành nào khác trong dòng này làm được.

If you have a DGX Spark, an H100, or an application where latency is the product, Lightning has been generally available since August, has an independent speed measurement that puts it first in its class, has a published price, and has had two months for the ecosystem to find its sharp edges. Bolt has had one day, its drafter is a mandatory third download, and nobody outside N​VIDIA has measured its latency.

Cả hai câu nói đều có thể cùng đúng một lúc. Gia đình sinh ra là để như vậy.

Khoảng cách giữa những gì một bảng điểm đo lường và những gì một triển khai thực tế đáp ứng chính là lý do hồ sơ này quan trọng: những thất bại AI và sự cố tác nhân đã được ghi nhận liên quan đến các mô hình thuộc nhóm này đều được tập hợp trong the OrcaRouter AI Incident Archive, nơi mỗi mục đều đi kèm nguồn riêng, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ đánh dấu tranh chấp.