Nemotron 3.5 Bolt 74B so với Nemotron 3.5 Lightning 30B-A3B: Cùng một công thức, hai mức trần bộ nhớ

Đây là so sánh duy nhất trên cây phả hệ N​VIDIA N​emotron 3.5, nơi cả hai phía đều được cùng một đội xây dựng cho cùng một công việc ở hai kích cỡ khác nhau, và nhà cung cấp đã tự mình chạy so sánh đối đầu.N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB và N​VIDIA N​emotron 3.5 Lightning 30B-A3B đều là các checkpoint hỗn hợp chuyên gia lai Mamba-2 với các đầu giải mã suy đoán, đều được phát hành theo OpenMDW-1.1 cho mục đích sử dụng thương mại, đều nhằm được chạy bởi chính người đang đọc về chúng thay vì thuê từ một trung tâm dữ liệu. Lightning đã được phát hành vào ngày 11 tháng 8 năm 2026. Trọng số của Bolt đã được đăng lên vào ngày 7 tháng 10 năm 2026 và N​VIDIA đã công bố việc này vào ngày 15 tháng 10.

Sự khác biệt nằm ở giới hạn bộ nhớ: 24GB cho một bên, khoảng 16GB cho bên kia ở dạng lượng tử hóa, và tám điểm của Artificial Analysis Intelligence Index giữa chúng chính là thứ mà giới hạn đó mang lại.

Một công thức, chạy ở hai kích cỡ

Lightning xuất hiện trước tiên và đã định hình nên cấu trúc mà toàn bộ thế hệ 3.5 tuân theo: một ngăn xếp lai xen kẽ các khối không gian trạng thái Mamba-2 với các lớp mixture-of-experts và attention, các đầu Multi-Token Prediction để mô hình có thể nháp nhiều token cùng lúc và xác minh chúng song song, cùng các mô hình nháp đồng hành riêng biệt — DSpark cho triển khai trung tâm dữ liệu có độ đồng thời thấp, DFlash, và về sau là mô hình nháp LiLiCorr — khiến giải mã suy đoán trở thành một cấu hình được hỗ trợ chứ không phải một mẹo nghiên cứu. Chưng cất từ giáo viên N​emotron 3 Ultra là nửa còn lại của công thức.

Bolt là cùng một công thức nhưng hướng tới một ngân sách eo hẹp hơn nhiều. 74 tỷ tham số của nó được Star Elastic, phương pháp tìm kiếm kiến trúc do router dẫn dắt của NVIDIA, nén xuống 24GB; phương pháp này nhận một checkpoint gốc rồi tìm số lượng chuyên gia theo từng lớp và chiều rộng trung gian MoE đáp ứng giới hạn triển khai cứng trong khi giảm thiểu tổn thất chưng cất tri thức. Trong trường hợp của Bolt, phạm vi tìm kiếm bị giới hạn ở dưới 24GB với kích thước lô 1 và ngữ cảnh 128K, top-K chuyên gia giảm từ 22 ở mô hình gốc xuống 9, và trọng số chuyên gia sau đó được lượng tử hóa thành IQ2-XXS ở mức 2,0625 bit mỗi phần tử với chưng cất nhận biết lượng tử hóa để khôi phục độ chính xác. Các lớp Mamba ở NVFP4, lớp embedding và lớp đầu ra ở Q8_0.

Mô hình gốc của Bolt không phải là Lightning. Đó là N​emotron 3.5 Super VL 120B-A12B, mô hình đa phương thức 120 tỷ tham số mà N​VIDIA ra mắt cùng ngày, đó là lý do Bolt được trang bị bộ mã hóa thị giác C-RADIO v4-H còn Lightning thì không.

Sự đối chiếu thông số kỹ thuật, cả hai bên trên cùng một dòng

• Tổng số tham số và tham số hoạt động — Bolt: tổng 74B, 9B hoạt động trên mỗi token. Lightning: tổng 30B, khoảng 3B hoạt động trên mỗi token.

• Kiến trúc — Bolt: LatentMoE lai Mamba-2–Transformer kèm bộ mã hóa thị giác C-RADIO v4-H. Lightning: MoE lai Mamba-2 có attention, không có tháp thị giác.

• Độ chính xác và mức chiếm dụng bộ nhớ — Bolt: IQ2 ở 2,0625 bit mỗi phần tử, được đóng gói xuống dưới 24GB. Lightning: BF16, NVFP4 và các bản lượng tử hóa khác được công bố riêng.

• Ngữ cảnh — Bolt: tối đa 256.000 token, với các công thức triển khai riêng lẻ có thể dùng ít hơn. Lightning: về nguyên tắc tối đa 1.000.000 token, với khoảng 256.000 là mức trần thực tế trên một H100.

• Đầu vào và đầu ra — Bolt: văn bản, hình ảnh và video vào, văn bản ra. Lightning: văn bản vào, văn bản ra.

• Giấy phép — OpenMDW-1.1 cho cả hai, được N​VIDIA chấp thuận cho mục đích thương mại và phi thương mại.

• Giải mã suy đoán — Bolt: bộ dự thảo LiLiCorr thông qua DFlash, bảy token suy đoán trong công thức tham chiếu. Lightning: các đầu MTP cùng với các bộ dự thảo DFlash và DSpark.

• Chỉ số Thông minh — Bolt: 21,4, thứ tư trong số 67 trong phân khúc kích cỡ của nó, được đo lường độc lập bởi Artificial Analysis. Lightning: 12,9, được đo lường độc lập.

• Giá — Bolt: không có mức phí tính theo lượng sử dụng ở bất kỳ đâu; Artificial Analysis không liệt kê giá đầu vào hay đầu ra và không có endpoint được host nào được công bố. Lightning: $0.06 mỗi triệu token đầu vào và $0.20 mỗi triệu token đầu ra theo Artificial Analysis theo dõi, với đầu vào được cache vào khoảng $0.006.

• Tốc độ đầu ra — Bolt: chưa công bố phép đo độc lập nào. Lightning: 305 token đầu ra mỗi giây với 0,57 giây đến token đầu tiên, cả hai đều được đo độc lập, và đây là một trong những con số nhanh nhất trên bảng của hội đồng.

Bản so sánh trực tiếp của chính nhà cung cấp, hãy đọc cho kỹ

Thẻ mô hình của N​VIDIA dành cho Bolt công bố một bảng trong đó Lightning là một trong ba đường cơ sở, và đáng được đọc như một lập luận thay vì một bảng điểm, vì công ty đã chọn những benchmark mà mô hình mới của mình giành chiến thắng.

• Terminal-Bench 2.1 — Bolt đạt 50,98 so với 23,46 của Lightning. Cả hai đều do nhà cung cấp tự thực hiện, đều trên bản dựng Lightning BF16.

• GPQA Diamond — Bolt 86.43 so với Lightning 75.57.

• BrowseComp — Bolt 66,75 so với 36,81 của Lightning.

• HLE không dùng công cụ — Bolt 25.30 so với 10.47 của Lightning.

• PinchBench — Bolt đạt 87,82 so với 83,43 của Lightning, mức chênh lệch hẹp hơn nhiều so với những mô hình khác và nhất quán với tuyên bố của NVIDIA rằng Bolt là mô hình mở số một trong phân khúc của nó trên benchmark đó.

• AA-Omniscience không ảo giác — Bolt 61,27 so với 68,81 của Lightning. Lightning thắng ở hạng mục này, và đây lại chính là hàng mà NVIDIA vẫn chọn công bố, điều đó là một điểm có lợi cho bảng số liệu.

• Độ chính xác AA-Omniscience — Bolt 16.90 so với 16.63 của Lightning. Thực chất là một sự hòa nhau, và là cặp số yếu nhất trên bảng xét theo giá trị tuyệt đối.

Mọi con số trong danh sách đó đều do nhà cung cấp tự báo cáo trên thẻ mô hình và chưa được tái lập. Artificial Analysis từ đó đã đo độc lập hai điểm chỉ số — 21,4 và 12,9 — và hướng khớp với nhau, đó là điều tối đa có thể nói ở thời điểm hiện tại.

Khi mô hình nhỏ hơn là câu trả lời tốt hơn

Khoảng cách về chỉ mục là có thật, và đó không phải là trục duy nhất. Lightning thắng ba dòng quan trọng đối với các triển khai cụ thể.

Nó nhanh hơn theo một hệ số mà chưa ai đo được ở phía Bolt. 305 token đầu ra mỗi giây với thời gian đến token đầu tiên dưới một giây là một đẳng cấp phản hồi khác hẳn so với bất kỳ thứ gì mà một checkpoint 74B 2-bit chưa được đo hiện có thể được giả định là đạt tới, và nó đã được đo. Thông lượng do chính Bolt công bố, 83.99 token mỗi giây trên AIPerf SPEED-Bench-Coding với drafter LiLiCorr đang hoạt động, đến từ trang nghiên cứu của N​VIDIA trên một máy lớp laptop và không thể so sánh với giàn máy của panel.

Nó có lượng ngữ cảnh gấp bốn lần. Một triệu token so với 256.000, và sự khác biệt thể hiện ở điểm truy xuất ngữ cảnh dài độc lập: Lightning đạt 49,19 trên AA-LCR trong bảng của NVIDIA, Bolt đạt 64,06 — Bolt sử dụng ngữ cảnh dài tốt hơn, nhưng Lightning là mô hình duy nhất trong hai mô hình quảng cáo cửa sổ một triệu token, vì vậy nếu khối lượng công việc là "đọc toàn bộ kho lưu trữ" thì giới hạn trần có thể quan trọng hơn chất lượng truy xuất bên trong nó.

Đây là cái duy nhất trong hai cái có giá. Lightning có sẵn ở mức $0.06 cho đầu vào và $0.20 cho đầu ra trên mỗi triệu token, điều này khiến nó trở thành cơ sở hạ tầng có thể gọi được thay vì một dự án phần cứng. Chưa ai công bố mức giá thuê cho Bolt, nên cách duy nhất để chạy nó là sở hữu cỗ máy.

Điều mà Lightning không thể làm là nhìn. Nó chỉ xử lý văn bản, còn Bolt chấp nhận hình ảnh và video thông qua bộ mã hóa C-RADIO v4-H, đạt 50,86 trên WebArena vision, nơi Lightning không có mục nào. Nếu tác nhân đọc ảnh chụp màn hình, mở PDF hoặc điều khiển trình duyệt, chỉ riêng hàng đó quyết định lựa chọn — và đó là hàng đến từ nguồn gốc Super VL của Bolt chứ không phải từ số lượng tham số của nó.

Chi phí thực sự để vận hành Bolt là bao nhiêu

Công thức phục vụ tham chiếu của {{1}}N​VIDIA{{/1}} cho checkpoint 24GB không phải là một lệnh duy nhất để bạn dán vào. Nó ghim một image vLLM nightly cụ thể, cài gói kernel b12x và tải các kernel, tải riêng một tệp plugin bộ phân tích lý luận, rồi đặt model runner v2, các backend tuyến tính và MoE thành b12x, các backend attention và Mamba thành FlashInfer, các kiểu dữ liệu bộ nhớ đệm Mamba tường minh, một cờ chunked-prefill và cấu hình giải mã suy đoán trỏ tới drafter LiLiCorr với bảy token nháp. Các bộ phân tích lệnh gọi công cụ và lý luận được nêu tên rõ ràng, và các giới hạn phương tiện đặt mức tối đa cho mỗi yêu cầu là một ảnh và một video với tỷ lệ cắt tỉa video là 0,5.

Câu chuyện triển khai của Lightning là một container Docker, một endpoint tương thích OpenAI và một tên mô hình mà bạn cũng có thể nhận được từ một nhà cung cấp dịch vụ lưu trữ với giá sáu xu mỗi triệu token. Trên thực tế, sự khác biệt đó chính là toàn bộ phép so sánh: Bolt là một cuối tuần làm việc và một cỗ máy bạn sở hữu, còn Lightning là một buổi chiều và một hóa đơn.

Cách chọn, và điều gì sẽ định đoạt điều đó

Hãy chọn Lightning nếu khối lượng công việc của bạn là văn bản, ngân sách độ trễ của bạn eo hẹp, và nhu cầu ngữ cảnh của bạn lớn hoặc bạn muốn trả tiền theo token hơn là mua phần cứng. Hồ sơ độc lập của nó — tốc độ đầu ra đo được nhanh nhất trong phân khúc, token đầu tiên dưới một giây, giá niêm yết — khiến nó trở thành lựa chọn ít rủi ro nhất trong dòng sản phẩm, và điểm trí tuệ thấp hơn được định giá tương ứng. Đây cũng là lựa chọn mặc định phù hợp nếu bạn dự định ghép một bộ thực thi cục bộ nhỏ với một bộ lập kế hoạch được lưu trữ lớn hơn, đúng theo cách N​VIDIA định vị nó.

Hãy chọn Bolt nếu agent của bạn có đụng đến pixel hoặc chạy mà không cần mạng. Dòng vision là thứ chỉ riêng nó có, khả năng suy luận quy mô 74B dẫn trước tám điểm chỉ số, và hạn mức 24GB là cái duy nhất trong họ có thể đưa một checkpoint 74B chưng cất từ teacher vừa lên một accelerator cấp tiêu dùng duy nhất. Hãy chấp nhận rằng bạn đang chạy cục bộ planner được host trên GPU và phải trả giá cho điều đó bằng độ trễ mà bạn chưa thể dự đoán.

Đối với phần được lưu trữ (hosted) của một trong hai kiến trúc, OrcaRouter đưa các mô hình mà chúng tôi định tuyến vào sau một khóa duy nhất với mức giá niêm yết của nhà cung cấp và 0 phần trăm phụ phí cộng thêm, và tính năng chuyển đổi dự phòng tự động giữa các nhà cung cấp nghĩa là sự cố về dung lượng ở phía thượng nguồn sẽ được thử lại thay vì bị lộ ra ngoài. Chúng tôi không lưu trữ bất kỳ mô hình N​emotron nào — danh mục đã được kiểm tra chứ không phải giả định, và dòng mô hình này không có trong đó — nên phần cục bộ của so sánh này không bị ảnh hưởng bởi bất kỳ điều gì chúng tôi làm. Thiết lập định tuyến mang lại là phương án B cho người lập kế hoạch trong khi bạn đánh giá, điều này quan trọng ở đây vì cả hai checkpoint này đều không có hồ sơ độ trễ độc lập được công bố mà bạn có thể dùng để định cỡ một đường dẫn sản xuất dựa trên đó.

Thứ sẽ định đoạt sự lựa chọn là một con số chưa hề tồn tại: một lần chạy đo thông lượng và độ trễ độc lập trên checkpoint 24GB ở kích thước batch bằng một. Cho đến khi ai đó công bố nó, luận cứ ủng hộ Bolt hoàn toàn dựa vào hai thứ mà Lightning không thể sánh được — quy mô tham số và khả năng thị giác — còn luận cứ ủng hộ Lightning dựa vào bốn con số được đo độc lập.

Điều mà những con số không thể cho bạn biết là liệu có bất kỳ phần nào trong đó đã gặp trục trặc trong thực tế hay không: các sự cố AI và lỗi agent được ghi nhận liên quan đến các mô hình thuộc lớp này được tập hợp trong OrcaRouter AI Incident Archive, nơi mỗi mục đều có nguồn riêng, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp.