Nemotron 3.5 Bolt so với Nemotron 3.5 Lightning: Bảng của chính NVIDIA nói gì khi bạn đọc cả hai cột

NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB và NVIDIA Nemotron 3.5 Lightning 30B-A3B là hai cấp bậc của cùng một dòng sản phẩm, ra mắt cách nhau mười tuần, và nhà cung cấp đã công bố một bảng đặt chúng đối đầu trực tiếp với nhau. Điều đó thật bất thường và hữu ích: hầu hết những bảng đối đầu bạn đọc đều do một nhà báo hoặc một nhà cung cấp chọn lọc những so sánh có lợi rồi ghép lại, còn bảng này là do một phòng thí nghiệm tự đánh giá mô hình mới hơn của mình so với mô hình cũ hơn của mình, công khai, với mô hình cũ hơn được nêu tên như một đường cơ sở. Nó vẫn là do nhà cung cấp tự báo cáo và chưa có ai ngoài NVIDIA tái lập được dù chỉ một dòng — nhưng chủ đích đằng sau nó thì không có gì phải nghi ngờ, và hướng của kết quả cũng vậy. Bolt thắng mười hai trong số mười ba dòng. Thật đáng để hiểu chính xác dòng nào nó thua và vì sao dòng đó mới là dòng thú vị.

Cấu trúc dòng họ quan trọng trước cả những con số. Nemotron 3.5 Lightning ra mắt ngày 11 tháng 8 năm 2026 với vai trò tầng thực thi của một chồng tác tử — một mô hình lai tổng 30B, kích hoạt 3B mà NVIDIA chưng cất từ Nemotron 3 Ultra lớn hơn hẳn, cụ thể là để một mô hình tiên phong lo phần lập kế hoạch trong khi Lightning cày xới các lệnh gọi công cụ trên một GPU duy nhất. Bolt thuộc một dòng khác hoàn toàn: nó được nén từ mô hình 120B-A12B Nemotron 3.5 Super VL, chứ không phải từ Ultra, và nó tồn tại để trở thành một mô hình tổng quát thị giác-ngôn ngữ vừa vặn trong 24GB. Cả hai đều mở trọng số theo OpenMDW-1.1, cả hai đều là hỗn hợp thưa các chuyên gia trên xương sống lai Mamba-2, và cả hai đều trang bị giải mã suy đoán — Lightning với các đầu Multi-Token Prediction cùng các drafter DFlash và DSpark, Bolt với một drafter LiLiCorr chạy qua DFlash đề xuất bảy token về trước.

Dòng dõi chung không còn hữu ích vào lúc bạn phải quyết định, vì hai mô hình trả lời những câu hỏi khác nhau. Một cái là bộ thực thi giá rẻ. Cái còn lại là một mô hình đa năng cục bộ.

Đọc bảng theo vai trò, không theo điểm số

Mọi số liệu dưới đây đều đến từ model card của chính NVIDIA cho checkpoint Bolt 24GB, trong đó liệt kê Lightning như một baseline. Cột Bolt là IQ2, một artifact lượng tử hóa 2-bit. Cột Lightning là BF16, không lượng tử hóa. Sự bất đối xứng đó là điều quan trọng nhất cần biết về bảng này, và nó nghiêng theo hướng có lợi cho Bolt — nó đang thắng ở những hàng đó trong khi bị nén khoảng tám lần so với mô hình gốc.

• Lý luận tác tử tổng quát — GDPVal-AA-V2: Bolt 28.47, Lightning 18.26. Một khoảng cách mười điểm, và là hàng gần nhất với "mô hình này giỏi đến đâu ở công việc kiểu văn phòng thường ngày mà nó được xây dựng để làm."

• Công việc trên terminal — Terminal-Bench 2.1: Bolt 50.98, Lightning 23.46. Đây là khoảng cách lớn nhất trên bảng và điều đó không có gì đáng ngạc nhiên, vì hướng dẫn của chính NVIDIA dành cho Lightning là nó không nên là tác nhân chính. Một đánh giá độc lập ghi nhận khoảng 24,6 cho Lightning trên cùng benchmark, đủ gần với 23,46 của nhà cung cấp để cho thấy con số này là thật.

• Lập luận khoa học và tri thức — GPQA Diamond: Bolt 86,43, Lightning 75,57. SciCode: Bolt 41,02, Lightning 31,38. Humanity's Last Exam không dùng công cụ: Bolt 25,30, Lightning 10,47. Tính nhất quán trên ba dạng câu hỏi khó khác nhau.

• Suy luận ngữ cảnh dài — AA-LCR: Bolt 64.06, Lightning 49.19. Mười lăm điểm, và ở đây ràng buộc bộ nhớ không phải là yếu tố giới hạn đối với mô hình nào trong hai mô hình.

• Năng lực tác nhân web và duyệt web — BrowseComp: Bolt 66,75, Lightning 36,81. Ba mươi điểm. Khoảng cách đơn lẻ lớn nhất trong bảng, và là khoảng cách phản bác trực tiếp nhất quan niệm coi Lightning là một bộ thực thi tự trị.

• Mật độ sử dụng công cụ — MCP-Atlas: Bolt 52,20, Lightning 46,4. PinchBench: Bolt 87,82, Lightning 83,43. Cả hai gần nhau hơn so với các khoảng cách ở trên, điều này nhất quán với định hướng thiết kế thực tế của Lightning: các bước sử dụng công cụ ngắn, tần suất cao.

• Thị giác — WebArena vision: Bolt 50.86, Lightning không có mục nào. Đây không phải là khoảng trống trong báo cáo. Lightning chỉ nhận văn bản và trả ra văn bản; nó không có bộ mã hóa thị giác để chấm điểm.

Hàng duy nhất mà Lightning thắng, và tại sao đó không phải là nhiễu

AA-Omniscience không ảo giác: Nemotron 3.5 Lightning 68,81, Nemotron 3.5 Bolt 61,27. Ở nửa độ chính xác của cùng đánh giá đó, hai mô hình chỉ chênh nhau chưa đầy một phần ba điểm — 16,90 cho Bolt so với 16,63 cho Lightning — điều này khiến khoảng cách ở nửa không ảo giác trở thành toàn bộ câu chuyện, chứ không phải một sai lệch do làm tròn. Mô hình nhỏ hơn, cũ hơn, không lượng tử hóa tỏ ra dè dặt hơn một cách có thể đo được khi nói những điều nó không biết.

Đó là một phát hiện thực sự và nó có cơ chế hợp lý. Bolt đạt tới dấu chân của mình thông qua lượng tử hóa 2-bit mạnh tay với chưng cất nhận biết lượng tử hóa; phần mất mát của pipeline đó đúng chính là phần chi phối độ bất định đã hiệu chỉnh. Lightning nhỏ hơn nhưng nằm ở độ chính xác BF16 đầy đủ, và mục tiêu chưng cất của nó là một mô hình suy luận chứ không phải một tỷ lệ nén. Nếu kiểu thất bại của tác nhân của bạn là một câu trả lời sai đầy tự tin lan truyền vào một hành động, thì đây là hàng cần cân nhắc nặng nhất — và dù định tuyến có khéo léo đến đâu cũng không sửa được một mô hình bịa đặt nhiều hơn.

Các nhà cung cấp hiếm khi công bố một bảng mà trong đó có một hàng mà mẫu mới của họ bị thua. Việc bảng này có như vậy là một chút bằng chứng cho thấy bảng không hoàn toàn chỉ mang tính quảng cáo.

Chi phí phục vụ mới là trục thứ hai thực sự

Điểm số ở trên không phải là toàn bộ quyết định, vì hai mô hình này không tốn kém như nhau khi vận hành.

• Tham số hoạt động — Bolt kích hoạt 9B mỗi token; Lightning kích hoạt khoảng 3B. Lượng tính toán gấp ba lần mỗi token đối với mô hình lớn hơn, ở mọi token, mãi mãi.

• Dung lượng bộ nhớ — Bolt là một tệp 24GB với mọi thứ đã được nén sẵn; Lightning là checkpoint 30B BF16 chỉ cần một GPU duy nhất và vừa vặn thoải mái trên RTX 5090, DGX Spark hoặc một thiết bị Jetson.

• Bối cảnh — cả hai đều được chỉ định ở mức 1M token, và trên thực tế cả hai đều hẹp hơn. Lightning phục vụ 256K trên một H100 trước khi các phép tính bộ nhớ trở nên rắc rối; cửa sổ được công bố của Bolt là 262.144, và cửa sổ đó chia sẻ cùng 24GB với KV cache, hình ảnh và kết quả công cụ.

• Tuyên bố về tốc độ — NVIDIA tuyên bố tốc độ đầu ra nhanh gấp tối đa 4 lần so với các mô hình có kích thước tương tự đối với Lightning thông qua các bộ tạo bản nháp MTP và DFlash/DSpark của mình, và ít nhất 80 token mỗi giây khi giải mã là mục tiêu thiết kế cho Bolt, với 84 được đo trên AIPerf SPEED-Bench trên RTX Spark và 83.99 trong một lần chạy llama.cpp trên Surface Laptop Ultra với 128GB. Cả hai đều là số liệu của nhà cung cấp. Không ai ngoài NVIDIA tái lập được cả hai.

• Đo lường — cả hai đều không có mức giá dạng hosted từ chúng tôi hoặc từ bất kỳ nền tảng nào mà chúng tôi có thể chỉ cho bạn. Dù thế nào thì chi phí vẫn là phần cứng của bạn, và đó chính xác là lý do số lượng tham số hoạt động lại quan trọng hơn so với trong một so sánh dạng hosted.

Những gì bảng điều khiển có thể và không thể đo lường

Artificial Analysis có một mục cho Nemotron 3.5 Bolt 74B-A9B và chấm nó 21 điểm trên Intelligence Index, đứng thứ tư trong số 67 mô hình cùng lớp dấu chân, so với mức trung vị của lớp là 8. Các trường tốc độ và chi phí mỗi tác vụ của nó ghi N/A, vì không có endpoint được lưu trữ nào để gọi. Hai khoảng trống đó phản ánh đúng thực trạng của mô hình: ngưỡng sàn trí tuệ của nó đã được kiểm chứng độc lập, còn ngưỡng trần hiệu năng thì chưa.

Không có mục Artificial Analysis nào cho Nemotron 3.5 Lightning tại thời điểm viết bài, khiến toàn bộ so sánh chỉ còn dựa vào thẻ mô hình của chính NVIDIA. Điểm dữ liệu độc lập duy nhất thực sự tồn tại — một xác minh của LLM Stats đạt khoảng 24,6 trên Terminal-Bench 2.1, nhất quán với con số 23,46 của nhà cung cấp — củng cố các số liệu của nhà cung cấp thay vì mâu thuẫn với chúng. Điều đó mang lại sự yên tâm về bảng so sánh mà không thay thế cho một harness thứ hai.

Làm thế nào để thực sự lựa chọn

Ý định thiết kế quyết định hầu hết các trường hợp trước cả khi các bài kiểm chuẩn kịp làm điều đó. Lightning vốn dĩ được thiết kế như một bộ thực thi: hướng dẫn của chính NVIDIA là để một mô hình tiên phong lập kế hoạch và Lightning chạy vòng lặp, và những dòng tốt nhất của nó trong bảng là những dòng gọi công cụ tần suất cao thay vì những dòng agent tự trị. Bolt vốn dĩ được thiết kế như một mô hình tổng quát: cùng bảng đó cho thấy nó vượt xa ở khả năng duyệt web và công việc trên terminal, những tác vụ thiên về lập kế hoạch mà Lightning vốn không được dự định đảm nhận — và nó là mô hình duy nhất trong hai mô hình có thể nhìn thấy.

Sự kết hợp mà cả hai mô hình được xây dựng để hướng tới là một bộ lập kế hoạch, một bộ thực thi và một chuyên gia cục bộ. Vì không checkpoint nào có mức giá thuê dịch vụ lưu trữ, sự phân tách này rơi vào phần cứng của chính bạn và một endpoint ở phía trước nó đảm nhiệm phần việc hữu ích: một quy tắc định tuyến gửi các vòng lặp gọi công cụ ngắn đến một bản triển khai Lightning, các yêu cầu mang thị giác và điều khiển trình duyệt đến Bolt, và bất cứ thứ gì cần suy luận tiên phong thực sự thì đưa ra mô hình chạy trên dịch vụ lưu trữ — tất cả nằm sau một khóa, với cơ chế chuyển đổi dự phòng giữa các nhà cung cấp thượng nguồn khi một nhánh dịch vụ lưu trữ suy giảm. Quy tắc nằm trong cấu hình thay vì trong từng dịch vụ, đó chính là khác biệt giữa một lớp định tuyến và một bản viết lại.

Câu hỏi còn bỏ ngỏ nằm ở một lần chạy độc lập duy nhất. Nếu một bên thứ ba tái lập được các khoảng cách Terminal-Bench và BrowseComp trên Bolt, thì checkpoint 24GB thực sự là mô hình tổng quát mạnh hơn, và lý lẽ ủng hộ tầng 30B thu hẹp lại thành thuần túy kinh tế thông lượng. Nếu không, cách diễn giải trung thực là một mô hình 74B lượng tử hóa 2-bit và một mô hình 30B BF16 gần nhau hơn mức bảng của một nhà cung cấp ngụ ý — và rằng hàng không ảo giác, hàng mà Lightning thắng, xứng đáng được coi trọng hơn mức mà vị trí cuối cùng trên thẻ của nó hàm ý.