NVIDIA Nemotron 3.5 Super VL ra mắt: Trọng số mở 120B, tuyên bố gấp 5 lần, và điểm trừ 249 GB

NVIDIA Nemotron 3.5 Super VL đã ra mắt, và thông số kỹ thuật lẽ ra phải quyết định liệu bạn có dùng thử nó hay không lại không phải là thông số mà thông báo mở đầu bằng. Mô hình này là một hệ thống thị giác-ngôn ngữ 120B tham số với 12B tham số hoạt động, ngữ cảnh 1M token, giải mã suy đoán gốc và hỗ trợ văn bản, hình ảnh, tài liệu và video. Bài đăng ra mắt của NVIDIA có ngày 15 tháng 10 năm 2026 và quảng bá nó là mô hình tác tử mở nhanh nhất trong phân khúc — "nhanh hơn tới 5 lần về thông lượng so với các mô hình khác trong cùng phân khúc," được đo trên bảng xếp hạng Artificial Analysis Intelligence Index. Điều mà bài đăng không đưa ra trước mắt bạn là bản phát hành này gồm hai checkpoint, rằng sự khác biệt giữa chúng là 174 GB VRAM, và rằng cái nhỏ hơn phải trả giá cho khoản tiết kiệm đó một cách không đồng đều.

Điều gì thực sự đã được phát hành vào ngày 15 tháng 10

Hai việc đã xảy ra vào những ngày khác nhau, và khoảng cách đó rất quan trọng nếu bạn đang định ngày cho một đợt triển khai. Các trọng số đã có mặt trên Hugging Face vào ngày 12 tháng 10 lúc 15:32 UTC. Thông báo đến sau đó vào ngày 15 tháng 10. Thẻ mô hình của chính NVIDIA ghi ngày phát hành là 10/15/2026 ở phiên bản 1.0 GA, vì vậy nhà cung cấp coi ngày 15 là ngày xuất xưởng; dấu thời gian của kho lưu trữ lại nói khác. Không ngày nào quá một tuần tuổi, và cả hai đều đủ mới đến mức chưa có gì về bản phát hành này có thời gian để được tái tạo độc lập.

Bản phát hành này bao quát rộng hơn mô hình mà thông báo được đặt tên theo:

• Nemotron 3.5 Super VL — mẫu chủ lực, tổng 120B / 12B hoạt động, với một bản dựng BF16 và một bản dựng NVFP4, cả hai đều được công bố ngày 12 tháng 10.

• Nemotron 3.5 Super VL Base — checkpoint trước post-training, được công bố cùng với bản instruct, điều này quan trọng vì giấy phép cho phép bạn tự chạy quá trình post-training của riêng mình.

• Nemotron 3.5 Bolt 74B-A9B 24GB — một mô hình biên vừa vặn trong 24 GB nhờ lượng tử hoá 2-bit nguyên bản, công bố ngày 7 tháng 10.

• Nemotron 3.5 Bolt E4B 4GB — nhỏ nhất trong dòng sản phẩm, ngày 23 tháng 10.

Kiến trúc là một Mixture-of-Experts lai Mamba-2/Transformer với Multi-Token Prediction, 512 routed experts mỗi lớp MoE, một bộ mã hóa thị giác C-RADIO và một bộ kết nối thị giác-ngôn ngữ. Xử lý đa phương thức bao gồm OCR, bảng, biểu đồ, tài liệu nhiều trang và visual grounding; video được chấp nhận dưới dạng MP4 tối đa hai phút, được lấy mẫu ở 2 FPS và tối đa 256 khung hình, hoặc 1 FPS và 128 khung hình ở 1080p. Giấy phép là OpenMDW-1.1, mà model card nêu rõ là sẵn sàng cho sử dụng thương mại hoặc phi thương mại — một bộ điều khoản thực sự cấp phép rộng rãi, và là một phần thực sự lý giải vì sao bản phát hành này nhận được sự chú ý.

Hai trạm kiểm soát, và 174 GB ở giữa chúng

Đây là chỗ bản phát hành trở nên thú vị đối với bất kỳ ai phải trả tiền cho GPU. NVIDIA đã công bố cùng một mô hình hai lần, ở hai độ chính xác, và hai bản dựng không hề gần nhau về kích thước. Cả hai con số dưới đây đều được đọc từ danh sách tệp trong kho Hugging Face, nơi báo cáo kích thước của từng phân mảnh trọng số riêng lẻ:

• checkpoint BF16 — 248,94 GB trải trên 63 shard. Header safetensors cho biết số lượng tham số là 124,45 tỷ.

• Checkpoint NVFP4 — 75,06 GB trên 88 shard. Suy luận chạy W4A4 trên Blackwell và W4A16 trên mọi phần cứng cũ hơn.

• Phần cứng, độ chính xác đầy đủ — Card của NVIDIA liệt kê 4× H100 hoặc 2× GB200 cho văn bản, hình ảnh và video.

• Phần cứng, đã lượng tử hóa — 1× H200, 2× H100, 1× GB200, hoặc một DGX Spark duy nhất, với đường Spark cần một drafter LiLiCorr cho việc giải mã suy đoán.

• Mức tiết kiệm — 173,88 GB, tức nhỏ hơn khoảng 3,3× trên đĩa, và là sự khác biệt giữa một nút bốn GPU và một bộ tăng tốc duy nhất.

Hãy đọc đó như một câu hỏi kinh tế, vì nó đúng là như vậy. Đi từ bốn H100 xuống một H200 không phải là một quyết định tinh chỉnh; đó là sự khác biệt giữa một mô hình bạn có thể đặt phía sau một sản phẩm trong quý này và một mô hình bạn không thể. Công thức lượng tử hóa mà NVIDIA sử dụng cũng kỹ lưỡng hơn mức thông thường: bộ mã hóa thị giác, bộ kết nối, các tích chập Mamba và các embedding vẫn giữ ở BF16, bộ định tuyến MoE vẫn giữ ở FP32, còn phần còn lại được tạo ra bằng chưng cất nhận biết lượng tử hóa từ mô hình BF16 với 200 vòng lặp chưng cất dựa trên SFT chồng lên trên.

Bản dựng lượng tử hóa phải đánh đổi những gì

NVIDIA đã công bố một bảng so sánh theo cặp giữa hai checkpoint với mọi cài đặt khác được giữ cố định, đây là cách trung thực để thực hiện so sánh này và hiếm hơn mức đáng lẽ phải có. Các cặp dưới đây là số liệu của chính NVIDIA, từ thẻ mô hình NVFP4, và chúng không phải tất cả đều cùng một hướng.

Nơi bản dựng lượng tử hóa thua kém:

• Terminal-Bench 2.1 — 66.70 trong BF16 so với 60.80 trong NVFP4. Mức giảm 5.9 điểm, mức suy giảm đơn lẻ lớn nhất trong bảng.

• WebVoyager, ngoại tuyến — 77,72 so với 66,31. Giảm 11,4 điểm trong công việc với tác nhân trình duyệt.

• DeepSWE, ngoại tuyến — 24,65 so với 18,20.

• MMLU-ProX — 76.91 so với 73.76.

• tau3-bench banking — 18,88 so với 17,78.

Nơi nó đạt được, hoặc giữ vững:

• GPQA-Diamond — 89.52 so với 89.90.

• Danh sách rút gọn APEX — 88.36 so với 89.36.

• Tỷ lệ ảo giác của AA-Omniscience — 30,0 so với 27,7, tức là bản lượng tử hóa có tỷ lệ ảo giác thấp hơn một chút theo thước đo của chính NVIDIA.

• tau2-bench telecom — 73.19 cả hai bên, giống hệt nhau.

• OCRBench v2 EN — 68,12 so với 68,34.

• MMLongBench-Doc — 62,82 ở cả hai phía.

Quy luật này đã rõ ràng ngay cả khi không cần đến một nhà thống kê. Các khối lượng công việc về tài liệu, OCR và truy hồi kiến thức hầu như không nhích, thậm chí một số còn cải thiện. Các khối lượng công việc tác nhân theo chuỗi dài thay đổi rất nhiều. Nếu ứng dụng của bạn đọc hồ sơ, biên lai hoặc hình ảnh trang và trả về đầu ra có cấu trúc, thì checkpoint 75 GB chính là thứ bạn nên phục vụ và bạn gần như chẳng đánh đổi gì đáng kể. Nếu ứng dụng của bạn là một tác nhân chạy terminal hoặc điều khiển trình duyệt qua hàng chục bước liên tiếp, bạn đang đánh đổi khoảng chín phần trăm Terminal-Bench để lấy ba phần tư hóa đơn GPU, và đó là quyết định đáng để chạy trên bài đánh giá của riêng bạn thay vì trên bảng của nhà cung cấp.

5x, và nó được đo lường dựa trên cái gì

Tiêu đề chính của NVIDIA là thông lượng, và nó xứng đáng được đọc một cách chính xác thay vì bị gạt bỏ hoặc lặp lại. Tuyên bố là “thông lượng nhanh hơn tới 5 lần so với các mô hình khác cùng lớp,” và lớp đó không được định nghĩa trong bài viết. Phép đo là của NVIDIA, trên ngăn xếp phục vụ của NVIDIA, ở mức đồng thời và hỗn hợp chuỗi bất kỳ mà công thức đã chọn — bảng triển khai của chính thẻ mô hình chỉ định 32 chuỗi đồng thời và 5 hoặc 3 token nháp suy đoán tùy thuộc vào phần cứng, và thông lượng trên một proxy tác tử 20 lượt là một con số rất khác so với thông lượng trên các prompt một lần.

Không điều nào trong đó làm cho tuyên bố trở thành sai. Nó biến tuyên bố đó thành tuyên bố của nhà cung cấp về một khối lượng công việc do nhà cung cấp cấu hình, đúng như nhãn ghi. Điều đáng lưu ý là ở bản phát hành này không có đối trọng: chưa có phép đo thông lượng độc lập nào cho các checkpoint này được công bố, nên những con số duy nhất đang lưu hành là của NVIDIA. Một con số thông lượng mà không có mô hình cơ sở được nêu tên, mức đồng thời được nêu rõ và cấu hình phần cứng được nêu rõ thì không phải là thứ bạn có thể dựa vào để hoạch định năng lực. Nếu mức 5x là trụ cột cho quyết định của bạn, hãy tái tạo nó trên lưu lượng của chính bạn trước khi bạn ký đặt trước GPU.

Ở những điểm mô hình mạnh, theo bảng của chính NVIDIA

Thẻ mô hình đơn cũng liệt kê cách checkpoint BF16 so sánh với các mô hình cùng loại, và đáng để đọc các cột nằm bên phải cột của chính NVIDIA, bởi vì chúng cũng là của NVIDIA. So với Qwen3.5-122B-A10B, Qwen3.8-Flash-Next, DeepSeek-V4-Flash, Nemotron 3 Ultra, Inkling-Small và GLM-5.3-Flash:

• Video-MME v2 — 32.85, so với Qwen3.8-Flash-Next ở 45.1 và GLM-5.3-Flash ở 14.8. Ở khoảng giữa bảng, và có độ trải rộng lớn nhất so với bất kỳ hàng nào.

• OCRBench v2 EN — 68,12, gần ngang bằng với Qwen3.8-Flash-Next ở mức 67,9 và Qwen3.5-122B-A10B ở mức 68,3.

• Suy luận CharXiv — 80.82, kém hơn cả hai mô hình Qwen.

• MathVision — 78.16, xếp sau Qwen3.8-Flash-Next ở mức 87.5.

• MMLU-ProX — 76.91, thấp hơn mọi cột đối thủ ngang hàng ở hàng đó.

• Tỷ lệ ảo giác AA-Omniscience — 30,0, so với Qwen3.5-122B-A10B ở mức 84,5 và DeepSeek-V4-Flash ở mức 95,9. Ở hàng này, thấp hơn là tốt hơn, và khoảng cách không hề nhỏ.

• Terminal-Bench 2.1 — 66,70, so với Qwen3.8-Flash-Next ở 85,8 và GLM-5.3-Flash ở 82,7.

• SWE-bench Verified — 71.10, so với GLM-5.3-Flash ở mức 79.10.

• OSWorld-Verified — 51,14, so với GLM-5.3-Flash ở mức 14,78.

Đặc điểm đó nhất quán với mục đích mà NVIDIA nói mô hình này hướng tới. Nó không dẫn đầu về suy luận thuần túy hay lập trình, và nó cũng không tự nhận như vậy — thông báo định vị nó so với mô hình lớn nhất của chính hãng với số tham số chỉ khoảng một phần năm, chứ không phải so với các mô hình tiên phong. Nó mạnh về kiểm soát ảo giác, trích xuất tài liệu và công việc tác nhân trên máy tính để bàn, ở mức trung bình về video, và xếp sau trên các benchmark tác nhân-terminal khó nhất. Nếu bạn đến với bản phát hành này vì "hiểu video" nằm ở dòng đầu tiên của thông báo, thì các con số về video là thứ bạn nên xem xét kỹ.

Chi phí để vận hành là bao nhiêu

Không có giá niêm yết, và đó không phải là sự thiếu sót từ phía NVIDIA — đó chính là hình dạng của một bản phát hành trọng số mở. NVIDIA không bán mô hình này theo token với mức giá công bố; họ công bố trọng số theo OpenMDW-1.1 và một container NIM với các cấu hình đã được kiểm chứng, còn bạn trả tiền cho GPU. Vậy nên câu hỏi về chi phí là câu hỏi về số giờ GPU, và hai câu trả lời chấp nhận được là 4× H100 cho BF16 hoặc một H200 hay một chiếc DGX Spark cho NVFP4.

Đó là phần số học mà hầu hết các nhóm làm sai khi so sánh một mô hình mở với một API được host. Phía dịch vụ được host đưa ra mức giá theo token vốn đã bao gồm đường cong mức sử dụng của người khác. Phía mô hình mở chỉ đưa ra một checkpoint và danh sách phần cứng tối thiểu, còn con số thực tế phụ thuộc hoàn toàn vào việc bạn có thể giữ GPU luôn bận hay không. Một chiếc H200 duy nhất chạy checkpoint 75 GB phục vụ một quy trình nội bộ vài trăm lần mỗi ngày thì đắt hơn rất nhiều tính trên mỗi lượt gọi so với cùng checkpoint đó trên một triển khai dùng chung. Hãy thuê trước khi mua, và đo token mỗi giây trên chính các prompt của bạn thay vì trên một workload đại diện.

Thử nó trước khi bạn đặt cược cả một sản phẩm vào nó

Bước đi đầu tiên trung thực với một mô hình mà tài liệu mới chỉ có một ngày tuổi là đánh giá, chứ không phải di chuyển, và đó chính là nơi một gateway thực sự làm việc thay vì chỉ nói suông. Một khóa duy nhất cho hơn 200 mô hình ở mức giá niêm yết của nhà cung cấp với 0% phụ phí nghĩa là phép so sánh mà bạn thực sự muốn — Nemotron 3.5 Super VL đối chiếu với mô hình văn bản hoặc thị giác bạn đang dùng hôm nay — chỉ là thay đổi một chuỗi mô hình thay vì thiết lập quan hệ với nhà cung cấp thứ hai, và cơ chế chuyển đổi dự phòng tự động giữa các nhà cung cấp nghĩa là một khối lượng công việc bạn chỉ đang thử nghiệm có thể chạy song song với lưu lượng sản xuất mà không bên nào phụ thuộc vào bên kia. Điều đó ở đây quan trọng hơn mức thông thường: hai checkpoint hành xử khác nhau đủ rõ trong các tác vụ agentic đến mức thí nghiệm hữu ích không phải là "mô hình này có tốt không" mà là "bản dựng nào trong hai bản này, trên benchmark nào của tôi, với chi phí GPU bao nhiêu."

Trình tự giúp tránh lãng phí một tháng GPU: hãy chọn khối lượng công việc dạng tài liệu trước, vì đó là nơi khoảng cách giữa BF16 và NVFP4 là nhỏ nhất và cũng là nơi các con số của chính mô hình là tốt nhất. Chạy nó với checkpoint nhỏ hơn. Chấm điểm nó bằng một bài eval do bạn tự viết. Chỉ khi đó mới quyết định liệu các khối lượng công việc dạng agentic — những cái mà bản lượng tử hóa mất 5.9 điểm trên Terminal-Bench và 11.4 trên WebVoyager — có biện minh cho bản dựng 249 GB và bốn GPU hay không.

Điều gì vẫn chưa được giải đáp?

Ba khoảng trống đáng để theo dõi vì chúng thay đổi quyết định chứ không phải hoạt động tiếp thị.

Đầu tiên là đánh giá độc lập. Mọi con số trong bài viết này đến từ NVIDIA đều được dán nhãn như vậy, và trong bản phát hành này thì đó là tất cả các con số. Không bên thứ ba nào đã công bố phép đo thông lượng, tái lập độ chính xác hay so sánh bộ khung đánh giá cho cả hai checkpoint. Tuyên bố thông lượng gấp 5 lần và bảng lượng tử hóa đi kèm là nhất quán nội bộ và rõ ràng được tạo ra một cách cẩn thận, và chúng vẫn là do nhà cung cấp báo cáo và chưa được tái lập. Hãy coi chúng như một giới hạn trên cho đến khi ai đó ngoài NVIDIA công bố cùng những thí nghiệm đó.

Thứ hai là hướng video. Mô hình chấp nhận MP4 và thông báo mở đầu bằng khả năng hiểu video, nhưng trên bài đánh giá chuẩn video duy nhất trong bảng của chính NVIDIA, nó đạt 32.85 trong khi Qwen3.8-Flash-Next ở mức 45.1. Dữ liệu huấn luyện bao phủ video từ 10.000 đến một triệu giờ, một khoảng rất rộng và không cho bạn biết gì về mật độ hay lĩnh vực. Nếu video là trường hợp sử dụng của bạn, đây là hàng cần kiểm thử trước tiên và cũng là hàng dễ làm thất vọng một bộ hồ sơ mua sắm được dựng từ thông báo nhất.

Thứ ba là checkpoint cơ sở. Việc công bố nó theo cùng giấy phép là phần có đuôi dài nhất trong bản phát hành này, vì nó cho phép một nhóm có dữ liệu riêng tiến hành hậu huấn luyện thay vì phải prompt quanh mô hình của nhà cung cấp. Tập dữ liệu hậu huấn luyện của chính NVIDIA cho dòng mô hình này cũng mở, và mức ảnh hưởng trong báo cáo của NVIDIA lên tới hàng chục điểm trong harness của NVIDIA. Chưa ai công bố một bản fine-tune độc lập đáng tin cậy dựa trên checkpoint cơ sở đó. Khi có người làm được, nó sẽ cho bạn biết nhiều hơn về giới hạn thực sự của mô hình này so với bài đăng ra mắt.

Các trọng số đã có thể tải xuống ngay hôm nay và giấy phép cho phép bạn sử dụng chúng cho mục đích thương mại. Hai thứ bạn không thể tải xuống là một benchmark độc lập và một con số thông lượng với baseline được nêu tên — và cả hai đều là những gì bạn cần trước khi cam kết đưa một mô hình hiện mới chỉ bốn ngày tuổi vào lộ trình sản xuất.