NVIDIA Nemotron 3.5 Super VL: Mô hình mở 120B được phát hành trước cả bài đăng blog của chính nó

Trọng số cho N​VIDIA N​emotron 3.5 Super VL đã có trên Hugging Face ba ngày trước khi N​VIDIA viết về chúng. Repo độ chính xác đầy đủ, nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-BF16, được tạo lúc 2026-10-12T15:32:06Z. Bản lượng tử hóa anh em của nó, nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-NVFP4, được đăng lên 24 giây sau đó. Bài đăng trên blog nhà phát triển của chính N​VIDIA giải thích mô hình này được ghi ngày 15 tháng 10 năm 2026 — cùng ngày mà các thẻ mô hình của nó ghi là "Hugging Face - 10/15/2026". Vậy nên các sản phẩm công khai và thông báo công khai xuất hiện vào những ngày khác nhau, và khoảng cách đủ nhỏ đến mức không ngày nào là sai và cả hai đều đáng để biết.

Dưới đây là những gì repo và bài đăng của NVIDIA thực sự nói về mô hình thị giác-ngôn ngữ 120B tham số, 12B hoạt động này: kiến trúc, các phép tính triển khai, chỗ mà bảng công bố của chính nó cho thấy nó thua kém, và cái bẫy về cấp phép mà bài đăng blog không hề đề cập.

N​emotron 3.5 Super VL thực sự là gì

N​VIDIA mô tả nó trong bài đăng của chính mình là “một mô hình đa phương thức mở, có thể tùy chỉnh” được xây dựng cho các quy trình làm việc của tác nhân chuyên biệt — suy luận, tuân theo chỉ dẫn và sử dụng công cụ, kết hợp với khả năng hiểu văn bản, hình ảnh, tài liệu và video trong một bộ trọng số. Điểm mấu chốt của sự kết hợp đó, như N​VIDIA diễn giải, là các đội ngũ “có thể xử lý các tác vụ văn bản và thị giác mà không cần triển khai các mô hình văn bản và mô hình ngôn ngữ-thị giác riêng biệt hoặc truyền ngữ cảnh tác vụ giữa chúng.”

Kiến trúc, theo thẻ mô hình:

• Shape — tổng cộng 120B tham số, 12B hoạt động trên mỗi token. Một mô hình hỗn hợp chuyên gia (mixture-of-experts) với 512 chuyên gia được định tuyến trong mỗi lớp MoE.

• Backbone — các lớp Mamba-2, attention và MoE xen kẽ, một thiết kế hybrid N​emotron được kế thừa từ dòng N​emotron 3.

• Thị giác — bộ mã hóa thị giác C-RADIO cùng với bộ kết nối thị giác-ngôn ngữ. Chuỗi kiến trúc transformers là NemotronH_Omni_Reasoning_V3, loại mô hình nemotron_h_omni.

• Ngữ cảnh — lên đến 1 triệu token, với prompt, hình ảnh, lịch sử hội thoại, kết quả công cụ và phản hồi được tạo đều dùng chung cửa sổ đó.

• Giải mã suy đoán — một đầu Dự đoán Đa Token gốc, vì vậy không cần tải xuống mô hình nháp riêng cho các công thức vLLM và SGLang mà NVIDIA công bố.

• Chế độ suy luận — có thể bật/tắt thông qua mẫu trò chuyện bằng enable_thinking, với một cài đặt medium_effort ở giữa. Các token suy luận và câu trả lời dùng chung ngân sách max_tokens, điều mà thẻ nêu rõ vì đây là nguyên nhân thường gặp khiến đầu ra của agent bị cắt ngắn.

• Đầu vào — văn bản, hình ảnh RGB (JPEG, PNG) và video MP4 tối đa hai phút. Cách lấy mẫu video được khuyến nghị trong công thức vLLM là 2 FPS và 256 khung hình với tỷ lệ cắt tỉa 0,5; đối với 1080p, thẻ cho biết giảm xuống 1 FPS và 128 khung hình.

• Ngôn ngữ — tiếng Anh, tiếng Tây Ban Nha, tiếng Pháp, tiếng Đức, tiếng Ý và tiếng Nhật trong frontmatter của thẻ. NVIDIA cũng cho biết kho ngữ liệu huấn luyện bao gồm tiếng Anh cùng 19 ngôn ngữ nói khác và 43 ngôn ngữ lập trình.

Hai mức độ chính xác và lượng bộ nhớ mà chúng mang lại

NVIDIA đã phát hành mô hình này hai lần, và mức tăng bộ nhớ giữa hai phiên bản chính là con số duy nhất quan trọng nhất cho việc ra quyết định trong bản phát hành này.

• BF16 — tham chiếu độ chính xác đầy đủ. Repo chứa 64 phân mảnh safetensors với tổng khoảng 231,8 GiB. Cấu hình phục vụ của chính N​VIDIA là --tensor-parallel-size 4 trên 4× H100, hoặc TP2 trên 2× GB200.

• NVFP4 — trọng số và kích hoạt 4-bit với chưng cất nhận biết lượng tử hóa, thứ mà NVIDIA nói rằng "thu hẹp khoảng cách độ chính xác do lượng tử hóa gây ra." Cùng một checkpoint chạy trên phần cứng không phải Blackwell ở trọng số 4-bit và kích hoạt 16-bit, và QAD cũng cho phép lưu KV cache ở định dạng NVFP4 thay vì FP8. Vì quá trình lượng tử hóa diễn ra trong lúc huấn luyện thay vì sau đó, NVIDIA tuyên bố nó không thêm chi phí suy luận. Thẻ NVFP4 liệt kê triển khai trên 1× DGX Spark, 1× H200, 2× H100 hoặc 1× GB200.

Câu cuối cùng đó mới là điểm thực tiễn. Một mô hình 120B vừa trên hai H100 ở FP4 thay vì bốn chiếc ở BF16 là một câu chuyện mua sắm khác, và đó là lý do repo lượng tử hóa là bản mà NVIDIA hướng đến cho việc phục vụ hiệu quả. Một thành viên thứ ba cùng dòng, NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr, xuất hiện trên Hugging Face một ngày trước cặp chính mà không kèm theo thông báo nào; blog của NVIDIA sau đó giải thích LiLiCorr là một kỹ thuật giải mã suy đoán mở và gọi nó là "drafter được khuyến nghị cho suy luận độ trễ thấp với Nemotron 3.5 Super VL" trên DGX Spark. Repo của nó có trước lời giải thích đó bốn ngày, một minh họa hợp lý cho cách bản phát hành này lộ diện.

Ẩn dưới bước nhảy vọt đó là một câu hỏi chính đáng — cấp NVFP4 phải từ bỏ những gì so với tham chiếu BF16 — nhưng câu trả lời của chính NVIDIA chỉ là một khẳng định về phương pháp huấn luyện, chứ không phải một bảng độ chính xác so sánh song song được công bố cho hai checkpoint. Nếu lựa chọn độ chính xác là thứ mà quyết định của bạn phụ thuộc vào, thì so sánh đó không có trong repo.

Nơi mà bảng benchmark của chính nó cho thấy nó đang thua kém

Thẻ mô hình đi kèm một bảng benchmark lớn do nhà cung cấp tự chạy — khoảng 40 hàng — bao quát suy luận, lập trình, các tác vụ agent, ngữ cảnh dài, đa ngôn ngữ và công việc đa phương thức. NVIDIA lại cởi mở lạ thường ở đây: hãng nêu tên các so sánh, và một số trong đó không tô hồng cho mô hình. Các con số của chính hãng so với đối thủ mở gần nhất cùng dạng, Qwen3.5-122B-A10B:

• GPQA-Diamond — N​emotron 3.5 Super VL 89.52 so với Qwen3.5-122B-A10B 86.7 (N​emotron dẫn trước)

• HLE, chỉ văn bản — 31.79 so với 24.2 (Nemotron dẫn trước)

• MMLU-ProX — 76.91 so với 83.2 (Qwen dẫn trước hơn sáu điểm)

• CritPt — 10.86 so với 1.1 (N​emotron dẫn trước với khoảng cách lớn)

• LiveCodeBench v6 — 88.22 so với 76.7 (Nemotron dẫn trước trên harness này)

• SWE-bench Verified — 71,10 so với 71,9 (hòa nhau, nằm trong ngưỡng nhiễu)

• SWE-bench Pro — 51.78 so với 44.9 (N​emotron dẫn trước)

• tau2-bench retail — 69.24 so với 55.4 (Nemotron dẫn trước)

• tau2-bench viễn thông — 73.19 so với 87.2 (Qwen dẫn trước 14 điểm)

• AA-LCR v1.1 — 68.62 so với 75.1 (Qwen dẫn đầu ở ngữ cảnh dài)

• BabyVision — 29.60 so với 35.7 (Q​wen dẫn trước)

• MathVision — 78.16 so với 83.3 (Qwen dẫn trước)

• OCRBench v2, tiếng Anh — 68.12 so với 68.3 (gần như ngang bằng)

• OCRBench v2, tiếng Trung — 59.15 so với 67.3 (Q​wen dẫn trước tám điểm)

• V* — 85,60 so với 91,1 (Qwen dẫn trước)

• IFBench — 70.86 so với 67.6 (Nemotron dẫn đầu)

• Chỉ số AA-Omniscience — 4.03 so với -36.1 (cả hai đều yếu; N​emotron ít tiêu cực hơn nhiều)

Có ba điều đáng nói về bảng này, thay vì cứ để những chiến thắng tự nói thay cho nó.

Đầu tiên, mọi con số trong đó — của Nemotron và của từng mô hình cơ sở — đều do nhà cung cấp báo cáo và được thu thập qua chính hệ thống đánh giá của NVIDIA. Thẻ mô hình nói thẳng điều đó: "Mọi kết quả đánh giá cho Nemotron 3.5 Super và các mô hình cơ sở đều được thu thập qua NeMo Gym," kèm theo ghi chú về khả năng tái lập được công bố trong kho NeMo Gym. Đó là mức công bố minh bạch hơn hầu hết các phòng thí nghiệm làm được, và nó vẫn không phải là một điểm số độc lập. Hãy đọc các cột như các phép đo của một phòng thí nghiệm đối với nhiều mô hình, chứ không phải như một bảng xếp hạng trung lập.

Thứ hai, chính N​VIDIA liệt kê các benchmark chưa được tích hợp vào bộ công cụ mở của mình — BabyVision, CharXiv-RQ, MathVision, MMLongBench-Doc, OCR-Reasoning, OCRBench-v2, V* và Video-MME-v2 — và nói rằng những benchmark này đã dùng các bản triển khai chính thức hoặc "một bộ khung nội bộ mà chúng tôi dự định mở mã nguồn trong tương lai." Mọi hàng đa phương thức trong bảng đều mang lưu ý đó.

Thứ ba, mô thức ở những chỗ thua là mạch lạc chứ không ngẫu nhiên. Các khoảng trống nằm ở OCR tiếng Trung, suy luận ngữ cảnh dài, và toán thị giác cùng đọc biểu đồ. Các điểm thắng tập trung ở các benchmark gọi công cụ và tác vụ agent tầm ngắn — CritPt, tau2-bench retail và airline, APEX, Terminal-Bench 2.1 với 66,70 so với 48,70 của Qwen, SWE-bench Pro. Đối với một mô hình mà NVIDIA định vị là bộ thực thi trong ngăn xếp agent đa mô hình, đó là một hồ sơ năng lực có thể biện minh được. Nếu khối lượng công việc của bạn là phân tích tài liệu tiếng Trung hoặc ngữ cảnh phân tích rất dài, cùng bảng đó lại đang nói với bạn điều khác.

Mô hình hậu huấn luyện vượt trội hơn mô hình cơ sở, và N{{1}}VIDIA dẫn đầu với điều đó

Tuyên bố về độ chính xác cụ thể nhất trong bài đăng blog của NVIDIA không phải là một điểm benchmark. Đó là tuyên bố về việc tùy chỉnh: rằng hậu huấn luyện một Nemotron 3.5 Super VL cơ sở có thể đưa một khối lượng công việc chuyên biệt vượt qua Claude Opus 5. Ví dụ của NVIDIA là các yêu cầu bồi thường bảo hiểm y tế, nơi họ trích dẫn mức tăng 44% nhờ hậu huấn luyện.

Có hai điều đáng lưu ý về cách NVIDIA báo cáo điều này. Con số này được gán cho một mức tăng được cho là nhờ post-training, chứ không phải cho một so sánh mô hình với mô hình trên một benchmark công khai — vốn là một loại bằng chứng khác và yếu hơn. Và bài đăng của chính NVIDIA cẩn trọng nói rằng những mức tăng này đi kèm với những lưu ý: "mô hình cơ sở không tự mình vượt qua các mô hình tiên tiến độc quyền" là phiên bản trung thực của câu đó, và cách diễn đạt ở đây là lợi thế của trọng số mở nằm ở chỗ một doanh nghiệp có thể post-train trên dữ liệu của chính mình và chạy kết quả trên hạ tầng của chính mình.

Phía nhà cung cấp của cùng câu chuyện thì khá mỏng. N​VIDIA nêu tên Scale AI, Ramp và AI21 là những tổ chức đã hậu huấn luyện mô hình; Ramp được trích dẫn kỳ vọng "thông lượng cao hơn tới 50% và độ trễ thấp hơn 10 lần" cho việc trích xuất biên lai sang JSON, còn Scale AI thì giảm 40 lần chi phí suy luận và cải thiện độ trễ gấp 5 lần cho xử lý tín dụng nhà cung cấp. Đó là những kỳ vọng và kết quả do khách hàng tự nêu, được nhà cung cấp công bố, không có đo lường độc lập nào đằng sau. Chúng hoàn toàn có thể đúng. Chưa ai ngoài những công ty đó kiểm chứng.

Điều NVIDIA thực sự công bố và có ích là bộ công thức: NeMo AutoModel cho SFT và LoRA, NeMo RL và NeMo Gym cho học tăng cường và đánh giá dựa trên môi trường, NeMo Data Designer cho tạo dữ liệu đa phương thức, cùng 45 bộ dữ liệu thị giác-ngôn ngữ và một nhóm bộ dữ liệu về dùng công cụ tác tử, suy luận tài chính và tuân theo chỉ dẫn trên Hugging Face. Một hướng dẫn tái lập cho các benchmark đã công bố nằm trong kho lưu trữ NeMo Gym. Phần cuối thực sự hữu ích — nghĩa là bạn có thể thử chạy lại các đánh giá của chính NVIDIA thay vì tin vào bảng.

Giấy phép không phải như những gì hoạt động tiếp thị ngụ ý.

Đây là chi tiết đáng để đọc repo thay vì đọc bài blog.

Bài đăng của NVIDIA gọi mô hình là "một mô hình đa phương thức mở, có thể tùy chỉnh" và đề cập đến "các trọng số mở của mô hình". Cả hai phát biểu đều chính xác về các trọng số. Không phát biểu nào là tuyên bố về giấy phép. Phần frontmatter của thẻ mô hình ghi license: other, với license_name: openmdw-1.1, và các điều khoản chi phối là Thỏa thuận Giấy phép OpenMDW phiên bản 1.1 tại openmdw.ai/license/1-1/. Thẻ nêu rõ rằng mô hình "sẵn sàng cho mục đích thương mại hoặc phi thương mại" và ngôn ngữ triển khai của chính NVIDIA đề cập đến việc chạy mô hình trong "các môi trường cục bộ, trung tâm dữ liệu hoặc đám mây được hỗ trợ".

Vậy: có thể dùng cho mục đích thương mại, theo NVIDIA. Nhưng “open” ở đây có nghĩa là OpenMDW-1.1, không phải Apache 2.0 và cũng không phải MIT. Nếu tổ chức của bạn có một danh sách các giấy phép mã nguồn mở đã được phê duyệt trước, thì danh sách đó chính là thứ cần kiểm tra trước mọi thứ khác — và sự khác biệt thực tế giữa “open weights” và một giấy phép được nêu tên đúng là kiểu khoảng cách khiến bạn tốn cả một chu kỳ phát hành mới phát hiện ra muộn. Đây không phải là lời chỉ trích mô hình, và OpenMDW không phải là một giấy phép hạn chế. Đó là lời nhắc rằng tính từ trong bài blog đang làm ít việc hơn so với phần frontmatter của model card.

Dùng thử mà không đặt cược cả một lộ trình production vào đó

Các công thức triển khai đã được công bố rõ ràng chỉ dành cho một máy, và điều đó định hình cách điều này được đánh giá. Các lệnh vLLM của NVIDIA trong cả hai card chạy ở TP4 trên 4× H100 hoặc TP2 trên 2× GB200 với --trust-remote-code — mô hình đi kèm mã định nghĩa mô hình tùy chỉnh — và công thức SGLang sử dụng lmsysorg/sglang:v0.5.20 trên hai GB200. Đối với DGX Spark, có một checkpoint drafter LiLiCorr chuyên dụng, và NVIDIA khuyến nghị dùng nó trong mọi kịch bản Spark; công ty tuyên bố tốc độ tạo token nhanh hơn tới 2,3 lần so với giải mã không có suy đoán. Trên 16 B200 với Dynamo, NVIDIA dẫn chứng việc phục vụ tới gấp 8 lần số người dùng với độ trễ token đầu tiên giảm 85% ở mức 50 token mỗi giây cho mỗi người dùng. Mỗi một trong số đó đều là phép đo nội bộ của nhà cung cấp.

Đó là một chi phí đánh giá thực sự đối với một mô hình mới được ba ngày tuổi, không có bảng điểm độc lập, và có các hàng đa phương thức đi kèm lưu ý rằng scaffolding chưa được mở. Cách rẻ để nhìn vào nó không phải là dựng bốn H100s trước tiên.

Cách rẻ để xem xét một bản phát hành còn quá non trẻ như thế này là qua một gateway duy nhất thay vì đặt thêm một đơn hàng phần cứng thứ hai. Trên OrcaRouter, điều đó có nghĩa là một key duy nhất cho hơn 200 mô hình theo giá niêm yết của nhà cung cấp với mức markup 0%, không cần hợp đồng riêng và không cần thay đổi mã, và tự động chuyển đổi dự phòng giữa các nhà cung cấp để một mô hình mà bạn chưa xác thực không trở thành điểm lỗi duy nhất trong một luồng production. Mô hình cụ thể này vẫn chưa có trên danh mục — NVIDIA đã phát hành nó vài ngày trước — nên hôm nay nó đến từ API riêng của nhà cung cấp hoặc từ các nền tảng bên thứ ba đang cung cấp nó. Điều đó mang lại cho bạn phép so sánh mà bạn thực sự có thể chạy ngay bây giờ: đưa những ứng viên mà nó tuyên bố có thể đánh bại vào cùng một key, chạy các tác vụ của riêng bạn qua chúng và đối chiếu với những mô hình bạn đã dùng, rồi để lớp định tuyến biến việc hoán đổi thành một thay đổi cấu hình thay vì một cuộc di trú. Chỉ đến lúc đó câu hỏi về 4× H100 hay 2× GB200 mới trở thành một quyết định mua sắm thay vì một phỏng đoán.

Điểm mấu chốt không phải là việc định tuyến thay thế một benchmark. Mà là quyết định bạn có thể đưa ra ngay hôm nay chính là mô hình này nên đảm nhận những tác vụ nào trong stack của bạn, và quyết định đó không đòi hỏi một đơn hàng phần cứng.

Điều gì chưa được thiết lập

Danh sách trung thực những điều chưa biết thì ngắn nhưng có ý nghĩa quan trọng, và đó mới là danh sách để dựa vào mà làm việc, chứ không phải là những lời tiếp thị:

• Không có đánh giá độc lập nào.Mọi điểm số được trích dẫn ở trên đều đến từ lần chạy NeMo Gym của NVIDIA. Blog của NVIDIA trích dẫn thử nghiệm benchmark Artificial Analysis và một đánh giá độc lập của EXO Labs, xếp mô hình vào đường biên Pareto giữa độ chính xác và mức độ hoàn thành tác vụ trên DGX Spark, nhưng model card không công bố điểm số bên thứ ba nào của riêng mình, và không có trang mô hình độc lập nào dành cho nó trên các nền tảng tổng hợp lớn tại thời điểm viết bài.

• Chênh lệch độ chính xác giữa BF16 và NVFP4 vẫn chưa được định lượng. Lập luận ủng hộ NVFP4 của N​VIDIA dựa trên việc chưng cất nhận biết lượng tử hóa giúp thu hẹp khoảng cách. Đó là một tuyên bố về phương pháp luận, chứ không phải một so sánh độ chính xác đã được công bố giữa hai checkpoint mà bạn thực sự có thể tải về.

• Chiến dịch đánh giá chuẩn được thực hiện một phần bằng bộ công cụ của chính N​VIDIA.Tám benchmark đa phương thức đã sử dụng các bản triển khai chính thức hoặc bộ khung nội bộ mà N​VIDIA nói rằng họ "dự định mở mã nguồn trong tương lai" — nghĩa là những kết quả đó về nguyên tắc có thể tái lập được, vào một ngày nào đó, chứ không phải hôm nay.

• Mức cải thiện sau huấn luyện là do nhà cung cấp và khách hàng tự báo cáo. Con số tăng 44% về claims cùng các số liệu của Ramp và Scale AI đều do NVIDIA công bố về chính khách hàng của mình. Chưa ai đo lường chúng một cách độc lập.

• Hành vi ngữ cảnh dài ở cửa sổ đầy đủ 1M chưa được kiểm chứng bên ngoài nhà cung cấp.Kiến trúc được xây dựng cho việc đó và N​VIDIA có công bố các công thức triển khai cho nó. Liệu khả năng truy hồi có giữ vững trên trọn một triệu token với tài liệu thực tế hay không chính là kiểu điều sẽ lộ ra trong các bài kiểm thử độc lập và không hề xuất hiện trong bảng thông số của nhà cung cấp.

Bạn có nên hành động ngay bây giờ không?

Nếu bạn xây dựng các agent về tài liệu, biểu đồ, video hoặc đa công cụ và đã dự trù ngân sách cho suy luận cỡ 120B, thì tuần này đây là thứ đáng để xem xét thật kỹ: tầng NVFP4 đưa nó lên hai H100, giấy phép cho phép dùng cho mục đích thương mại, và các dòng gọi công cụ trong bảng của N​VIDIA chính là phần mạnh nhất. Dạng chỉ có 12B tham số hoạt động cũng đồng nghĩa chi phí trên mỗi token rẻ hơn so với con số tổng 120B gợi ý — và, về phía OrcaRouter, thay đổi giá từ nhà cung cấp được áp dụng ngay trong cùng ngày chứ không phải sau một chu kỳ thanh toán, bởi vì giá niêm yết của nhà cung cấp được chuyển nguyên vẹn, không cộng thêm markup.

Nếu khối lượng công việc của bạn phụ thuộc nhiều vào OCR tiếng Trung, ngữ cảnh phân tích rất dài hoặc toán học trực quan, thì bảng của chính N​VIDIA đưa ra ba lý do cụ thể để bạn chờ các số liệu độc lập thay vì suy luận từ hoạt động tiếp thị.

Dù sao đi nữa, điều đáng để theo dõi không phải là một bài đăng khác của nhà cung cấp. Mà là đánh giá độc lập đầu tiên chạy checkpoint NVFP4 đối chiếu với checkpoint BF16 trên cùng một harness, và điểm số đầu tiên từ bên thứ ba không được thu thập qua NeMo Gym. Cho đến khi những thứ đó tồn tại, đây là một mô hình mở được tài liệu hóa đầy đủ, có giấy phép thoáng, thực sự hiệu quả, với những tuyên bố mạnh nhất hoàn toàn dựa trên các phép đo của chính nhà sản xuất — và chính nhà sản xuất của nó đã đủ rõ ràng để công bố những dòng mà nó thua.

Khoảng cách giữa những gì một bảng điểm đo lường và những gì một triển khai thực tế đáp ứng chính là lý do hồ sơ này quan trọng: những thất bại AI và sự cố tác nhân đã được ghi nhận liên quan đến các mô hình thuộc nhóm này đều được tập hợp trong the OrcaRouter AI Incident Archive, nơi mỗi mục đều đi kèm nguồn riêng, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ đánh dấu tranh chấp.