NVIDIA Nemotron 3.5 Super VL Base BF16: checkpoint 249 GB mà NVIDIA đã liệt kê nhưng chưa từng đính kèm liên kết

nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-Base-BF16 là artifact trong bản phát hành N​VIDIA N​emotron 3.5 Super VL mà N​VIDIA chưa từng liên kết tới. Bài đăng công bố ngày 15 tháng 10 của công ty nói, trong một mệnh đề duy nhất, rằng "bản phát hành bao gồm các checkpoint base, post-trained và lượng tử hóa NVFP4 cùng công thức huấn luyện, dữ liệu và môi trường học tăng cường." Mọi liên kết kho trên trang đó đều trỏ đến nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-NVFP4. Chuỗi "Base-BF16" hoàn toàn không xuất hiện trong bài đăng.

Kho lưu trữ này là thật và công khai. Hugging Face ghi lại commit đầu tiên của nó vào 2026-10-12T15:31:49Z, các shard trọng số của nó được tải lên vào 2026-10-13T04:55Z, và trường ngày phát hành của chính model card ghi "Hugging Face - 10/15/2026". Nó không bị hạn chế truy cập, không cần token để tải xuống, và nó nặng đúng bằng bản dựng đã qua hậu huấn luyện nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16 nặng: 248.9 GB trải trên 63 shard BF16 so với 248.9 GB trải trên 64 shard của bản dựng đã qua hậu huấn luyện, hai tệp chỉ mục cách nhau 16 byte. Ba ngày sau khi các trọng số được đăng lên, nó đã được tải xuống 4 lần, so với 142 lần của kho độ chính xác đầy đủ đã qua hậu huấn luyện và 81 lần của bản cùng dòng NVFP4. Đó là các bộ đếm của chính Hugging Face, đọc vào ngày 16 tháng 10.

Vậy nên đây không phải là một vụ rò rỉ hay một tin đồn. Trọng số không phải là thứ đáng để mắc sai lầm — chúng chỉ đơn giản là sản phẩm ít được quảng bá nhất trong một bản phát hành mà nếu không thì rất rầm rộ, và model card đằng sau chúng tự mâu thuẫn theo một cách đáng lưu tâm nếu bạn là kiểu người sẽ tải xuống một checkpoint 249 GB trước post-training. Mâu thuẫn đó ở ngay bên dưới.

Cái gì đã hạ cánh, và câu đề cập đến nó

Ba kho chính và một drafter đã được đăng lên trong cùng một khung thời gian, tất cả đều là N​VIDIA chính chủ, tất cả đều theo giấy phép OpenMDW-1.1, không cái nào bị giới hạn truy cập:

• Base BF16 — nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-Base-BF16, kho lưu trữ được tạo 2026-10-12T15:31:49Z, trọng số 2026-10-13T04:55Z, README được chỉnh sửa lần cuối 2026-10-15T15:22:08Z.

• BF16 sau huấn luyện — nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-BF16, được tạo lúc 2026-10-12T15:32:06Z, mười bảy giây sau repo gốc.

• NVFP4 hậu huấn luyện — nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-NVFP4, được tạo lúc 2026-10-12T15:32:30Z, và tổng cộng 75.1 GB thay vì 248.9 GB.

• Một drafter NVFP4 — nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr, vẫn được tạo sớm hơn một ngày, vào lúc 2026-10-11T20:20:59Z.

Sự ánh xạ giữa các kho đó và phần mô tả của NVIDIA là chỗ trở nên không đồng đều, và việc kiểm tra nó là đáng làm thay vì giả định. Các điểm neo triển khai trong thông báo đều dẫn đến bản dựng NVFP4. Ghi chú mở đầu của chính thẻ base lại trỏ ra ngoài tới hai bản kia — “Đang tìm một mô hình post-trained? Xem bản phát hành BF16 để tùy biến hoặc bản phát hành NVFP4 để triển khai tối ưu” — nên kho base sẽ cho bạn biết nên đi đâu thay vào đó, ngay ở dòng đầu tiên. Chiều ngược lại thì không đúng. Thẻ BF16 post-trained không chứa liên kết nào đến kho base ở bất cứ đâu, và thẻ NVFP4 cũng không. Checkpoint base là artifact duy nhất trong bản phát hành mà tài liệu của chính NVIDIA không bao giờ dẫn bạn đến; bạn tìm thấy nó bằng cách đọc mệnh đề chín từ trong thông báo rồi duyệt danh sách tệp của tổ chức, và đây là cách nó được tìm thấy ở đây. Không có gì trong nội dung của NVIDIA giải thích tại sao một checkpoint base lại được phát hành ở cùng dung lượng 249 GB với mô hình thực sự đã được post-trained, hay bạn được kỳ vọng làm gì với nó mà bản post-trained không thể làm.

Sự vắng mặt đó chính là câu chuyện. Một bản phát hành trọng số mở, nơi nhà cung cấp liên kết hai trong số ba checkpoint và mô tả cái thứ ba bằng chín từ, không hề giấu giếm gì — trọng số ở ngay đó — nhưng điều đó có nghĩa là tài liệu bạn cần không nằm trong thông báo. Nó nằm trong kho lưu trữ.

"base" có nghĩa gì trong bản phát hành này

Hai thẻ mô hình trả lời điều này, và sự khác biệt giữa chúng là một cách lý giải rõ ràng về những gì quá trình hậu huấn luyện đã mang lại ở đây.

Thẻ cơ sở ghi lại ba giai đoạn huấn luyện. Giai đoạn 1 xây dựng xương sống ngôn ngữ dựa trên Nemotron 3 Super Base và huấn luyện một đầu MTP dùng chung trong 100B token với xương sống được đóng băng, sau đó chưng cất trong 1T token từ Nemotron 3 Ultra Base. Giai đoạn 2 bao gồm 100B token tiền huấn luyện tiếp nối cho Indic, một phần mở rộng 35B token lên ngữ cảnh 1M, 67B token huấn luyện trung gian về kỹ thuật phần mềm ở ngữ cảnh 256K, và một giai đoạn phục hồi ngữ cảnh dài 9B token. Giai đoạn 3 gắn thêm bộ mã hóa thị giác C-RADIO và bộ kết nối thị giác-ngôn ngữ.

Thẻ model post-trained ghi lại sáu giai đoạn, và ba giai đoạn mà thẻ base thiếu chính là ba giai đoạn giúp một mô hình trở nên khả dụng: Giai đoạn 4, tinh chỉnh có giám sát trên dữ liệu thị giác, suy luận, mã, công cụ, trò chuyện, an toàn và ngữ cảnh dài, sử dụng các chuỗi packed tối đa 524.288 token; Giai đoạn 5, học tăng cường với phần thưởng có thể kiểm chứng cùng RLHF cùng chưng cất on-policy đa giáo viên; và Giai đoạn 6, tăng cường đầu MTP so với xương sống post-trained đóng băng để giải mã speculative thực sự có lợi.

Thẻ mô hình Base tự nói điều đó, trong phần Suy luận: “Mô hình Base được dùng làm điểm khởi đầu cho quá trình huấn luyện tiếp. Đối với các ứng dụng trò chuyện, suy luận và gọi công cụ, hãy dùng bản phát hành BF16 hoặc NVFP4 đã được huấn luyện hậu kỳ cùng hướng dẫn triển khai của nó.” Trường hợp sử dụng được nêu rõ là “các nhà phát triển và nhà nghiên cứu xây dựng mô hình thị giác-ngôn ngữ tùy chỉnh thông qua tiền huấn luyện tiếp, tinh chỉnh có giám sát, học tăng cường và chưng cất.”

Đó là một lời tuyên bố miễn trừ trách nhiệm trực diện đến mức bất thường, và đó là cách đọc đúng về hiện vật này. Thứ được phát hành với tên "base" ở đây không phải là một mô hình trò chuyện yếu hơn. Nó là nền tảng mà Giai đoạn 4 đến Giai đoạn 6 đã được chạy dựa trên đó, được công bố cùng với chúng để ai đó khác có thể chạy một Giai đoạn 4 đến 6 khác — trên dữ liệu của riêng họ, theo các điều khoản giấy phép của riêng họ, mà không cần chạy lại quá trình tiền huấn luyện 20 nghìn tỷ token.

Tuyên bố 1M token mà cấu hình không mang theo

Đây là sự sai lệch đáng để bạn dành 249 GB sự chú ý.

Thẻ mô hình cơ sở nêu, trong phần Mô tả của nó, rằng mô hình "hỗ trợ độ dài ngữ cảnh lên tới 1M token", và lặp lại điều đó trong phần Thiết kế Mô hình: "Mô hình hỗ trợ tối đa 1M token ngữ cảnh." Phương pháp luận huấn luyện củng cố ý định này — Giai đoạn 2 bao gồm rõ ràng "phần mở rộng 35B token lên ngữ cảnh 1M, tiếp theo là giai đoạn phục hồi ngữ cảnh dài 9B token."

Cấu hình config.json được phát hành lại nói điều gì đó khác. max_position_embeddings của nó là 262,144 — 256K, không phải 1M. Không có khối rope_scaling và không có trường original_max_position_embeddings, nên sơ đồ vị trí cũng không khai báo phần mở rộng nào. Ngược lại, cấu hình của kho đã qua huấn luyện hậu kỳ khai báo max_position_embeddings là 1,048,576. Hai checkpoint anh em, cùng chuỗi kiến trúc, cùng bố cục lớp, và chênh lệch gấp bốn lần về giới hạn vị trí mà phần mô tả trên thẻ cơ sở không hề đề cập.

Đọc ba sự kiện cùng nhau và kết luận vững chắc nhất không phải là mô hình cơ sở có ngữ cảnh ngắn. Mà là kho lưu trữ cơ sở cung cấp một giới hạn khai báo thận trọng và mong bạn thay đổi nó. Phần mở rộng 1M đã được huấn luyện. Cấu hình được công bố không phơi bày nó. Nếu kế hoạch tiếp tục tiền huấn luyện của bạn giả định độ dài chuỗi 1M token ngay khi dùng, thì giả định đó đến từ thẻ, không phải từ tệp mà runtime sẽ thực sự đọc — và cách khắc phục là một chỉnh sửa cấu hình mà bạn phải biết để thực hiện.

Đáng lưu ý vì cùng lý do: bảng Tóm tắt Mô hình của thẻ gốc đơn giản là không tồn tại. Thẻ sau huấn luyện có một bảng như vậy — tổng số tham số, kiến trúc, độ chính xác, độ dài ngữ cảnh, mục tiêu triển khai, giải mã suy đoán, chế độ suy luận, lấy mẫu đề xuất, phù hợp nhất cho, giấy phép. Thẻ gốc đi thẳng từ Mô tả đến Giấy phép, rồi đến bảng điểm chuẩn. Không có hàng lấy mẫu đề xuất nào ở bất kỳ đâu, và cũng không có hàng triển khai, nên không có gì trên thẻ gốc cho bạn biết nó cần phần cứng nào.

Kiến trúc, rút ra từ cấu hình đã phát hành

Bởi vì phần mô tả của nhà cung cấp về kiến trúc cơ sở chỉ là một đoạn văn, còn hình dạng thực sự nằm trong tệp, nên đây là những gì tệp cho biết. Tất cả đều là thông tin trực tiếp từ config.json trong kho lưu trữ cơ sở, không phải từ bất kỳ bản tóm tắt nào.

• Độ sâu và thành phần — 88 khối trong xương sống ngôn ngữ. 40 là lớp Mamba-2, 40 là lớp mixture-of-experts, và 8 là lớp attention đầy đủ, tại các chỉ số 7, 16, 25, 36, 47, 58, 69 và 78. Một khối attention khoảng mỗi chín lớp là toàn bộ cơ chế ngữ cảnh dài.

• MoE — 512 chuyên gia định tuyến mỗi lớp MoE, 22 được chọn cho mỗi token, một chuyên gia chia sẻ, kích thước latent là 1024, và kích thước trung gian của chuyên gia chia sẻ là 5376 so với 2688 cho các chuyên gia định tuyến. Đó là phép toán đằng sau tiêu đề "120B tổng, 12B hoạt động".

• Cơ chế chú ý — 32 head truy vấn so với 2 head khóa-giá trị ở chiều head 128, do đó là cơ chế chú ý truy vấn theo nhóm với tỷ lệ 16:1. Kích thước ẩn 4096.

• MTP — một lớp dự đoán token kế tiếp, bản thân nó gồm một khối attention và một khối MoE, theo phong cách đầu dự đoán đa token của DeepSeek. Một bước dự đoán, không phải nhiều bước.

• Thị giác — một tháp C-RADIO ViT-H: 32 lớp, kích thước ẩn 1280, 16 đầu, kích thước patch 16, 7 token đăng ký, 3 token lớp, kích thước ảnh tối đa 2048 và ngân sách patch trong khoảng 1024 đến 13312. Bộ kết nối chiếu tới 20.480, sau đó tỷ lệ giảm mẫu 0,5 và kích thước ảnh bắt buộc 512 kéo số lượng token trở lại.

• Video — kích thước patch theo thời gian là 2 và tỷ lệ cắt tỉa được khai báo là 0,7.

• Hai điều kỳ lạ — config khai báo một <audio> token ngữ cảnh trong khi sound_config của nó là null, cho nên hạ tầng dành cho audio có tồn tại trong kiến trúc này còn checkpoint này thì không mang theo chút nào. Và tie_word_embeddings là false, đây là mức chuẩn cho một mô hình cỡ này và đáng để biết nếu bạn định thay đổi kích thước từ vựng.

Để hình dung quy mô: metadata safetensors của chính kho lưu trữ có tổng cộng 124,453,395,974 tham số, được đếm từng byte tensor một, so với con số được công bố của N​VIDIA là tổng 120B / 12B hoạt động. Hai con số được báo cáo trên những cơ sở khác nhau — con số của nhà cung cấp là phép tính routed cộng shared của mô hình ngôn ngữ, còn con số của tệp là mọi thứ được lưu trong kho lưu trữ, bao gồm cả tháp thị giác và đầu MTP. Đừng coi khoảng cách đó là một sai lệch; hãy dự trù ngân sách cho tệp.

Bảng benchmark thực sự đo lường điều gì

Card cơ sở công bố 24 dòng benchmark và, điểm cộng cho NVIDIA, một cột cho biết mỗi dòng là gì:

• MMLU 84,14 khớp chính xác · MMLU-Pro 76,25 · AGIEval-En 75,65 CoT · SuperGPQA 47,65 CoT · GPQA Diamond 66,16 với 5-shot CoT khớp chính xác

• GSM8K 91,74 ở 8-shot CoT · Minerva MATH 87,66 · MATH-500 81,56 pass@1 lấy mẫu n=32 · HumanEval 81,31 EvalPlus sanitized · MBPP-Sanitized 79,06 · LiveCodeBench CodeGen 47,61 · BigCodeBench 48,42 complete và 49,39 instruct

• ARC-Challenge 95.99 · HellaSwag 88.96 · TruthfulQA MC2 71.18 · WinoGrande 79.08 · PIQA 85.09 · CommonsenseQA 85.26 · OpenBookQA 48.80 · SocialIQA 49.03 · RACE 91.39

• MMLU toàn cầu 86,56 tính trung bình trên 8 ngôn ngữ · MGSM 87,53 với 8-shot CoT bản ngữ trên 6 ngôn ngữ

Có hai điều về bảng đó dễ bị bỏ sót và cả hai đều quan trọng.

Đầu tiên, chính câu định khung của thẻ nói rằng các kết quả “đánh giá backbone nền chỉ-văn-bản Nemotron 3.5 Super, trước khi huấn luyện ngôn ngữ-thị giác.” Dù điều đó còn có nghĩa gì khác, nó có nghĩa là những con số này không phải một bảng điểm đa phương thức — không có benchmark OCR, không có dòng hiểu tài liệu, không có dòng video nào ở bất kỳ đâu trên thẻ nền, mặc dù đầu vào video và tài liệu đã được mô tả ở hai phần trước đó. Nếu lý do bạn muốn checkpoint nền là tháp thị giác của nó, thì thẻ này chẳng cho bạn thứ gì mang tính thực nghiệm để lập kế hoạch dựa vào.

Thứ hai, bảng không có cột baseline nào. Bảng của thẻ post-trained trải rộng bảy cột — Nemotron 3.5 Super GA so với Qwen3.5-122B-A10B, Qwen3.8-Flash-Next, DeepSeek-V4-Flash0731, Nemotron 3 Ultra, Inkling-Small và GLM-5.3-Flash. Thẻ base chỉ có đúng một cột. Và sự kết hợp những gì được chạy rất đáng chú ý: thẻ post-trained loại bỏ hoàn toàn MMLU để chuyển sang MMLU-ProX, trong khi thẻ base chạy cả MMLU lẫn MMLU-Pro và không chạy MMLU-ProX cũng như các bộ kiểm thử agentic và cấp harness mà thẻ post-trained dựa vào. Bạn không thể trả lời "base này có tốt hơn base kia không" chỉ từ thẻ. Bạn sẽ phải chạy cả hai.

Mọi số liệu nêu trên đều là của NVIDIA, được tạo ra thông qua harness NeMo Gym của chính NVIDIA — thẻ post-trained nói rõ điều đó, còn thẻ base thì hoàn toàn không công bố ghi chú nào về harness. Không có mục nào trên cả hai bảng được tái lập một cách độc lập.

Mô hình cơ sở so với mô hình sau huấn luyện, trong benchmark duy nhất mà cả hai cùng có

Hai card không dùng chung một bảng benchmark, nhưng chúng có đúng một hàng mà bạn có thể đặt cạnh nhau, và đó chính là hàng quan trọng nhất.

• GPQA Diamond — 66,16 trên thẻ cơ sở, ở chế độ khớp chính xác với 5-shot chain-of-thought. 89,52 trên thẻ sau huấn luyện. Một khoảng cách 23,36 điểm, đến từ chính hai tài liệu của NVIDIA, với con số của bản cơ sở được ghi rõ là backbone chỉ dùng văn bản.

Đó là dòng tiêu đề trung thực về giá trị của Giai đoạn 4 đến 6 đối với năng lực suy luận khoa học ở trình độ sau đại học: post-training không phải là một lượt chỉnh trang cho mô hình này, mà nó còn mang lại gần như thêm một nửa năng lực. Nó cũng cho bạn biết hướng của sự đánh đổi. Nếu kế hoạch của bạn là tự post-train checkpoint cơ sở, bạn đang xuất phát sau mô hình mà NVIDIA đang bán 23 điểm và đặt cược rằng dữ liệu cùng tín hiệu phần thưởng của bạn sẽ thu hẹp khoảng cách đó trong lĩnh vực của bạn — đó chính xác là canh bạc mà các con số khách hàng của chính NVIDIA mô tả: Scale AI báo cáo mức giảm chi phí suy luận 40 lần cho xử lý tín dụng nhà cung cấp, Ramp kỳ vọng thông lượng cao hơn tới 50% và độ trễ thấp hơn 10 lần cho trích xuất biên lai sang JSON. Đó là những kết quả do nhà cung cấp và khách hàng nêu ra, không có đo lường độc lập, và chúng là bằng chứng công bố duy nhất cho thấy việc thu hẹp khoảng cách là khả thi.

Lưu ý cái bẫy khi đọc hai card cùng nhau. "MMLU-Pro" của card gốc ở 76.25 và "MMLU-ProX" của card sau huấn luyện ở 76.91 trông giống như mức chênh lệch 0,66 điểm và không thể so sánh được — các benchmark khác nhau, một trong số đó có phương pháp trích xuất TigerLab được nêu rõ. "MMLU" của card gốc ở 84,14 hoàn toàn không có đối ứng trên card sau huấn luyện. Nếu bạn muốn một mức delta trên cùng benchmark, GPQA Diamond là thứ bạn có được, còn LiveCodeBench thì không: card gốc báo cáo CodeGen ở 47,61 trong khi card sau huấn luyện báo cáo LiveCodeBench v6 ở 88,22, vốn là một phiên bản khác của cùng họ benchmark và không phải là một mức delta.

249 GB mua được gì, và không mua được gì

Bản thân việc tải xuống chỉ là một lệnh, và đó là lệnh duy nhất trong toàn bộ thẻ mô hình cơ sở:

• hf download nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-Base-BF16 --local-dir ./models/super-vl-base-bf16

Đó là toàn bộ phần Quick Start. Thẻ cơ sở chỉ chứa một khối mã; thẻ sau huấn luyện chứa hai mươi hai. Không có vllm serve nào, không có lệnh khởi chạy SGLang, không có hướng dẫn tensor-parallel, và không có --max-num-seqs, không có cờ reasoning-parser, không có cấu hình MTP cho giải mã suy đoán, và không có ví dụ về ứng dụng khách API. Thẻ sau huấn luyện mang tất cả những thứ đó, bao gồm công thức 4×H100 với --enable-mamba-shared-prefix-checkpoint và công thức 2×GB200 ở TP2.

• Các engine runtime — thẻ cơ sở nêu tên PyTorch, Megatron-LM và NeMo, còn mục Suy luận của nó chỉ nêu mỗi PyTorch. Thẻ sau huấn luyện nêu tên vLLM và SGLang. Đó là tên framework huấn luyện ở một bên và tên runtime phục vụ ở bên kia, và sự tách biệt này là có chủ đích chứ không phải ngẫu nhiên.

• Phần cứng kiểm thử — Hopper H100 và H200, Grace Blackwell GB200 và GB300, Blackwell B200 và B300. Card sau huấn luyện thu hẹp còn 4×H100 hoặc 2×GB200 để triển khai.

• Disk — 248,9 GB trải trên 63 shard, giống hệt bản full-precision đã qua post-training. Người anh em NVFP4 chỉ 75,1 GB. Nếu bạn tải bản base về để kiểm tra hay tinh chỉnh chứ không phải để chạy, thì bạn đang phải trả dung lượng tải gấp 3,3 lần so với NVFP4 mà chẳng đổi lấy được công thức phục vụ nào.

Điều bạn thực sự nhận được, thứ thực sự dùng được: kho lưu trữ cung cấp một chat_template.jinja hoàn chỉnh, kích thước 12.513 byte, và nó chứa công tắc enable_thinking, bao gồm cả biến thể mức nỗ lực trung bình. Nó cũng đi kèm một generation_config.json với temperature 1.0, top_p 0.95 và do_sample true. Đối chiếu mẫu đó với bản đã hậu huấn luyện cho ra khác biệt 414 byte, toàn bộ là cách xử lý khoảng trắng quanh các placeholder hình ảnh và video — ngoài phần đó ra, hai mẫu là cùng một tệp.

Vậy phần kết nối để trò chuyện với base checkpoint như một chat model đã hiện diện và gần như giống hệt với chat model đã phát hành. Điều còn thiếu là bất kỳ tuyên bố nào rằng bạn nên làm vậy. Không có dòng lấy mẫu được đề xuất nào trên base card, không có dòng chế độ suy luận, và không có benchmark cho nó trong cấu hình chat. Bạn có thể phục vụ nó như một chat model trong khoảng mười phút. Việc đầu ra có xứng đáng rời khỏi test harness hay không là một câu hỏi khác, và câu trả lời của base card là không.

Sự tiết lộ về kho tài liệu mà không ai nhắc đến

Đây là phần của bản phát hành cơ sở mà có thể nói là hữu ích hơn cả các trọng số, và nó gần như không nhận được sự chú ý nào vì nó nằm trong các bảng trên một repo chưa từng được liên kết.

Thẻ mô hình cơ sở công bố chi tiết kho ngữ liệu huấn luyện mà thẻ mô hình sau huấn luyện không có: một kho ngữ liệu nền tảng gồm hơn 20 nghìn tỷ token được thu thập từ năm 2013 đến tháng 12 năm 2025, được liệt kê theo nguồn — N​emotron-CC-v2 và v2.1 ở mức 9,1T, N​emotron-CC-Code-v1 ở mức 427,9B, các bộ N​emotron-Pretraining-Code tổng cộng 1,7T, N​emotron-CC-Math-v1 ở mức 133,3B, các bộ dữ liệu tổng hợp chuyên biệt và SFT ở mức 660B, và một bộ pháp lý ở mức 4,3B. Tiếng Anh, 19 ngôn ngữ nói khác, 43 ngôn ngữ lập trình.

Sau đó là hai bảng mà hầu hết các bản phát hành open-weights đơn giản là không công bố. Một bảng liệt kê các tập dữ liệu riêng tư, không thể truy cập công khai thuộc sở hữu của bên thứ ba, và nêu tên các mô hình đã tạo ra nhãn của chúng — Qwen3.5-122B-A10B cho một loạt lớn các tác vụ gán nhãn lại OCR và hỏi đáp thị giác, DeepSeek-OCR trên một tập con OCR tiếng Trung đã được lọc, Qwen3.5 trên một tập con đã được xác minh là chính xác, Gemini 3 và GPT-5 cho dữ liệu RL phục vụ tìm kiếm. Bảng còn lại liệt kê các tập dữ liệu riêng tư của chính NVIDIA, và một lần nữa nêu tên các mô hình tạo sinh: Kimi K3 cho dữ liệu SFT chuỗi suy luận toán học, DeepSeek-V4-Pro cho OCR lập trình thi đấu, gpt-oss-120b cho RL đầu ra có cấu trúc, GLM-5.2 cho tinh chỉnh, MiniMax-M2 cho các bước duyệt đồ thị tìm kiếm, cùng một loạt dài những mô hình khác.

Sau đó là hai bảng mà hầu hết các bản phát hành open-weights đơn giản là không công bố. Một bảng liệt kê các tập dữ liệu riêng tư, không thể truy cập công khai thuộc sở hữu của bên thứ ba, và nêu tên các mô hình đã tạo nhãn cho chúng — Qwen3.5-122B-A10B trên một loạt rộng các tác vụ gán nhãn lại OCR và hỏi đáp thị giác, DeepSeek-OCR trên một tập con OCR tiếng Trung đã được lọc, Qwen3.5 trên một tập con đã được xác minh là đúng, Gemini 3 và GPT-5 trên dữ liệu RL cho tìm kiếm. Bảng còn lại liệt kê các tập dữ liệu riêng tư của chính NVIDIA, và một lần nữa nêu tên các mô hình tạo: Kimi K3 cho dữ liệu SFT chuỗi suy nghĩ toán học, DeepSeek-V4-Pro cho OCR lập trình thi đấu, gpt-oss-120b cho RL đầu ra có cấu trúc, GLM-5.2 cho tinh chỉnh, MiniMax-M2 cho các bước đi trên đồ thị tìm kiếm, và một đuôi dài gồm nhiều mô hình khác. Các bảng đi kèm là một lời nhắc nhở về cách ngành này thực sự vận hành — tín hiệu huấn luyện của một mô hình tiên phong thường xuyên bao gồm đầu ra từ mô hình của các đối thủ, và NVIDIA là một trong số rất ít phòng thí nghiệm chịu nói rõ mô hình nào và để làm gì.

Kho lưu trữ cũng cung cấp kèm Nemotron_3.5_Super_VL_EU_Training_Content_Summary.pdf, được thêm vào ngày 15 tháng 10, đây là bản công bố nội dung huấn luyện hướng tới EU. Hỗn hợp huấn luyện giữa kỳ được công bố ở cùng mức độ chi tiết, và một dòng trong đó đặc biệt liên quan nếu bạn định tinh chỉnh cho công việc phần mềm: giai đoạn kỹ thuật phần mềm 67B token gồm 20% toàn bộ kho lưu trữ, 41% cặp issue và pull request, 3% diff commit, 1% log build và CI, 10% dấu vết agent, 20% phát lại tiền huấn luyện và 5% dữ liệu ngữ cảnh dài, và các nguồn của nó được khử nhiễm đối chiếu với các kho lưu trữ SWE-bench và Terminal-Bench. Tuyên bố khử nhiễm đó là dòng duy nhất trong thẻ cho bạn biết điểm số trên một trong hai benchmark đáng giá bao nhiêu.

Giấy phép, và điểm kiểm tra cơ sở dành cho ai

OpenMDW-1.1, cùng giấy phép như các bản dựng đã qua hậu huấn luyện, với thẻ mô hình ghi rõ: "Mô hình này sẵn sàng cho việc sử dụng thương mại hoặc phi thương mại." Kho lưu trữ không bị giới hạn truy cập và không cần token Hugging Face để tải xuống, mặc dù các công thức container của chính NVIDIA ở nơi khác trong cùng dòng mô hình đều giả định là cần một token.

Đặt giấy phép bên cạnh trường hợp sử dụng, và đối tượng mục tiêu là không thể nhầm lẫn. Không ai tải một checkpoint trước hậu huấn luyện 249 GB về chỉ để tiết kiệm chi phí suy luận — bản dựng NVFP4 nhỏ hơn 3,3 lần, nhanh hơn và tốt hơn 23 điểm trên GPQA Diamond. Checkpoint nền dành cho một nhóm có ý định làm chủ giai đoạn hậu huấn luyện: một miền khác, một tín hiệu phần thưởng khác, hoặc một chính sách dữ liệu khác với chính sách mà NVIDIA đã chạy. Theo OpenMDW-1.1, với việc sử dụng thương mại được cho phép và trọng số không bị hạn chế truy cập, đó là một cơ sở chính đáng để xây dựng sản phẩm, và chính vì vậy mà việc thiếu tài liệu lại gây tốn kém.

Và ở đây, đáng để tách biệt hai kiểu độc giả. Nếu câu hỏi của bạn là “tuần này tôi nên gọi cái nào cho việc phân tích tài liệu hay hiểu video”, thì checkpoint cơ sở không phải là câu trả lời của bạn và chưa bao giờ là; mô hình hậu huấn luyện mới là, và câu hỏi mở ở đó là xác minh benchmark chứ không phải tính sẵn có. Nếu câu hỏi của bạn là “liệu tôi có thể có được một backbone thị giác–ngôn ngữ lai Mamba-MoE cỡ 120B với giấy phép thông thoáng làm điểm khởi đầu cho lần huấn luyện của riêng tôi hay không”, thì kho lưu trữ này chính là câu trả lời và nó đã nằm đó không được liên kết kể từ ngày 12 tháng 10.

Nếu bạn định đánh giá nó

Sai lầm tốn kém với một checkpoint như thế này là coi việc tải xuống là bài kiểm tra. Không phải vậy: 249 GB, 63 shard và một chỉnh sửa config trước lượt forward pass đầu tiên chẳng cho bạn biết gì về việc liệu vision tower có chuyển giao được sang lớp tài liệu của bạn hay không.

Bài kiểm tra rẻ tiền là xác lập câu hỏi về năng lực trên một mô hình đã được phục vụ trước, và chỉ sau đó mới tiêu tốn dung lượng đĩa. Một cổng định tuyến hữu ích cho việc đó, và không hữu ích cho bất cứ điều gì khác trong quyết định này — một khóa và một điểm cuối trên vài trăm mô hình với giá niêm yết của nhà cung cấp, chênh lệch 0% được chuyển thẳng nghĩa là bạn có thể đặt bản dựng Nemotron 3.5 Super VL đã qua huấn luyện hậu kỳ đối đầu với bất kỳ mô hình thị giác nào bạn đang dùng, trên chính ảnh của bạn, trong một buổi chiều và với chi phí bằng số token. Tự động chuyển đổi dự phòng giữa các nhà cung cấp quan trọng ở đây vì một lý do hẹp: một lượt đánh giá chết ở yêu cầu thứ 4.000 trong tổng số 5.000 sẽ khiến bạn mất toàn bộ lượt chạy, và một cổng thử lại ở nơi khác khi nhà cung cấp gặp lỗi chính là khác biệt giữa một buổi chiều và hai buổi chiều.

Nói thẳng về một điều mà nếu không sẽ gây nhập nhằng: NVIDIANemotron 3.5 Super VL không có trong danh mục của chúng tôi. Hôm nay chúng tôi không phục vụ mô hình này, và riêng base checkpoint thì gần như không phải là thứ mà một endpoint được host có thể cung cấp, bởi vì base checkpoint không phải là sản phẩm suy luận. Điều mà một gateway mang lại cho bạn là nửa rẻ hơn của thử nghiệm — phép so sánh cho bạn biết liệu khoản 249 GB kia có đáng để trả hay không.

Điều gì vẫn chưa được xác lập?

Bốn điều, được nêu ra như những khoảng trống thay vì rủi ro.

• Giới hạn ngữ cảnh nào mới là thật. Thẻ ghi 1M, cấu hình được phát hành công bố 262.144, còn phần mô tả huấn luyện nói rằng đã chạy một tiến trình mở rộng lên 1M. Không có tuyên bố nào được công bố để làm rõ ba con số này. Bất kỳ ai dự định thực hiện một lượt continued-pretraining với ngữ cảnh dài nên coi giá trị trong cấu hình là mặc định và xác minh với runtime của mình thay vì dựa vào thẻ.

• Tháp thị giác có thể làm được những gì. Thẻ cơ sở không công bố bất kỳ đánh giá đa phương thức nào. Không OCR, không tài liệu, không biểu đồ, không hàng video — đối với checkpoint duy nhất trong dòng mô hình mà toàn bộ mục đích là để được tinh chỉnh trên chính những phương thức đó. Đó là lỗ hổng lớn nhất trong bằng chứng đã được công bố.

• Cách base so sánh với bất cứ thứ gì.Bảng benchmark một cột, không có baseline, không có ghi chú về harness. Con số 66,16 GPQA Diamond có thể tái lập về nguyên tắc thông qua NeMo Gym và chưa được bất kỳ ai bên ngoài NVIDIA tái lập.

• Liệu bản base có kèm các công thức triển khai 1M ở bất kỳ đâu hay không. Thẻ post-trained mang các lệnh khởi chạy 4×H100 và 2×GB200 cho toàn bộ cửa sổ. Thẻ base chỉ mang một hf download. Không rõ đó là lỗ hổng trong tài liệu hay là tuyên bố rằng việc phục vụ bản base ở 1M không phải là điều N​VIDIA dự định hỗ trợ.

Không điều nào trong số đó khiến bản phát hành này kém thú vị hơn. Nó biến checkpoint cơ sở thành artifact ít được ghi chép nhất của dòng họ này và, đối với một kiểu đội ngũ hẹp và cụ thể, thành thứ hữu ích nhất — sự khác biệt nằm ở chỗ bước tiếp theo của bạn là một lệnh gọi API hay một lần chạy huấn luyện.

Đối với một mô hình mà các kiểu thất bại vẫn chưa được ghi chép, bản đối chiếu hữu ích là hồ sơ về những gì đã sai ở nơi khác: các sự cố AI và lỗi tác nhân đã được ghi nhận liên quan đến các mô hình trong lớp này được tập hợp trong the OrcaRouter AI Incident Archive, nơi mỗi mục mang nguồn riêng, mức độ nghiêm trọng, cấp độ tin cậy và cờ tranh chấp.