Nemotron 3.5 Super trên Ollama: một mô hình thị giác 120B bạn có thể chạy trước khi NVIDIA công bố nó

Trong khoảng hai mươi giờ, đường dẫn cục bộ đến NVIDIA Nemotron 3.5 Super đã tồn tại trước cả thông báo rằng nó tồn tại. Ollama đã công bố checkpoint lên thư viện của mình vào ngày 14 tháng 10 năm 2026 trong bản phát hành v0.40.5, kéo theo một bản cập nhật llama.cpp bổ sung hỗ trợ Nemotron 3.5 và đẩy chín thẻ của một mô hình thị giác-ngôn ngữ 120 tỷ tham số — ollama run nemotron-3.5-super và bạn đang chạy nó. Bài đăng trên newsroom của chính NVIDIA cho cùng bộ trọng số, được công bố dưới tên đầy đủ hơn NVIDIA Nemotron 3.5 Super VL, đã lên sóng vào chiều hôm sau, ngày 15 tháng 10, lúc 15:00 UTC. Bản thân các trọng số đã nằm trên Hugging Face từ ngày 12 tháng 10, trong một kho lưu trữ có tên NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16, nơi trường ngày phát hành của chính thẻ mô hình đã ghi là 10/15/2026.

Không có gì trong số đó là một vụ bê bối. Đó là hình hài bình thường của một bản phát hành open-weight hiện nay: artifact xuất hiện, các framework đua nhau hỗ trợ nó, và marketing bắt kịp. Nhưng nó thay đổi lý do khiến danh sách Ollama trở nên đáng đọc. Thứ xuất hiện vào ngày 14 tháng 10 không phải là một thông báo sản phẩm có runtime đi kèm — mà là một runtime có sản phẩm đi kèm, và hai tài liệu này mâu thuẫn với nhau về một số điểm quan trọng nếu bạn sắp dành 90 GB dung lượng đĩa cho nó.

v0.40.5 thực sự đã phát hành những gì

Ghi chú phát hành Ollama đặc biệt cụ thể một cách bất thường, điều này thật tiện lợi. Nó mô tả Nemotron 3.5 Super là một mô hình ngôn ngữ-thị giác dùng cho viết mã, suy luận, sử dụng công cụ và hiểu tài liệu, được xây dựng trên nền tảng mixture-of-experts lai Mamba-2/Transformer với 12B tham số hoạt động mỗi token trên tổng 120B, đi kèm bộ mã hóa thị giác C-RADIO. Nó quảng bá khả năng gọi công cụ, chế độ suy nghĩ bật/tắt và ngữ cảnh lên đến 1M token. Hai dòng quan trọng nhất đối với bất kỳ ai đã chạy Ollama nằm sâu ở phía dưới: Đã cập nhật llama.cpp (bổ sung hỗ trợ Nemotron 3.5) và MLX.

Dòng duy nhất đó chính là toàn bộ lý do khiến thao tác pull hoạt động. Ollama định tuyến checkpoint này qua trình chạy llamacpp của nó ở định dạng GGUF — manifest của registry nói rõ như vậy — nên "Ollama hỗ trợ Nemotron 3.5 Super" và "llama.cpp hỗ trợ Nemotron 3.5 Super" là cùng một câu. Nếu bạn đang dùng bất kỳ phiên bản Ollama nào cũ hơn 0.40.5, thì không phải vậy. Blob cấu hình của mô hình mang "requires":"0.40.5", nên cổng chặn phiên bản được thực thi chứ không chỉ được khuyến nghị.

Cùng ghi chú phát hành đó cũng nêu tên một mô hình anh em, Nemotron 3.5 Bolt, mô hình này chưng cất Super xuống còn 74B tham số với 9B hoạt động và, theo ghi chú, được tinh chỉnh để vừa với một GPU NVIDIA 24 GB với giải mã suy đoán thông qua một drafter đi kèm. Bản đó là một pull khác và một tầng phần cứng khác; hãy tách biệt nó trong đầu bạn, vì cách đặt tên rất dễ gây nhầm lẫn.

Chín cổ vật, và mỗi món thực sự nặng bao nhiêu

Trang thư viện hiển thị một thang kích thước. Manifest registry phía sau nó hiển thị số byte thực, và cả hai không làm tròn theo cùng một cách, nên đây là các con số từ chính các manifest thay vì từ các huy hiệu đã làm tròn:

• q4_K_M — 88.419.818.592 byte, hay 82,3 GiB (trang thư viện ghi 80GB–90GB). Tên thẻ :latest, :120b, :120b-a12b và :120b-a12b-q4_K_M đều trỏ đến cùng một lớp này, nên bốn trong số chín mục là một tạo phẩm mang bốn cái tên.

• q8_0 — 131.601.243.232 byte, 122,6 GiB, hiển thị là 133GB.

• bf16 — 247,403,355,232 byte, 230.4 GiB, được hiển thị là 249GB. Đây là checkpoint độ chính xác đầy đủ khoác áo GGUF, và là thẻ duy nhất ở đây không nằm gần bất kỳ phần cứng tiêu dùng nào.

• MLX nvfp4 — tổng cộng 79.56 GB, nhỏ nhất trong cả bộ, và NVFP4 là định dạng mà card của chính NVIDIA xuất xưởng dưới dạng checkpoint chính thức thay vì một bản lượng tử hóa hậu kỳ.

• MLX mxfp8 — tổng cộng 129.60 GB, bản MLX tương ứng chỉ chiếm dung lượng xấp xỉ của q8_0.

• MLX bf16 — tổng cộng 248,92 GB, lớn hơn một chút so với GGUF bf16 vì MLX lưu trữ tensor theo cách khác.

• Projector — mọi tag, không có ngoại lệ, đều mang theo một lớp mmproj-bf16.gguf phương tiện nặng 1.733.696.896 byte. Đó là 1,61 GiB bộ mã hóa thị giác đi kèm trong mọi lượt tải xuống, kể cả lượt nhỏ nhất. Đường xử lý hình ảnh không phải tùy chọn và cũng không phải một lượt tải riêng.

Ba trong số chín mục — những mục MLX — được gắn thẻ cho Apple silicon thay vì CUDA, và mỗi mục chỉ được dán nhãn đơn giản là "MLX" trên trang thư viện. Nếu bạn đang chọn một thẻ trên máy Mac, nvfp4 ở 79,56 GB là cái vừa với máy có bộ nhớ hợp nhất 96 GB hoặc 128 GB mà vẫn còn dư, còn mxfp8 ở 129,60 GB thì hoàn toàn không vừa với máy 128 GB một khi bạn tính đến KV cache.

Trang thư viện và manifest không thống nhất về độ dài ngữ cảnh

Các thẻ GGUF quảng cáo cửa sổ ngữ cảnh 1M token. Ba thẻ MLX không quảng cáo gì cả — cột ghi "- context window" trong khi những cột khác ghi "1M". Hoặc là đường MLX chưa được thiết lập cho cấu hình ngữ cảnh dài, hoặc là trang chỉ đơn giản chưa được điền, nhưng từ bên ngoài thì không thể phân biệt được hai điều đó, và lập trường trung thực là tuyên bố về ngữ cảnh dài đã được xác minh đối với các thẻ GGUF và chưa được xác minh đối với các thẻ MLX.

Có một khoảng cách thứ hai theo cùng một hướng. Blob cấu hình cho thẻ mặc định khai báo "model_type":"123.6B" trong khi mọi tên gọi dành cho con người đều ghi 120B. Đó không phải là sự khác biệt về trọng số; đó là sự khác biệt trong cách số lượng tham số được làm tròn giữa hai hệ thống, và đáng để biết con số mà một công cụ cụ thể đang trích dẫn cho bạn.

Và điều thứ ba, cũng là điều dễ khiến bạn phải trả giá nhất: khối tham số đi kèm là {"draft_num_predict":3,"temperature":1,"top_p":0.95}. Những giá trị lấy mẫu đó là cài đặt được khuyến nghị trong model card — dành cho văn bản. Model card khuyến nghị một cặp giá trị khác cho tác vụ thị giác, temperature 0.6 so với top_p 0.95. Vậy nên mặc định của Ollama được tinh chỉnh cho nửa văn bản của một model mà Ollama đang quảng cáo như một model thị giác. Nếu trải nghiệm đầu tiên của bạn với nó trên biểu đồ hoặc các trang quét khiến bạn thất vọng, thì đó là núm đầu tiên cần xoay, trước khi bạn kết luận bất cứ điều gì về checkpoint.

Trường draft_num_predict: 3 xứng đáng có một dòng riêng. Đây là một tham số giải mã suy đoán, và manifest không mang theo lớp mô hình nháp riêng nào — chỉ có GGUF của mô hình và projector. Vậy nên bất cứ hoạt động suy đoán nào mà runtime đang thực hiện đều dựa vào đầu dự đoán đa token tích hợp sẵn của mô hình, chứ không phải drafter LiLiCorr độc lập mà card của NVIDIA nhắc đến là đi kèm cùng các checkpoint BF16 và NVFP4. Đó là một lựa chọn kỹ thuật hợp lý, và nó cũng đồng nghĩa với việc đường Ollama không phải là cấu hình chính xác mà các con số thông lượng của nhà cung cấp mô tả.

Những gì blob cấu hình âm thầm tiết lộ cho bạn

Bốn trường trong cấu hình manifest mang nhiều thông tin hơn mức mà kích thước của chúng gợi ý.

• model_family: nemotron_h_moe — chuỗi họ mô hình không chỉ đơn thuần là nemotron. Bất kỳ thứ gì trong stack của bạn chuyển đổi theo họ mô hình để chọn mẫu chat hoặc tokenizer sẽ không khớp với tiền tố ngây thơ.

• trình kết xuất: nemotron-3.5-super — một trình kết xuất chuyên dụng, nên mẫu trò chuyện thực sự là của mô hình này chứ không phải là mặc định kế thừa.

• bộ phân tích cú pháp: nemotron-3-nano — và ở đây bộ phân tích cú pháp được mượn từ phiên bản Nano nhỏ hơn. Định dạng đầu ra của chế độ suy nghĩ và của gọi công cụ rõ ràng đã đủ ổn định trong toàn bộ dòng sản phẩm đến mức nó không cần một bộ phân tích cú pháp mới. Điều đó cũng có nghĩa là nếu bạn đã xây dựng phần xử lý gọi công cụ cho Nemotron 3 Nano, nó có khả năng sẽ hoạt động y nguyên ở đây.

• file_type: Q4_K_M — thẻ mặc định là lượng tử hoá 4-bit, và đó chính là cấu hình mà hầu hết mọi người sẽ dùng để đánh giá mô hình này.

Lớp giấy phép là một khối 2.618 byte mang OpenMDW License Agreement version 1.1, đây cũng chính là giấy phép mà thẻ Hugging Face ghi là openmdw-1.1. Cấp phép rộng rãi, cho phép sử dụng thương mại, và đáng để đọc trước khi bạn giả định rằng nó là Apache-2.0, bởi vì hệ sinh thái Ollama xung quanh phần lớn đều là như vậy.

Điểm chuẩn: một bộ là của nhà cung cấp, bộ còn lại thì không.

Bảng do chính NVIDIA công bố rất chi tiết và hoàn toàn do nhà cung cấp tự báo cáo. Trên đó, mô hình đạt 89,52 trên GPQA-Diamond, 31,79 trên Humanity's Last Exam bản chỉ văn bản, 76,91 trên MMLU-ProX, 88,22 trên LiveCodeBench v6, 71,10 trên SWE-bench Verified, 67,72 trên SWE-bench Multilingual, 51,78 trên SWE-bench Pro, 66,70 trên Terminal-Bench 2.1, 70,86 trên IFBench, 62,82 trên MMLongBench-Doc, 78,16 trên MathVision và 68,12 trên OCRBench v2 tiếng Anh so với 59,15 tiếng Trung. Các dòng về tác tử (agentic) rất mạnh: 69,24 bán lẻ, 76,50 hàng không và 73,19 viễn thông trên tau2-bench. Công ty cũng tuyên bố rằng trên bảng xếp hạng Artificial Analysis Intelligence Index, mô hình đạt thông lượng nhanh hơn tới 5 lần so với các mô hình khác cùng phân khúc, và rằng việc chạy nó trên NVIDIA Dynamo cho phép các tổ chức phục vụ tới 8 lần số người dùng với độ trễ thấp hơn 85%. Đó là những con số của nhà cung cấp, do nhà cung cấp tạo ra, trên hạ tầng của chính nhà cung cấp — hãy coi chúng như một bản thông số kỹ thuật, chứ không phải một bản kiểm toán.

Bức tranh độc lập mỏng hơn nhưng hữu ích hơn, chính vì nó mỏng hơn. Artificial Analysis hiện xếp checkpoint này ở Intelligence Index 26, mức mà họ mô tả là cao hơn hẳn trung vị 8 của các mô hình trọng số mở cùng kích cỡ — một khoảng cách thực sự, và là khoảng cách đáng kể nếu bạn vẫn cho rằng một mô hình mở 120B từ một nhà cung cấp phần cứng nằm đâu đó quanh khoảng giữa của nhóm. Cùng trang đó ghi nhận 170M token đầu ra được tiêu thụ khi chạy Index, so với trung vị 100M, điều mà họ diễn giải là “hơi dài dòng”: đây là một mô hình suy luận có chế độ suy nghĩ mở rộng, và sự dài dòng là một dòng chi phí, không phải một chú thích nhỏ. Nó xác nhận ngữ cảnh 1.0M, tổng 120B với 12B hoạt động, đầu vào hình ảnh với đầu ra văn bản, và giấy phép OpenMDW-1.1.

Điều duy nhất mà trang đó không thể cho bạn biết là chi phí trên mỗi token, bởi vì không có mức giá dịch vụ lưu trữ nào để báo giá. Câu trả lời của chính Artificial Analysis về việc liệu mô hình có sẵn qua API hay không là nó là một mô hình trọng số mở có thể tự lưu trữ. Đó là toàn bộ câu chuyện kinh tế gói gọn trong một câu: chi phí biên của bạn là tiền điện và một giờ GPU, còn chi phí cố định của bạn là việc tải xuống.

Những gì cần thiết để thực sự chạy nó

Thẻ mô hình khuyến nghị bốn H100 hoặc hai GB200 cho checkpoint đã phát hành, với công thức vLLM chỉ định tensor parallelism là 4 và cấu hình speculative của phương pháp mtp. Đó là câu trả lời cho trung tâm dữ liệu và nó nhắm đến BF16. Câu hỏi thú vị đối với bất kỳ ai đọc danh sách Ollama là đầu bên kia của chiếc thang.

Ở q4_K_M, 82,3 GiB trọng số cộng với 1,61 GiB của projector đưa mô hình lọt vừa trong một card 96 GB hoặc một chiếc Mac dùng bộ nhớ hợp nhất 128 GB, với phần dư cho KV cache thu hẹp nhanh chóng khi bạn tăng context. Ở mức 1 triệu token như quảng cáo, cache sẽ không thể nằm vừa cùng với trọng số trên lớp phần cứng đó, bất kể nhãn mác ghi gì — context dài trên một máy đơn nghĩa là đánh đổi khả năng chạy đồng thời, chứ không phải mở khóa nó miễn phí. Hãy lên kế hoạch cho một context hoạt động thấp hơn nhiều so với mức trần và coi con số 1M là giới hạn của kiến trúc chứ không phải của triển khai bạn đang chạy.

Thẻ MLX nvfp4 ở mức 79.56 GB là lựa chọn thực dụng cho Apple silicon, đồng thời cũng là định dạng mà nhà cung cấp phát hành sẵn, khiến nó là thẻ ít có khả năng gây bất ngờ về chất lượng nhất trong số các thẻ nhỏ.

Điều này phù hợp ở đâu nếu bạn đang định tuyến thay vì tự lưu trữ

NVIDIA Nemotron 3.5 Super có sẵn thông qua các kênh build và phân phối của chính nhà cung cấp cũng như thông qua lệnh pull Ollama được mô tả ở trên. Nó không có trên OrcaRouter — chúng tôi định tuyến hơn 200 mô hình một chút và đây không phải là một trong số đó — vì vậy nếu bạn thực sự cần checkpoint này, pull cục bộ là cách của bạn và không có nội dung nào trong bài viết này ngụ ý rằng bạn có thể gọi nó bằng key của chúng tôi.

Điều mà nền tảng này thực sự hướng đến ở đây chính là quyết định xoay quanh nó. Việc đánh giá một mô hình như thế này có một chi phí cố định mà không bảng benchmark nào xóa bỏ được: tải xuống 90 GB, một buổi tối cấu hình, và một loạt prompt của riêng bạn trước khi bạn biết được bất cứ điều gì. Bước đi đầu tiên rẻ hơn là chạy khối lượng công việc thực tế của bạn với các mô hình được lưu trữ mà bạn đã có thể truy cập — một API cho hơn 200 mô hình, với giá niêm yết của nhà cung cấp được chuyển nguyên, không cộng thêm phí trên mỗi token, nên khi một nhà cung cấp giảm giá thì bên chúng tôi cập nhật ngay trong cùng ngày — và để điều đó cho bạn biết liệu khối lượng công việc có phải là loại mà một mô hình lập luận 120B cải thiện được hay không. Sau đó, hãy dành khoản tải xuống cho những trường hợp đã trụ lại được.

Và nếu bạn thực sự đưa một mô hình mở mới phát hành vào luồng production trước khi bạn tin tưởng nó, thì việc chuyển đổi dự phòng tự động quan trọng hơn giá cả. Một mô hình ra mắt ngày 14 tháng 10 mới chỉ có hai ngày được cả thế giới chú ý; định tuyến nó phía sau một phương án dự phòng là cách bạn tận dụng được ưu điểm của nó mà không đặt cược đường đi của yêu cầu vào nó.

Bản tóm tắt trung thực về những gì được xác nhận và những gì không được xác nhận

Đã xác nhận, trực tiếp từ sổ đăng ký và ghi chú phát hành: các thẻ, giá trị digest của chúng, số byte, phiên bản tối thiểu 0.40.5, định dạng GGUF thông qua trình chạy llamacpp, bộ chiếu thị giác dùng chung, chuỗi họ mô hình, trình kết xuất, bộ phân tích Nano kế thừa và giấy phép OpenMDW-1.1. Đã xác nhận từ chính phòng tin tức và thẻ mô hình của NVIDIA: kiến trúc, cách phân bổ tham số, giấy phép, các thiết lập lấy mẫu được khuyến nghị, quy mô huấn luyện — khoảng 26 nghìn tỷ token trong giai đoạn tiền huấn luyện và tiền huấn luyện tiếp nối, sau đó là hậu huấn luyện trên khoảng 3,8 triệu mẫu với học tăng cường trên hàng chục môi trường — cùng phạm vi ngôn ngữ gồm tiếng Anh, tiếng Tây Ban Nha, tiếng Pháp, tiếng Đức, tiếng Ý và tiếng Nhật.

Chưa được xác nhận: mọi con số benchmark, vốn do nhà cung cấp báo cáo, với Chỉ số 26 của Artificial Analysis và độ dài dòng 170M token được xem là những đo lường độc lập duy nhất trong bài này. Chưa được xác nhận: rằng các thẻ MLX hỗ trợ độ dài ngữ cảnh được quảng cáo, vì trang thư viện không khẳng định điều đó cho chúng. Chưa được xác nhận: rằng đường xử lý thị giác được tinh chỉnh sẵn, bởi vì các mặc định lấy mẫu đi kèm là mặc định dành cho văn bản. Và chưa được xác nhận: việc lượng tử hóa 4-bit làm thay đổi các điểm số đã công bố như thế nào, con số mà hầu hết người đọc một danh sách Ollama thực sự quan tâm và là con số chưa ai công bố.

Nếu bạn có một card 96 GB, một lý do để muốn có một mô hình ngôn ngữ-thị giác mở với phần xương sống 120B thực thụ, và không phản đối việc phụ thuộc vào tuần đầu tiên, thì đây là thứ mạnh nhất trong cùng hạng cân xuất hiện trong tháng này và việc kéo về là chuyện nhỏ. Nếu bạn cần đúng cấu hình mà NVIDIA đã đánh giá chuẩn, hoặc bạn cần phần thị giác hoạt động ngay lần đầu, hoặc bạn không thể bỏ ra một buổi tối để tìm ra tài liệu nào trong hai tài liệu đó là chính thống — hãy chờ các đánh giá lượng tử hóa và báo cáo từ cộng đồng. Các trọng số mới được bốn ngày và hỗ trợ runtime mới được hai ngày.