Nemotron 3.5 Super so với DeepSeek V4 Pro: bảng benchmark mà NVIDIA không công bố

Hãy mở thẻ mô hình của NVIDIA cho NVIDIA Nemotron 3.5 Super VL — checkpoint mở 120 tỷ tham số mà nhà cung cấp cũng liệt kê là NVIDIA Nemotron 3.5 Super và được Ollama phát hành dưới tên nemotron-3.5-super — rồi cuộn đến bảng đánh giá. Bạn sẽ thấy khoảng bốn mươi benchmark và bảy cột baseline. Một trong những cột đó là DeepSeek: nó được ghi nhãn là DeepSeek-V4-Flash0731. Hạng rẻ của chính DeepSeek. DeepSeek V4 Pro, mô hình chủ lực 1,6 nghìn tỷ tham số đã thay thế bản xem trước tháng Tư trong bản sửa đổi 0813, không xuất hiện ở bất kỳ đâu trong bảng.

Sự vắng mặt đó là dữ kiện hữu ích nhất trong so sánh này, và nó không phải là một sự sơ suất. V4 Pro kích hoạt 49 tỷ tham số mỗi token. Đặt nó vào cùng bảng với một mô hình có 12 tỷ tham số hoạt động sẽ tạo ra một tập hợp số liệu chẳng làm hài lòng ai và cũng chẳng cung cấp thông tin cho ai, bởi vì hai mô hình không phải là cùng một sản phẩm. Điều nhà cung cấp làm thay vào đó chính là phiên bản trung thực của phép thử này: đánh giá bằng benchmark dựa trên đúng phân khúc mà bạn thực sự định thay thế.

Vậy nên trang này làm hai việc. Nó đọc bản so sánh mà NVIDIA đã công bố — Nemotron 3.5 Super đối đầu với dòng flash của DeepSeek — và sau đó nói rõ ràng, ở những chỗ mà hai mô hình thực sự cạnh tranh, về những gì có thể và không thể kết luận được về mô hình flagship.

Hai hiện vật, cạnh nhau

• Tổng số tham số và tham số hoạt động — Nemotron 3.5 Super VL 120B tổng cộng với 12B hoạt động trên mỗi token, 512 chuyên gia được định tuyến trên mỗi lớp MoE, kết hợp lai Mamba-2 và Transformer · DeepSeek V4 Pro 1.6T tổng cộng với 49B hoạt động, chỉ dành cho văn bản.

• Ngữ cảnh và giới hạn đầu ra — 1.048.576 token ngữ cảnh cho Super VL, không có giới hạn đầu ra nào được công bố · 1.048.576 token ngữ cảnh cho V4 Pro với 384.000 token đầu ra tối đa.

• Phương thức — văn bản, hình ảnh và video vào với văn bản ra, thông qua bộ mã hóa thị giác C-RADIO và bộ kết nối thị giác-ngôn ngữ · văn bản vào, văn bản ra. Không có luồng hình ảnh nào cả.

• Trọng số và giấy phép — OpenMDW-1.1 trên checkpoint NVIDIA, được phép sử dụng cho mục đích thương mại · DeepSeek cũng tự công bố trọng số của mình và cho phép sử dụng cho mục đích thương mại.

• Giá trên endpoint tính phí theo mức sử dụng — không công bố mức giá nào; model chỉ hỗ trợ tự triển khai (self-host) · 0,66 USD mỗi triệu token đầu vào và 1,98 USD mỗi triệu token đầu ra, với lượt đọc từ cache ở mức 0,022 USD.

• Phạm vi phát hành — trọng số trên Hugging Face ngày 12 tháng 10 năm 2026, thông báo của nhà cung cấp ngày 15 tháng 10 năm 2026 · V4 Pro đóng vai trò là sản phẩm chủ lực, với bản sửa đổi 0813 mang ngày cụ thể, sẵn có cho phía gọi cần cố định phiên bản.

Hai trong số những dòng đó quyết định hầu hết các triển khai thực tế. Đầu tiên là phương thức: nếu đầu vào của bạn là ảnh chụp màn hình, hợp đồng quét, biểu đồ hoặc khung hình video, một nửa của so sánh này kết thúc trước khi nó bắt đầu, bởi vì DeepSeek V4 Pro không có đường dẫn hình ảnh và không có kế hoạch công bố nào cho việc đó. Thứ hai là dòng giá, và nó thú vị hơn vẻ ngoài của nó — NVIDIA không công bố mức giá nào cho mô hình này cả, nghĩa là cách duy nhất để biết chi phí của bạn là biết khối lượng token và hóa đơn phần cứng của bạn.

Đọc bảng mà NVIDIA thực sự công bố

So sánh ở phân khúc flash gần nhau hơn mức mà số lượng tham số gợi ý, và nó không phải lúc nào cũng bất lợi cho NVIDIA. Ở những hàng mà hai bên gần nhau nhất, bức tranh là sự ngang bằng thực sự về kiến thức và sự thiếu hụt thực sự về khả năng thực thi tác vụ tự chủ.

• Một sự hòa nhau về mặt thống kê ở môn khoa học cấp sau đại học — GPQA-Diamond 89,52 cho Super VL so với 89,6 cho DeepSeek-V4-Flash. 0,04 điểm ngăn cách một mô hình 120B với một mốc cơ sở hạng 1e12 ở hàng này, cả hai đều do nhà cung cấp thực hiện.

• Thiếu hụt ở khả năng suy luận khó nhất — Humanity's Last Exam bản chỉ văn bản đạt 31,79 so với 35,8, và MMLU-ProX đạt 76,91 so với 85,5.

• Điểm yếu ở mảng lập trình thi đấu — LiveCodeBench v6 88,22 so với 94,6.

• Sự thiếu hụt trong công việc phần mềm agentic — SWE-bench Verified 71.10 so với 75.4, Terminal-Bench 2.1 66.70 so với 76.80, DeepSWE 24.65 so với 42.3.

• Sự thiếu hụt rõ rệt ở khả năng truy hồi ngữ cảnh dài — AA-LCR v1.1 đạt 68,62 so với 79,7. Cả hai mô hình đều quảng cáo một triệu token; trên dòng truy hồi theo phong cách độc lập duy nhất, phiên bản flash dẫn trước hơn mười một điểm. Đó là con số quan trọng nhất trong bảng đối với bất kỳ ai đang có ý định sử dụng ngữ cảnh được quảng cáo thay vì chỉ đơn thuần là có sẵn nó.

• Những dòng mà NVIDIA thắng — GraphWalks 89,71 so với 65,4, LMArena v3 proxy 52,67 so với 49,8, và tau2-bench retail ở 69,24 so với 73,8 đủ sát nhau để chỉ là nhiễu trên một benchmark vốn đã nhiễu như thế này. AA-Omniscience mới là chiến thắng đáng nói hơn: tỷ lệ ảo giác của NVIDIA là 30,0 so với 95,9 của DeepSeek, và chỉ số dương 4,03 so với âm 7,8. Một mô hình biết từ chối trả lời có giá trị hơn một mô hình cứ khẳng định, và ở dòng này khoảng cách không hề nhỏ.

• Công cụ agentic — tau2-bench airline 76,50 so với 83,5 và telecom 73,19 so với 98,2, cả hai đều thua. Ở lĩnh vực telecom, phiên bản flash gần như thắng sạch.

Mỗi một con số trong số này đều do nhà cung cấp báo cáo thông qua chính bộ khung NeMo Gym của NVIDIA với một công thức đã được công bố. Đó là một tiêu chuẩn cao hơn so với một tuyên bố suông và thấp hơn so với một lần chạy lại độc lập, và trên bảng cụ thể này, hướng của phần lớn các hàng đều bất lợi cho mô hình đang được công bố, điều này ít nhất cũng là một dấu hiệu cho thấy bộ khung này không được tinh chỉnh để tâng bốc.

Điều gì không thể kết luận về V4 Pro, và tại sao nó vẫn quan trọng

Bạn không thể diễn giải bất cứ điều gì ở trên như một dự đoán về cuộc đối đầu chủ lực, vì ba lý do đáng được nêu rõ thay vì lờ đi.

Đầu tiên, mốc cơ sở không phải là mẫu chủ lực. Các số liệu agent do chính DeepSeek công bố cho bản sửa đổi 0813 của V4 Pro nằm ở một thang đo hoàn toàn khác: 87.9 trên Terminal Bench 2.1, 83.3 trên Cybergym, 74.1 trên Toolathlon Verified, 62.7 trên DeepSWE, 61.5 trên NL2Repo, và 42.7 trên Humanity's Last Exam khi không dùng công cụ, tăng lên 60.0 khi có công cụ. So với 66.70 của NVIDIA trên Terminal-Bench 2.1 và 31.79 trên HLE chỉ văn bản, khoảng cách của mẫu chủ lực rộng hơn nhiều so với khoảng cách ở phân khúc flash, và nó đang bị nới rộng bởi nhà cung cấp của mô hình kia, điều khiến nó không đáng tin hơn — chỉ càng sắc bén hơn.

Thứ hai, cột flash-tier là ảnh chụp nhanh của một hạng vốn đã tự dịch chuyển. Một hàng trông ổn hôm nay có thể trông tệ vào tháng sau dù cả hai mô hình đều không thay đổi, vì việc so sánh phụ thuộc vào checkpoint mà nhà cung cấp chọn để chạy.

Thứ ba, bức tranh độc lập về checkpoint của NVIDIA quá mỏng manh đến mức gần như không giúp ích gì như một yếu tố phân định thắng thua: bảng đánh giá của bên thứ ba chấm điểm các mô hình này xếp nó ở khoảng giữa hai mươi trên chỉ số của mình, với số token đầu ra trên mỗi tác vụ cao bất thường và một ghi chú rằng mô hình có phần dài dòng. Chỉ một điểm dữ liệu, từ một bảng đánh giá, bốn ngày sau khi các trọng số xuất hiện.

Vậy tóm tắt trung thực về trường hợp benchmark là thế này: theo các con số do nhà cung cấp tự chạy, một mô hình thị giác mở 12B-active gần như ngang bằng với phân khúc giá rẻ của DeepSeek về kiến thức và kém hơn ở khả năng thực thi agentic cùng truy hồi ngữ cảnh dài; không có gì trong bảng đó nói về mô hình flagship, và các con số công bố của chính flagship tốt hơn trên mọi trục mà hai bên có thể so sánh được với nhau.

Khía cạnh duy nhất mà việc so sánh là tầm thường

Hình ảnh. Không phải vì Nemotron giỏi về thị giác — chưa ai công bố một đánh giá độc lập nào về tuyến thị giác của nó, và runtime được phát hành mặc định lấy mẫu ở nhiệt độ văn bản của card thay vì nhiệt độ thị giác của nó, đây là một cái bẫy rình sẵn cho người đầu tiên thử nó — mà vì DeepSeek V4 Pro không chấp nhận chúng.

Sự bất đối xứng đó có một hệ quả về chi phí rất dễ bị bỏ sót. Một mô hình được lưu trữ có khả năng thị giác tính phí một trang tài liệu quét theo số token của nó, và một trang 300-dpi không phải là một số lượng token nhỏ. Một checkpoint 120B tự lưu trữ tính cùng trang đó bằng giây GPU. Với khối lượng công việc vài nghìn trang mỗi tháng, khác biệt chỉ là nhiễu; với vài trăm nghìn trang, nó là toàn bộ câu chuyện ngân sách. Các dòng thị giác của chính NVIDIA — 62.82 trên MMLongBench-Doc, 78.16 trên MathVision, 80.82 trên CharXiv reasoning, 68.12 trên OCRBench v2 English — là số liệu của nhà cung cấp, nhưng chúng xác lập rằng năng lực này hiện hữu chứ không chỉ trên danh nghĩa.

Trục còn lại nơi so sánh đảo chiều là điều ai cũng hỏi nhưng ít người đo lường: bộ nhớ. V4 Pro với tổng cộng 1,6 nghìn tỷ tham số không thể vừa vào chỉ một máy đơn lẻ, thậm chí còn cách rất xa. Super VL ở 82,3 GiB trong tag 4-bit mặc định của nó vừa trên một card 96 GB, vẫn còn chỗ cho ngữ cảnh làm việc. Đó không phải là một lập luận về chất lượng. Đó là sự khác biệt giữa một mô hình mà nhóm của bạn có thể pull và chạy ngay tối nay và một mô hình bạn phải thuê.

Chạy các phép tính thay vì chạy bài đo chuẩn.

Đây là phép tính đáng làm trước khi đọc một bảng khác. Hãy lấy một khối lượng công việc gồm một triệu token đầu vào và một trăm nghìn token đầu ra — một tháng nhẹ nhàng đối với pipeline tài liệu, một ngày nặng đối với sản phẩm chat.

Theo mức giá công bố của DeepSeek V4 Pro, đó là $0.66 cho đầu vào cộng với $0.198 cho đầu ra: dưới một đô-la, trước khi các chiết khấu cache kéo phần đầu vào xuống thấp hơn nữa. Với checkpoint NVIDIA thì không có mức giá, vì không có endpoint. Chi phí là phần nhỏ tương ứng của một giờ GPU mà lưu lượng đó tiêu thụ, và ở mức lưu lượng này, kết quả làm tròn về không — nhưng chi phí cố định đằng sau đó thì không. Bốn H100 không trở nên rẻ chỉ vì lưu lượng tháng đầu tiên của bạn ít.

Đó mới là bản chất thực sự của cuộc so tài này, và đây là câu hỏi về khối lượng, không phải câu hỏi về chất lượng. Dưới một mức thông lượng nhất định, API open-weight tính phí theo lưu lượng đơn giản là rẻ hơn tiền điện và chi phí khấu hao phần cứng, dù cả hai mô hình đều mở. Trên một mức thông lượng nhất định, chi phí cố định đảo chiều và checkpoint tự vận hành thắng về chi phí bất kể mô hình nào đạt điểm cao hơn trên Terminal-Bench. Điểm giao nhau phụ thuộc vào mức sử dụng của bạn, không phụ thuộc vào bên cung cấp nào.

Vậy thì câu hỏi định tuyến sẽ ra sao: nếu bạn không muốn chạy cụm máy chủ chút nào, DeepSeek V4 Pro có thể truy cập trên OrcaRouter với giá niêm yết của nhà cung cấp được chuyển nguyên, không cộng thêm phụ phí theo từng token — $0.66 và $1.98, đúng những con số mà DeepSeek công bố, vì chúng tôi không cộng thêm gì vào đó. Thay đổi giá từ nhà cung cấp được cập nhật ngay bên chúng tôi trong cùng ngày, thay vì đợi đến lần gia hạn hợp đồng tiếp theo. Nemotron 3.5 Super không có trên key của chúng tôi; chúng tôi định tuyến hơn hai trăm mô hình một chút và đây không phải là một trong số đó, nên nếu bạn cần cụ thể checkpoint đó, kênh riêng của nhà cung cấp và bản tải cục bộ là lối đi của bạn.

Việc thực sự cần làm

Nếu đầu vào của bạn là văn bản và khối lượng công việc của bạn mang tính tác tử — chuỗi công cụ dài, chỉnh sửa ở quy mô kho mã, các phiên terminal — thì DeepSeek V4 Pro là mô hình tốt hơn và cũng rẻ hơn, còn checkpoint của NVIDIA thì không phải là đối thủ đáng gờm so với nó trên chính những hàng số liệu đã công bố của nhà cung cấp. Hãy chạy khối lượng công việc đó trên V4 Pro trước, nắm được chi phí thực tế cho mỗi đơn vị công việc, và chỉ sau đó mới quyết định xem liệu một cụm máy chủ có đáng đầu tư hay không.

Nếu đầu vào của bạn là hình ảnh, video hay tài liệu dài, thì việc so sánh thu gọn thành một câu hỏi duy nhất về khối lượng, bởi vì V4 Pro hoàn toàn không thể nhận đầu vào đó. Dưới vài nghìn trang một tháng, hãy giữ nó ở dạng hosted. Trên mức đó, checkpoint 4-bit trên một card 96 GB là một thành phần hạ tầng đáng tin cậy — với hai lưu ý đáng nhắc lại: phiên bản mà hầu hết mọi người sẽ chạy không có đánh giá nào được công bố, và các mặc định lấy mẫu của chính runtime được tinh chỉnh cho nửa phần văn bản của thứ mà nhà cung cấp quảng cáo là mô hình thị giác.

Và nếu bạn thực sự đặt một checkpoint bốn ngày tuổi phía sau một đường dẫn yêu cầu, thì cũng hãy đặt một phương án dự phòng phía sau nó. Bảo hiểm rẻ nhất hiện có cho một mô hình không có lịch sử vận hành là một mô hình thứ hai trong cùng lệnh gọi.

None of this is a reason to avoid the model, only a reason to know the history: the documented AI incidents and agent failures behind models in this class are collected in the OrcaRouter AI Incident Archive, where each entry carries its own sources, severity, confidence grade and disputed flag.