Nemotron 3.5 Super VL vs Nemotron 3 Ultra: Rẻ hơn so với flagship, hay chỉ là nhỏ hơn?

NVIDIA có ba hạng Nemotron 3.5 và một trong số đó là cái bẫy đối với các nhà hoạch định. NVIDIA Nemotron 3 Ultra 550B-A55B, ra mắt ngày 4 tháng 6 năm 2026, là mẫu chủ lực của dòng sản phẩm: tổng cộng 550 tỷ tham số với 55 tỷ tham số hoạt động trên mỗi token, các lớp LatentMoE với Multi-Token Prediction, ngữ cảnh 1M token, và mức tối thiểu được công bố là mười sáu H100 hoặc tám GB200. NVIDIA Nemotron 3.5 Super VL, với trọng số có mặt trên Hugging Face vào ngày 12 tháng 10 năm 2026 và thông báo của NVIDIA tiếp theo vào ngày 15 tháng 10, là hạng thấp hơn: tổng 120B, 12B hoạt động, cùng ngữ cảnh 1M token, bộ mã hóa thị giác C-RADIO, và mức tối thiểu bốn H100 hoặc hai GB200. Thẻ thông số của chính NVIDIA cho Super VL đánh giá hiệu năng trực tiếp so với Ultra và tuyên bố độ chính xác tương đương Ultra với khoảng một phần năm số tham số. Tuyên bố đó do nhà cung cấp báo cáo, chưa được tái lập, và đó chính là câu duy nhất mà toàn bộ so sánh này dựa vào.

Phép tính thực sự quyết định việc triển khai

Hãy bắt đầu với những gì mà hai trạm kiểm soát thực sự cần về mặt vật chất, vì đó chính là con số mà người nắm ngân sách phê duyệt.

• Tổng số tham số — 120B cho Super VL so với 550B cho Ultra. Gấp khoảng 4,6 lần mức chiếm dụng trọng số, và chính các trọng số là thứ lấp đầy các GPU.

• Tham số hoạt động trên mỗi token — 12B so với 55B. Tính toán trên mỗi token tỉ lệ với con số này, chứ không phải với tổng, đó là lý do cả hai mô hình đều rẻ hơn nhiều để chạy so với kích thước của chúng gợi ý — và cũng là lý do khoảng cách giữa chúng là 4.6× về bộ nhớ nhưng cũng là 4.6× về số học trên mỗi token.

• Phần cứng tối thiểu — 4×H100 hoặc 2×GB200 cho Super VL; 16×H100 hoặc 8×GB200 cho Ultra. Nói theo thực tế, chỉ một node thay vì cả một rack.

• Phương thức — văn bản, hình ảnh và video đầu vào cho Super VL; văn bản vào, văn bản ra cho Ultra. Ultra hoàn toàn không có luồng thị giác nào cả.

• Thiết kế attention — Super VL là dạng lai xen kẽ giữa Mamba-2, mixture-of-experts và attention với 512 chuyên gia được định tuyến mỗi lớp MoE; Ultra sử dụng cách bố trí LatentMoE của NVIDIA. Cả hai đều có các đầu MTP cho giải mã suy đoán.

• Giấy phép — OpenMDW-1.1 cho phép sử dụng thương mại trên cả hai, trọng số và công thức đều mở trên cả hai.

Mẫu hình trong sáu dòng đó là Super VL không phải là một Ultra bị cắt giảm. Đó là một dạng mô hình khác: có khả năng thị giác, nhỏ hơn nhiều về bộ nhớ, và — quan trọng là — có thể triển khai trên phần cứng mà một đội quy mô trung bình có thể đã sở hữu. Ngưỡng tối thiểu của Ultra là một cuộc thảo luận về trung tâm dữ liệu. Ngưỡng tối thiểu của Super VL là một nút suy luận nghiêm túc.

43 tỷ tham số hoạt động tăng thêm mang lại điều gì

Trường hợp suy luận tổng quát

Ultra được xây dựng để đứng đầu trong hệ thống sản phẩm của NVIDIA cho suy luận văn bản thuần túy, và bản phát hành tháng Sáu của NVIDIA đánh giá nó so với sáu mô hình tiên phong đương thời trên các bộ kiểm thử kiến thức, toán học, lập trình và ngữ cảnh dài. Những con số đó, giống như mọi con số trong so sánh này, đến từ bộ khung đánh giá của NVIDIA chứ không phải từ một đơn vị đánh giá độc lập, nên chúng xác lập những gì NVIDIA đã đo, chứ không phải những gì một bên thứ ba sẽ đo.

Trường hợp đa phương thức

Đây là nơi phép so sánh đảo ngược. Ultra không thể đọc một trang. Nếu công việc liên quan đến tài liệu, bảng biểu, biểu đồ, ảnh chụp màn hình hoặc khung hình video, thì mẫu flagship đơn giản là không phải một lựa chọn, và mô hình lớn nhất trong dòng sản phẩm trở nên không liên quan đến vấn đề của bạn cho dù chỉ số suy luận của nó tốt đến đâu. Bộ mã hóa thị giác và bộ kết nối của Super VL tồn tại chính xác là để phục vụ khối lượng công việc đó, và những thế mạnh đã được công bố của nó — OCR, trích xuất có cấu trúc từ tài liệu trực quan, quy trình kinh doanh nhiều bước — mô tả một công việc khác với công việc mà Ultra được tinh chỉnh để làm.

Trường hợp ngữ cảnh dài

Cả hai đều đạt 1M token. NVIDIA đã mở rộng ngữ cảnh của Super VL bằng một giai đoạn chuyên biệt 35 tỷ token, tiếp theo là một lượt khôi phục ngữ cảnh dài, đây là tín hiệu mạnh hơn so với chỉ một độ dài tối đa: điều đó có nghĩa đầu vào dài được coi là một năng lực cần bảo toàn thay vì một bộ đệm để quảng cáo. Ultra đạt cùng cửa sổ đó thông qua pipeline huấn luyện của riêng mình. Nếu không có đánh giá ngữ cảnh dài độc lập cho cả hai, hãy coi đây là thế hòa, với lợi thế khả dĩ nghiêng về mô hình nào mà dấu vết truy xuất của chính bạn cho thấy vẫn trụ vững qua mốc 200k.

Phục vụ một hoặc cả hai, và bẫy phân tầng

Cái bẫy nằm ở chỗ giả định rằng dòng họ này là một chiếc thang để bạn leo. Nó gần với một sự phân vùng hơn, và đường phân vùng được vạch ra theo chi phí cho mỗi tác vụ chứ không phải theo năng lực. Một mô hình 12B-active cần hai GB200 và hoàn thành một tác vụ tài liệu nhanh gấp năm lần so với cùng phân khúc, nếu tuyên bố về thông lượng của NVIDIA là đúng, sẽ đánh bại một mô hình 55B-active trong tác vụ đó bất kể mô hình nào thông minh hơn — bởi vì mô hình thông minh hơn đang nhàn rỗi chờ hàng đợi của mô hình nhanh hơn rút cạn. Đổi tác vụ sang một bài toán lập trình hoặc toán học tầm xa không có pixel nào, và các tham số bổ sung của Ultra đang thực sự phát huy tác dụng.

Cả hai đều không có trong danh mục của chúng tôi, và cần nói rõ ràng thay vì để một câu mơ hồ ngụ ý điều ngược lại: OrcaRouter không phục vụ NVIDIA Nemotron 3.5 Super VL, Nemotron 3 Ultra 550B-A55B, hay bất kỳ checkpoint NVIDIA nào khác. Chúng là những trọng số do bạn triển khai. Điều mà một lớp định tuyến đóng góp cho một quyết định như thế này là đo lường chứ không phải quyền truy cập. DSL định tuyến cho phép bạn đặt cùng một prompt trước hai mô hình thượng nguồn và đọc các câu trả lời song song, vì vậy việc đánh giá một ứng viên 12B-active so với một mô hình đương nhiệm 55B-active chỉ là một thay đổi cấu hình thay vì hai dự án tích hợp. Chuyển đổi dự phòng tự động quan trọng vì lý do ngược lại: nếu một mô hình được host mà bạn định tuyến tới bị suy giảm giữa pipeline, yêu cầu sẽ được chuyển hướng thay vì thất bại, điều này giữ một đường dự phòng luôn sống cho các nhóm đang tự host Super VL làm mô hình chính. Và với những phần của khối lượng công việc mà không tầng tự host nào nên gánh — các đợt bùng nổ, các phương thức hiếm gặp, các tác vụ ngữ cảnh lớn dùng một lần — danh mục phía sau một khóa duy nhất, hơn hai trăm mô hình với mức chênh 0% so với giá niêm yết của nhà cung cấp, chính là nơi những yêu cầu đó đi tới.

Cách diễn giải trung thực cho đoạn đó là ở đây chúng ta không phải là nhà cung cấp của bất kỳ mô hình nào trong hai mô hình. Chúng ta là lớp khiến việc so sánh có chi phí vận hành thấp và lộ trình leo thang có chi phí duy trì thấp.

Tuyên bố cần kiểm chứng trước khi bạn cam kết

Tất cả những điều trên quy về một câu chưa được kiểm chứng: rằng một mô hình 120 tỷ tham số với 12 tỷ tham số hoạt động sánh ngang mô hình suy luận lớn nhất của NVIDIA ở khoảng một phần năm số lượng tham số. Nếu điều đó đúng, Super VL là lựa chọn mặc định tốt hơn cho khối lượng công việc hỗn hợp và Ultra được dành cho nhóm vấn đề hẹp thực sự cần đến nó. Nếu điều đó không đúng — và một ngày sau khi phát hành, chưa có ai ngoài NVIDIA đo lường — thì hai tầng chỉ đơn giản là các kích cỡ khác nhau của cùng một thứ, và lựa chọn quay trở lại đúng nhu cầu tác vụ của bạn: có pixel hay không pixel, một nút hay một rack.

Bài kiểm tra này rẻ và cụ thể. Hãy lấy năm mươi tác vụ thực tế từ hàng đợi của chính bạn, những tác vụ có đáp án có thể kiểm tra được, chạy chúng với cả hai, và chấm điểm mức hoàn thành thay vì điểm benchmark. Con số đó, không phải con số của NVIDIA, mới là con số quyết định bạn mua phần cứng ở hạng nào — và nó là con số vẫn sẽ đúng khi bản phát hành Nemotron tiếp theo thiết lập lại trang này.