Nemotron 3.5 Super vs Claude Opus 5.5: 12 tỷ tham số hoạt động đối đầu với một thước đo

Đây là con số quyết định phép so sánh này, và nó không nằm trên bảng benchmark nào cả. N​VIDIA N​emotron 3.5 Super — được N​VIDIA công bố dưới tên đầy đủ hơn là N​VIDIA N​emotron 3.5 Super VL, và được liệt kê trong thư viện Ollama là nemotron-3.5-super/ — kích hoạt khoảng 12 tỷ trong số 120 tỷ tham số của nó cho mỗi token mà nó tạo ra. Claude Opus 5.5 không công bố số lượng tham số nào cả và tính $4 cho mỗi triệu token đầu vào và $20 cho mỗi triệu token đầu ra. Do đó, một trong hai mô hình này có chi phí biên trên mỗi token là một hàm của lượng điện năng tiêu thụ, còn mô hình kia có chi phí biên trên mỗi token là một khoản mục chi phí. Cả hai con số đều có thật. Không con số nào cho bạn biết mô hình nào rẻ hơn để vận hành, vì chúng được định giá bằng những loại tiền tệ khác nhau.

Lý do điều này đáng để viết ra vào lúc này: các trọng số NVIDIA đã được đưa lên Hugging Face vào ngày 12 tháng 10 năm 2026, một cách lặng lẽ, trong một kho lưu trữ có tên NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16, ba ngày trước khi bài đăng trên newsroom của chính NVIDIA vào ngày 15 tháng 10 chính thức công bố điều đó. Trước thông báo ấy, xác nhận công khai duy nhất rằng Nemotron 3.5 Super tồn tại như một thứ có thể chạy được chỉ là một tập hợp các hiện vật registry — cùng với việc một số thông số kỹ thuật trên những hiện vật đó không khớp với thông số kỹ thuật trên thẻ của nhà cung cấp. Những gì có thể biết được từ kho lưu trữ là một lượng thực sự đáng kể: số byte, các định dạng lượng tử hóa, một cổng kiểm tra phiên bản, một giấy phép. Những gì không thể biết được từ bất kỳ kho lưu trữ nào là nó hoạt động ra sao so với một mô hình biên chạy trên máy chủ đối với khối lượng công việc của bạn. Khoảng cách đó chính là nội dung của trang này.

Những gì kho lưu trữ thực sự chứa, trước hết

Ba checkpoint dùng được đã xuất hiện cách nhau trong vòng sáu mươi giây vào ngày 12 tháng 10: trọng số tham chiếu BF16, một biến thể Base và một bản dựng NVFP4. Một kho lưu trữ LiLiCorr drafter riêng đã được đăng lên sớm hơn một ngày, vào ngày 11 tháng 10, đây là dấu vết công khai sớm nhất của dòng này. Thẻ mô tả một hỗn hợp chuyên gia Mamba-2 và Transformer lai với 512 chuyên gia được định tuyến mỗi lớp MoE, một bộ mã hóa thị giác C-RADIO và một bộ kết nối ngôn ngữ-thị giác, tổng cộng 120 tỷ tham số với 12 tỷ tham số hoạt động, ngữ cảnh lên tới 1 triệu token, đầu vào văn bản, hình ảnh và video với đầu ra văn bản, và giải mã suy đoán gốc thông qua đầu Multi-Token Prediction. Giấy phép là OpenMDW-1.1, cho phép sử dụng thương mại. Việc triển khai được quy định là bốn H100 hoặc hai GB200 cho BF16.

Danh mục Ollama là phiên bản mà hầu hết mọi người sẽ gặp đầu tiên, và đó là nơi đặc tả bắt đầu lệch hướng. Nó hiển thị chín thẻ. Bốn trong số đó — :latest/, :120b/, :120b-a12b/ và :120b-a12b-q4_K_M/ — đều trỏ đến cùng một lớp q4_K_M, vì vậy lệnh pull mặc định là lượng tử hóa 4-bit và tên "120b" không phải là tệp bạn nhận được. Mọi thẻ, kể cả thẻ nhỏ nhất, đều mang theo một bộ chiếu thị giác 1.6 GiB, vì đường dẫn hình ảnh không phải tùy chọn. Cách lấy mẫu mặc định được phát hành là temperature 1.0 với top_p 0.95, đây là khuyến nghị văn bản của card — cài đặt thị giác của card là temperature 0.6. Và cổng runtime được thực thi: cấu hình khai báo requires: 0.40.5/, nên trên Ollama cũ hơn, lệnh pull hoàn toàn không hoạt động.

Không có điểm nào trong đó là lỗi. Đó là khoảng cách thông thường giữa ghi chú phát hành của nhà cung cấp và một bản đóng gói của cộng đồng, và đó là lý do nên đọc cả hai tài liệu thay vì chỉ một.

Phép tính trung thực của 12B active

Kích hoạt thưa chính là toàn bộ luận điểm thương mại cho mô hình này, và cần phải nói chính xác về những gì nó mang lại và không mang lại.

Điều này mang lại gì: khi suy luận, một token chỉ chạm tới khoảng một phần mười mạng. Do đó, thông lượng trên phần cứng cố định gần với một mô hình dense 12B hơn nhiều so với mô hình 120B, và dấu chân bộ nhớ là nơi duy nhất mà toàn bộ 120 tỷ tham số xuất hiện. Card của chính NVIDIA tuyên bố thông lượng nhanh hơn tới 5 lần so với các sản phẩm khác cùng phân khúc và, khi được phục vụ trên ngăn xếp Dynamo của nhà cung cấp, có thể chịu tới 8 lần số người dùng đồng thời với độ trễ thấp hơn 85%. Đó là những con số của nhà cung cấp, được tạo ra trên phần cứng của nhà cung cấp, và chúng là một thông số kỹ thuật, không phải một cuộc kiểm toán — nhưng hướng của tuyên bố là hệ quả trực tiếp của kiến trúc, và ít nhất đó là một câu chuyện mạch lạc.

Điều nó không đem lại: các trọng số vẫn phải nằm thường trú đầy đủ. Lớp BF16 GGUF có kích thước 230,4 GiB. Mặc định q4_K_M là 82,3 GiB cộng với projector. Cả hai con số đều không giảm chỉ vì chỉ có 12 tỷ tham số được kích hoạt mỗi token. Vậy nên mức sàn phần cứng do bộ nhớ quyết định, còn thông lượng do kích hoạt quyết định — đó là lý do một card 96 GB duy nhất có thể chứa thoải mái mô hình 4-bit mà vẫn tạo token với tốc độ khiến một mô hình dense cùng tổng kích thước trở nên lép vế, và cũng là lý do cùng card đó hoàn toàn không thể chứa mô hình độ chính xác đầy đủ.

Giờ hãy đặt Opus 5.5 bên cạnh đó. Mô hình của Anthropic có ngữ cảnh 1 triệu token, đầu ra tối đa 128.000 token, chấp nhận đầu vào dạng văn bản, hình ảnh và tệp, và được niêm yết ở mức $4/$20 với giá đọc cache là $0,20 mỗi triệu token. Không cần tải xuống, không phải quyết định lượng tử hóa, không có mặc định lấy mẫu nào cần sửa, và không có phiên bản nào cần ghim. Đây cũng là một mô hình được kiểm định kỹ lưỡng: nó đứng đầu bảng đánh giá của bên thứ ba mà hầu hết mọi người dùng để so sánh những thứ này, vượt xa phân khúc Nemotron này.

Vậy nên phép so sánh không phải là “cái nào tốt hơn”. Xét trên năng lực tổng quát đã được đo lường, mẫu flagship chạy trên nền tảng hosted sẽ thắng, và giả vờ điều ngược lại sẽ là một sự bất công đối với độc giả đang chuẩn bị đưa ra quyết định mua hàng. Phép so sánh nằm ở điểm hai đường cong chi phí giao nhau.

Nơi mô hình mở 120 tỷ tham số khẳng định vị trí của mình

Ba địa điểm, và chúng rất cụ thể.

• Khối lượng gắn với một hóa đơn cố định. Một điểm kiểm soát tự vận hành sẽ chuyển chi phí biên thành chi phí cố định. Khi lưu lượng thấp, cách tính theo đồng hồ thắng tuyệt đối — bốn H100 tốn mỗi tháng nhiều hơn mức hầu hết các nhóm chi cho token. Khi lưu lượng cao và ổn định, chi phí cố định được phân bổ dần, còn đồng hồ tính phí thì không. Điểm giao nhau là phép tính duy nhất quan trọng ở đây, và nó là hàm của khối lượng token của bạn, chứ không phải chất lượng của mô hình nào.

• Công việc thị giác, nơi số trang là yếu tố quyết định chi phí. Card của N​VIDIA báo cáo 62,82 trên MMLongBench-Doc, 78,16 trên MathVision, 80,82 trên CharXiv reasoning và 68,12 trên OCRBench v2 tiếng Anh so với 59,15 tiếng Trung, tất cả đều do nhà cung cấp công bố. Trên O​pus 5.5, chính những đầu vào đó được tính phí theo token, mà một trang báo cáo quét thì tốn rất nhiều token. Nếu khối lượng công việc của bạn là hàng nghìn trang tài liệu mỗi ngày, phép tính thay đổi nhanh hơn bất kỳ khác biệt nào về chất lượng.

• Ghim. Một checkpoint trên đĩa do bạn kiểm soát sẽ không thay đổi khi bạn không hay biết. Điều đó đáng giá bằng tiền thật trong một pipeline chịu quy định, và đó là một thuộc tính mà mô hình được host không thể cung cấp dù với bất kỳ giá nào.

Hai chỗ mà nó không giành được vị trí của mình, và cả hai đều đáng để nói thẳng ra. Thứ nhất là công việc agentic tầm xa: card của NVIDIA báo cáo 66.70 trên Terminal-Bench 2.1, 71.10 trên SWE-bench Verified và 51.78 trên SWE-bench Pro — đáng nể, chưa được tái lập, và đứng sau biên giới được host. Thứ hai là bất cứ thứ gì mà một yêu cầu thất bại trở nên tốn kém, bởi vì một mô hình có trọng số đã bốn ngày tuổi thì có bốn ngày sự chú ý của thế giới đằng sau nó và không có chút lịch sử vận hành nào cả.

Những con số bạn chưa nên tin, và tại sao

Toàn bộ bảng benchmark được công bố cho Nemotron 3.5 Super là của chính nhà cung cấp, được thu thập thông qua harness NeMo Gym của NVIDIA. GPQA-Diamond 89.52. Humanity's Last Exam chỉ văn bản 31.79. LiveCodeBench v6 88.22. IFBench 70.86. tau2-bench 69.24 bán lẻ, 76.50 hàng không, 73.19 viễn thông. BrowseComp 78. LMArena v3 proxy 52.67. Mỗi một trong số đó là một tuyên bố của nhà cung cấp kèm theo một công thức có thể tái lập, điều này tốt hơn một tuyên bố suông, và vẫn không phải là một phép đo độc lập.

Bức tranh độc lập mỏng hơn nhiều, và bản thân điều đó là dữ kiện hữu ích nhất trên trang này. Ban đánh giá bên thứ ba chấm điểm các mô hình này xếp checkpoint này ở mức Intelligence Index vào khoảng giữa hai mươi — khoảng 26 — so với khoảng 58 của Opus 5.5. Ban đó cũng ghi nhận mức tiêu thụ token đầu ra cao bất thường trong lần chạy chỉ số, và họ diễn giải đó là sự dài dòng; sự dài dòng là một khoản mục chi phí chứ không phải chỉ là chú thích trong bất kỳ triển khai nào mà bạn trả tiền theo token hoặc phải chờ theo token. Một điểm dữ liệu độc lập không phải là một phán quyết, nhưng đó là điểm duy nhất không do công ty đang bán mô hình tạo ra.

Điều chưa ai công bố: lượng tử hóa 4-bit làm dịch chuyển các điểm số đó như thế nào. Tag mặc định của Ollama là q4_K_M. Mọi số liệu được công bố đều dành cho BF16 hoặc NVFP4. Vì vậy, con số mà hầu hết mọi người thực sự sẽ trải nghiệm vẫn chưa được đo đạc, và đó chính là con số đáng theo dõi trong vài tuần tới.

Những gì bạn có thể và không thể gọi hôm nay

Cần nói thẳng, vì đây là hiểu lầm phổ biến nhất trên những trang như thế này. N​emotron 3.5 Super không có trên OrcaRouter. Chúng tôi định tuyến hơn hai trăm mô hình một chút và không có mục N​VIDIA N​emotron nào trong số đó, vì vậy nếu bạn cần checkpoint cụ thể này, các tuyến của bạn là kênh xây dựng và phân phối riêng của nhà cung cấp cùng với việc tải runtime cục bộ — không phải chúng tôi.

Ngược lại, Opus 5.5 nằm trên key của chúng tôi, theo đúng giá niêm yết của nhà cung cấp được chuyển nguyên, không có phụ phí trên mỗi token, nghĩa là khi nhà cung cấp đổi giá thì phía chúng tôi có hiệu lực ngay trong cùng ngày chứ không đợi đến kỳ gia hạn hợp đồng tiếp theo. Sự bất đối xứng đó thực sự hữu ích cho quyết định đang ở trước mắt bạn: nước đi đầu tiên rẻ là lấy khối lượng công việc mà bạn định chạy trên bốn H100 và chạy nó với mô hình được host trước, trên một API, không cần qua thu mua. Nếu mô hình được host làm được việc đó với mức giá chấp nhận được, bạn đã tiết kiệm được cụm máy. Nếu không — và việc đọc sai một tài liệu kỹ thuật dày đặc ở quy mô lớn là một cách hoàn toàn có thể khiến nó không làm được — thì giờ bạn có bằng chứng thay vì một bảng benchmark, và bạn có thể dành khoản tải xuống đó cho những trường hợp đã trụ lại.

Công thức triển khai tốn bao nhiêu, cụ thể

Công thức vLLM của riêng card này đáng để đọc như một tài liệu về ngân sách. Song song tensor bằng 4, mức sử dụng bộ nhớ GPU 0,85, tối đa 32 chuỗi đồng thời, một ảnh và một video mỗi prompt, cắt tỉa video ở mức 0,5, và giải mã suy đoán thông qua đầu MTP với ba token suy đoán. Bốn chiếc H100 ở mức sử dụng 0,85 với giới hạn 32 chuỗi không phải là một dịch vụ lớn — đó là một triển khai nghiêm túc trên một nút đơn, và trần đồng thời cho bạn biết nhà cung cấp kỳ vọng một bản sao duy nhất xử lý được đến đâu.

Hai chi tiết trong công thức đó quan trọng hơn vẻ ngoài của chúng. Cấu hình video chấp nhận một video cho mỗi prompt với việc cắt tỉa ở mức một nửa, đây là một gợi ý mạnh về việc ngân sách thị giác được phân bổ vào đâu trên các đầu vào dài. Và trình phân tích suy luận được đặt tên là nemotron_v3/ trong khi trình phân tích lời gọi công cụ là qwen3_coder/ — nhà cung cấp đang tái sử dụng một định dạng gọi công cụ mà họ không tự phát minh, đây là tin tốt cho bất kỳ ai đã có mã gọi công cụ hiện hữu và đáng để biết trước khi bạn viết logic phân tích mới.

Đối lại, bề mặt vận hành của mô hình được lưu trữ chỉ là một khóa API. So sánh giữa "bốn chiếc H100 và một công thức vLLM" với "một khóa và một đồng hồ đo" không hề gần nhau về công sức. Nó chỉ gần nhau về chi phí, và chỉ khi ở quy mô lớn.

Một điều nữa có thể biết được từ repository và dễ bị bỏ sót: cách lấy mẫu được khuyến nghị khác nhau tùy theo modality. Text muốn temperature 1.0 với top_p 0.95; vision muốn 0.6 với 0.95. Một deployment đặt một cặp thông số chung cho tất cả rồi sau đó xử lý biểu đồ và trang quét thì đang chạy nửa vision của một mô hình vision bằng thiết lập của nửa text. Nếu ấn tượng đầu tiên của bạn về mô hình này trên tài liệu là kém, thì đó chính là núm vặn đầu tiên cần kiểm tra — trước khi bạn kết luận bất cứ điều gì về checkpoint.

Vậy cái nào?

Nếu công việc của bạn là lập trình agentic tầm xa, hay bất cứ thứ gì mà khả năng suy luận phải đạt mức tiên phong ngay ở lần thử đầu tiên, thì Claude Opus 5.5 chính là câu trả lời, và phân khúc N​emotron không thể thay thế cho nó. Đây không phải là một lựa chọn sát nút, và chính các bảng xếp hạng agentic do nhà cung cấp công bố cũng không hề khẳng định điều ngược lại.

Nếu công việc của bạn là hiểu tài liệu và hình ảnh với khối lượng lớn, nơi yếu tố quyết định chi phí là số trang chứ không phải độ khó của suy luận, thì đây là một trong những checkpoint mở thú vị hơn xuất hiện trong năm nay: 120 tỷ tham số với 12 tỷ tham số hoạt động, một giấy phép thoáng, một đường dẫn thị giác thực sự hiện diện chứ không phải gắn thêm, và mặc định 4-bit vừa vặn trên một card 96 GB. Cái bẫy nằm ở chỗ phiên bản mà mọi người thực tế sẽ chạy — mặc định q4_K_M — không có bất kỳ đánh giá nào được công bố, mô hình mới ra đời được bốn ngày, và thông số kỹ thuật do runtime công bố không hoàn toàn khớp với thông số kỹ thuật do nhà cung cấp công bố.

Cả hai điều đó đều là lý do để thử nó, chứ không phải lý do để tin nó. Trước tiên hãy đặt khối lượng công việc lên mô hình được host để tìm hiểu xem liệu khối lượng công việc đó có phải là loại mà một mô hình tiên phong giải quyết được còn một mô hình tầm trung thì không. Sau đó quyết định xem những trường hợp còn trụ lại có đáng để dùng một cụm, một bản tải xuống, hay một buổi tối cấu hình hay không. Và nếu bạn thực sự đưa một checkpoint bốn ngày tuổi vào đường dẫn yêu cầu, hãy định tuyến nó phía sau một fallback, bởi vì bảo hiểm rẻ nhất cho một mô hình không có lịch sử vận hành là một mô hình thứ hai phía sau cùng một lệnh gọi.

Điều mà những con số không thể cho bạn biết là liệu có bất kỳ phần nào trong đó đã gặp trục trặc trong thực tế hay không: các sự cố AI và lỗi agent được ghi nhận liên quan đến các mô hình thuộc lớp này được tập hợp trong OrcaRouter AI Incident Archive, nơi mỗi mục đều có nguồn riêng, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp.