Nemotron 3.5 Bolt vs Nemotron 3 Ultra: Điều gì sống sót qua nén gấp 7,4 lần?

Hai mô hình từ cùng một nhà cung cấp, cách nhau một hệ số 7,4 về số lượng tham số và khoảng hai bậc độ lớn về phần cứng cần thiết để chạy chúng. NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB được phát hành vào ngày 15 tháng 10 năm 2026 dưới dạng tệp 24GB chạy song song với các ứng dụng khác của bạn trên thiết bị Spark hoặc GPU Blackwell. NVIDIA Nemotron 3 Ultra 550B-A55B đã có trên Hugging Face từ ngày 3 tháng 6 năm 2026 và yêu cầu mười sáu H100 ở mức tối thiểu trong BF16.

Câu hỏi thú vị không phải là cái nào mạnh hơn — câu trả lời là hiển nhiên và không hề sát nút. Mà là điều gì cụ thể còn tồn tại khi bạn nén một mô hình lớn vào một giới hạn bộ nhớ nhỏ, bởi vì điều đó cho bạn biết mô hình nhỏ có thể đảm nhận những loại tải công việc nào và những loại nào sẽ khiến nó lộ điểm yếu. Ghi chú nghiên cứu của chính NVIDIA trả lời trực tiếp một phần của câu hỏi đó, và những phần nó không trả lời lại chính là nơi quyết định thực sự nằm ở đó.

Dù cách gọi tên có gợi ý thế nào, họ không phải là cha mẹ và con cái

Giả định hiển nhiên là Bolt chỉ là một Ultra thu nhỏ. Không phải vậy, và việc hiểu đúng điều này sẽ thay đổi những gì bạn kỳ vọng ở tệp tin. Nemotron 3.5 Lightning, bậc 30B-A3B từ ngày 11 tháng 8 năm 2026, được chưng cất từ Ultra. Bolt thì không. Bolt được nén từ Nemotron 3.5 Super VL, một mô hình ngôn ngữ-thị giác 120B-A12B, bằng cách sử dụng tìm kiếm dẫn hướng bởi router mà NVIDIA gọi là Star Elastic, sau đó là chưng cất nhận biết lượng tử hóa xuống còn 2.0625 bit cho mỗi trọng số chuyên gia ở định dạng IQ2_XXS.

Dòng dõi đó giải thích một khác biệt còn quan trọng hơn bất kỳ hàng benchmark nào: Bolt có bộ mã hóa thị giác C-RADIO v4-H và chấp nhận ảnh lẫn video. Ultra là văn bản vào, văn bản ra, và đó không phải là khoảng trống trong báo cáo — checkpoint không có tháp thị giác nào để chấm điểm. Mô hình nhỏ hơn, mới hơn, được lượng tử hóa nặng thì nhìn thấy; mô hình suy luận lớn nhất trong dòng họ thì không.

Những gì mà quá trình nén đã giữ lại

Bolt mang 74 tỷ tham số với 9 tỷ tham số hoạt động trên mỗi token trên một backbone lai giữa Mamba-2 và Transformer. Ultra mang 550 tỷ với 55 tỷ hoạt động. Tỷ lệ tham số hoạt động là 6,1 trên 1, và tỷ lệ tổng tham số là 7,4 trên 1, nghĩa là việc nén đã loại bỏ tổng năng lực theo tỷ lệ nhiều hơn so với tính toán trên mỗi token — mô hình trở nên hẹp hơn nhanh hơn mức nó trở nên nông hơn.

Điều đó tạo ra gì, dựa trên bằng chứng hiện có:

• Trí tuệ độc lập — Artificial Analysis cho Nemotron 3.5 Bolt điểm 21 trên Intelligence Index của nó, thứ tư trong số 67 trong lớp được lọc theo dấu chân của nó so với trung vị của lớp là 8. Ultra không cùng lớp và đạt điểm cao hơn nhiều trên cùng phiên bản chỉ số. Đây là chi phí đo lường được của việc nén.

• Tốc độ độc lập — Artificial Analysis đo Ultra đạt 156,1 token đầu ra mỗi giây, đứng thứ mười trong số 74 mô hình trên trang đó và nằm trong nhóm tốc độ cao nhất. Với Bolt, các trường tương tự ghi N/A, vì không có endpoint được lưu trữ nào để gọi. Các số liệu của chính NVIDIA — 84 token mỗi giây trên AIPerf SPEED-Bench trên RTX Spark, 83,99 trong llama.cpp trên một Surface Laptop Ultra — là do nhà cung cấp báo cáo và chưa được tái lập.

• Tuân thủ chỉ dẫn — Ultra đạt 82,9 trên IFBench. Đây là dòng cần để mắt tới ở một agent phải tuân thủ một chính sách công cụ dài, và đây là kiểu năng lực mà chưng cất nhận biết lượng tử hóa bảo toàn một cách không đồng đều.

• Suy luận ngữ cảnh dài — Ultra đạt 75,2 trên AA-LCR so với đặc tả 1 triệu token. Cửa sổ công bố của Bolt là 262.144 token, chia sẻ 24GB với KV cache, hình ảnh và cuộc hội thoại. Một cửa sổ được khai báo rộng và khả năng sử dụng nó là hai thuộc tính riêng biệt; ở đây, mô hình lớn hơn có nhiều hơn cả hai.

• Khả năng tiết chế về mặt thực tế — Ultra ghi nhận 22.1 trên AA-Omniscience hallucination với 77.91 non-hallucination. Thẻ của chính Bolt ghi nhận 61.27 trên non-hallucination, dòng duy nhất mà nó thua kém Nemotron 3.5 Lightning nhỏ hơn nhiều. Hai dấu hiệu độc lập cùng chỉ về một hướng: đây là nơi việc nén 2-bit tích cực gây tốn kém nhất, và không mẹo định tuyến nào sửa chữa được một mô hình vốn bịa đặt nhiều hơn.

Đường bao triển khai, chính là nơi hai thứ thực sự tách ra.

Đây là phần của sự so sánh mà không thể quy về một điểm số.

• Bộ nhớ — Bolt là một artifact 24GB duy nhất, đã được lượng tử hóa, được thiết kế để cùng tồn tại với một trình duyệt và một IDE trên cùng một máy. Ultra ở BF16 yêu cầu mười sáu H100, tám H200 hoặc tám nút cấp GB200 theo model card của chính nó; bản dựng NVFP4 thu hẹp con số đó xuống còn tám H100 ở mức tối thiểu. Sự khác biệt giữa hai câu đó là sự khác biệt giữa một đơn đặt hàng và một chương trình thu mua.

• Cấu hình ngữ cảnh — Bolt phục vụ trực tiếp 262.144 token trong recipe vLLM đã công bố của mình. Các recipe của Ultra mặc định ở 256K và cần một cờ môi trường để đạt mức đầy đủ 1.048.576, đó là lý do bảng điều khiển ghi nhận 262K cho Ultra bất chấp đặc tả 1M. Hãy đọc đặc tả, rồi đọc recipe.

• Ngăn xếp phục vụ — Bolt chạy dưới vLLM trên Ampere, Hopper và Blackwell, hoặc dưới llama.cpp trên phần cứng RTX Spark và DGX Spark, theo giấy phép OpenMDW-1.1 cho phép sử dụng thương mại. Ultra chạy dưới cùng giấy phép trên mức song song cấp trung tâm dữ liệu. Cả hai đều là trọng số mở; chỉ một trong số chúng là khả chuyển.

• Chi phí prompt — Ultra được tính theo mức $0,60 mỗi triệu token đầu vào và $2,50 mỗi triệu token đầu ra với mức giảm giá bộ nhớ đệm 73%, tổng cộng khoảng $0,60 để chạy một tác vụ Intelligence Index — thực sự rẻ đối với một mô hình cỡ đó, và khả dụng vì người khác vận hành cụm máy. Bolt hoàn toàn không có giá: không có endpoint được lưu trữ, không có API nhà cung cấp, không có bảng giá, và N/A ở cả mục tốc độ lẫn chi phí của bảng độc lập duy nhất liệt kê nó.

Đọc thông báo để xem nó nói gì và không nói gì

Checkpoint của Bolt đã có mặt trên Hugging Face từ ngày 7 tháng 10 năm 2026 với chỉ một thẻ mô hình đi kèm. Thông báo của nhà cung cấp nêu tên nó — cùng với một phiên bản anh em 4GB, Nemotron 3.5 Bolt E4B, nhắm đến các nhân vật trong trò chơi và được ghi ngày 23 tháng 10 — ra mắt vào ngày 15 tháng 10. Việc đưa trọng số lên tám ngày trước phần văn bản giới thiệu không phải điều bất thường, nhưng nó đồng nghĩa với việc một tuần trong hồ sơ công khai không hề chứa lời giải thích nào về mô hình, và rằng bất kỳ bài viết nào được thực hiện trong khoảng thời gian đó đều chỉ dựa vào thẻ mô hình mà thôi.

Thông báo cũng là nơi để tìm kiếm những gì còn thiếu. Không có endpoint được host, không có API, không có bảng giá, không có nền tảng bên thứ ba nào đo đếm Bolt — và không có ai chạy benchmark độc lập trên bộ trọng số 24GB. Các con số của nhà cung cấp là thật và cụ thể, được lấy bằng llama.cpp trên một Surface Laptop Ultra với 128GB; đơn giản là chúng chưa được tái lập bên ngoài NVIDIA.

Mỗi mô hình thuộc về đâu, và bộ định tuyến thuộc về đâu

Cả hai mô hình này đều không có trong danh mục của OrcaRouter. Chúng tôi không lưu trữ bất kỳ checkpoint NVIDIA nào, không có endpoint Bolt và cũng không có endpoint Ultra, và không có gì ở đây là lời đề nghị phục vụ một trong hai. Điều mà một endpoint duy nhất thực sự mang lại, nếu bạn tự chạy một hoặc cả hai mô hình, là cách giữ hai nửa cục bộ và máy chủ của một quy trình làm việc dưới cùng một khóa — hơn 200 mô hình trong danh mục của chúng tôi nằm sau một khóa API và một hóa đơn duy nhất, ở mức giá niêm yết của từng nhà cung cấp được chuyển thẳng qua với 0% phụ phí, nên khi nhà cung cấp thay đổi giá thì phía chúng tôi cập nhật ngay trong cùng ngày thay vì đợi đến kỳ gia hạn tiếp theo. Một yêu cầu cần cửa sổ đầy một triệu token hoặc một bộ suy luận quy mô frontend sẽ được gửi đến một mô hình máy chủ; tệp cục bộ giữ lại phần công việc khối lượng lớn, nhạy cảm về quyền riêng tư, thứ lẽ ra không bao giờ nên rời khỏi tòa nhà. Chuyển đổi dự phòng tự động nghĩa là một upstream bị suy giảm sẽ chuyển yêu cầu đi thay vì để nó thất bại.

Việc bố trí được quyết định bởi bài toán triển khai chứ không phải bởi điểm số. Bolt nên được đặt trên máy trạm khi dữ liệu không thể di chuyển, khi khối lượng công việc có chứa video, hoặc khi khối lượng khiến việc tính phí theo token trở thành khoản mục chi phí chiếm ưu thế — và khi cửa sổ 262K cùng khoảng cách về khả năng kiềm chế thông tin sai lệch đã lộ rõ là chấp nhận được. Ultra nên được đặt trên một endpoint tính phí theo mức sử dụng khi công việc cần khả năng tiếp cận một triệu token, khả năng tuân thủ chỉ dẫn mạnh nhất trong dòng, và tỷ lệ ảo giác thấp nhất mà NVIDIA hiện công bố.

Ai nên hành động, và ai nên chờ đợi

Hãy hành động ngay nếu khối lượng công việc là cục bộ và có video: Bolt là mô hình duy nhất trong nhóm này vừa vặn 24GB lại vừa có thể nhìn, và không có checkpoint mở nào khác ở mức dung lượng đó đạt 21 trên chỉ số độc lập. Hãy hành động ngay nếu khối lượng công việc là suy luận văn bản ngữ cảnh dài ở quy mô lớn: Ultra được đo đếm, được đo lường, và rẻ hơn trên mỗi tác vụ Intelligence Index so với mức mà một mô hình cùng kích cỡ đáng lẽ có thể.

Khoan đã, nếu quyết định của bạn phụ thuộc vào thông lượng. Tốc độ của Bolt là khía cạnh duy nhất không có phép đo độc lập nào ở bất cứ đâu, và với một mô hình được triển khai cục bộ thì tốc độ chính là thứ bạn cảm nhận từng giây, mỗi ngày. Một lần chạy đo độ trễ duy nhất từ bên thứ ba trên bộ trọng số 24GB sẽ giải đáp được nhiều hơn cả mười dòng benchmark nhà cung cấp tiếp theo — và cho đến khi nó tồn tại, việc lập kế hoạch dung lượng cho Bolt chỉ là lập kế hoạch dựa trên một lời khẳng định.