Nemotron 3.5 Bolt 74B so với Nemotron 3 Ultra: 1,5 điểm chỉ số, gấp bảy lần tham số

Con số đáng ngạc nhiên nhất trong dòng N​VIDIA N​emotron 3.5 không phải là kích thước của mẫu flagship. Mà là việc N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB, một checkpoint 74 tỷ tham số được nén vào 24 gigabyte với hai bit mỗi trọng số, chỉ kém N​emotron 3 Ultra 1,5 điểm — mô hình 550 tỷ tham số mà phần còn lại của dòng được chưng cất từ đó — trên Intelligence Index do Artificial Analysis chạy độc lập: 21,4 so với 22,9. Gấp bảy lần tham số, gấp sáu lần tính toán hoạt động mỗi token, mà khoảng cách có thể biến mất trong biên sai số của một benchmark. Trọng số của Bolt xuất hiện trên Hugging Face vào ngày 7 tháng 10 năm 2026, với thông báo của N​VIDIA theo sau vào ngày 15 tháng 10; Ultra ra mắt vào ngày 4 tháng 6 năm 2026.

Hai mô hình không thể thay thế cho nhau, và những chỗ chúng khác nhau lại mang tính chỉ dẫn nhiều hơn cả điểm số nổi bật. Những gì quá trình nén giữ lại và những gì nó loại bỏ đều có thể thấy trong các con số đã công bố, và chúng không phải là cùng những hàng.

Mỗi loại là gì

Ultra là mẫu chủ lực của thế hệ trước và là giáo viên tại trung tâm quy trình chưng cất của NVIDIA. Đây là mô hình hybrid Mamba-2 với tổng 550B tham số, 55B tham số hoạt động, có Multi-Token Prediction, được phát hành theo OpenMDW-1.1 cùng dữ liệu huấn luyện và công thức, được xây dựng cho công việc agentic chạy dài với ngữ cảnh lên tới một triệu token và giới hạn đầu ra 65.000 token mỗi yêu cầu. Tuyên bố của chính NVIDIA về nó là mô hình trọng số mở có trí tuệ cao nhất của Mỹ trong cửa sổ phát hành, và hồ sơ độc lập phần lớn ủng hộ điều đó: bảng đánh giá chấm nó 22,9 điểm trong cấu hình suy luận, với tốc độ đo được 156 token đầu ra mỗi giây, 1,29 giây đến token đầu tiên và thời gian phản hồi đầu-cuối trung vị 19 giây.

Bolt là phân khúc biên của thế hệ mới hơn và không phải là một distilled-Ultra theo nghĩa trực tiếp. Mô hình mẹ của nó là Nemotron 3.5 Super VL 120B-A12B, mô hình đa phương thức 120 tỷ tham số mà NVIDIA ra mắt cùng với nó. Việc nén được thực hiện bởi Star Elastic, phương pháp tìm kiếm kiến trúc do router dẫn hướng của NVIDIA, được tối ưu hóa cho tổn thất chưng cất tri thức thấp nhất mà vẫn đáp ứng giới hạn bộ nhớ bắt buộc dưới 24GB với kích thước lô là 1 và ngữ cảnh 128K — giảm top-K chuyên gia từ 22 xuống 9 và lượng tử hóa trọng số chuyên gia sang IQ2-XXS ở 2,0625 bit mỗi phần tử, cùng với chưng cất nhận biết lượng tử hóa để khôi phục độ chính xác. Nó mang một bộ mã hóa thị giác C-RADIO v4-H vì mô hình mẹ của nó là đa phương thức.

Các hàng độc lập, cả hai bên

Tất cả nội dung dưới đây đều đến từ Artificial Analysis trừ khi có ghi chú khác, và đó chính là điều khiến so sánh này trở nên hữu ích: cả hai mô hình đều được chạy bởi cùng một đơn vị đánh giá theo cùng một quy trình đánh giá.

• Chỉ số Trí tuệ — Bolt 21,4; Ultra 22,9. Được đo lường độc lập cho cả hai.

• GDPval-AA (đã chuẩn hóa) — Bolt 0,240; Ultra 0,257. Khoảng cách 1,7 điểm trên một benchmark được xây dựng từ các sản phẩm bàn giao nghề nghiệp thực tế.

• SciCode — Bolt 0.397; Ultra 0.403. Thực tế là ngang bằng nhau.

• Humanity's Last Exam, không dùng công cụ — Bolt 24,7 phần trăm; Ultra 28,4 phần trăm. Khoảng cách bốn điểm ở đây là lớn nhất trong danh sách này xét về mặt tương đối.

• Truy xuất ngữ cảnh dài AA-LCR — Bolt 69,7 phần trăm; Ultra 79,3 phần trăm. Mười điểm phần trăm, và là bằng chứng rõ ràng nhất về cái giá mà nén 2-bit phải trả.

• AA-Omniscience — Bolt đạt độ chính xác 17,1 phần trăm với 56,3 phần trăm không ảo giác; Ultra đạt độ chính xác 22,6 phần trăm với 70,3 phần trăm không ảo giác. Mô hình chủ lực vừa hiểu biết hơn vừa được hiệu chỉnh tốt hơn, đây là kết quả ít gây ngạc nhiên nhất trên trang.

• Terminal-Bench 4.0 (bộ khó hơn) — cả hai đều đạt điểm 0. Không mô hình nào giải được mức đó, kể cả mẫu chủ lực.

• Cửa sổ ngữ cảnh — Bolt: tối đa 256.000 token theo thẻ mô hình và 262.144 theo bản ghi của hội đồng. Ultra: tối đa 1.000.000 theo N​VIDIA, với đầu ra tối đa 65.000 token.

• Đầu vào — Bolt: văn bản, hình ảnh và video vào, văn bản ra. Ultra: văn bản vào, văn bản ra. Không có gì trong tài liệu ra mắt của flagship tuyên bố có một tháp thị giác.

• Giá — Bolt: không có. Không có mức giá theo lưu lượng được công bố cho checkpoint 24GB và bảng điều khiển không liệt kê số liệu đầu vào hoặc đầu ra cho nó. Ultra: $0.60 cho mỗi triệu token đầu vào và $2.50 cho mỗi triệu token đầu ra, với đầu vào được lưu trong bộ nhớ đệm ở mức $0.16, và chi tiêu đo được là $0.60 cho mỗi tác vụ Intelligence Index.

• Tốc độ — Bolt: không có đo lường độc lập. Ultra: 156,1 token đầu ra mỗi giây, 1,29 giây để có token đầu tiên, trung vị 14,6 giây thời gian suy luận mỗi phản hồi.

• Dấu chân — Bolt: 24GB ở IQ2, có thể triển khai trên một card A100, H100 hoặc Blackwell. Ultra: một triển khai đa tăng tốc; công thức của chính NVIDIA cho các checkpoint teacher trong dòng này nêu bốn B200 hoặc tám H100 làm mức sàn, và Ultra là thành viên lớn nhất.

Vì sao khoảng cách chỉ mục lại nhỏ hơn khoảng cách kích thước, và điều đó có nghĩa là gì

Có hai lời giải thích trung thực và cả hai có lẽ đều đúng một phần.

Điều đầu tiên là Intelligence Index là một chỉ số tổng hợp ưu tiên thưởng cho quy trình hơn là khả năng nhớ lại. Bolt đã mất các dữ kiện được lưu trữ do lượng tử hóa 2-bit — bạn có thể thấy điều đó ở các hàng độ chính xác — nhưng vẫn giữ đủ hành vi chuỗi suy luận, gọi công cụ và đầu ra có cấu trúc để đạt điểm trong các tác vụ tổng hợp. Lưu ý rằng lợi thế của Ultra tập trung đúng vào những chỗ bộ nhớ quan trọng: truy xuất ngữ cảnh dài, độ chính xác toàn tri, tỷ lệ ảo giác, các câu hỏi khoa học khó đòi hỏi một dữ kiện thay vì một phương pháp.

Thứ hai là tìm kiếm kiến trúc trên một mô hình cha mạnh là cách dùng ngân sách cố định tốt hơn so với việc huấn luyện mô hình nhỏ từ đầu, đó là lập luận rõ ràng của N​VIDIA trong tài liệu Bolt. Lấy một giáo viên đa phương thức 120B và tìm kiếm học trò rộng nhất vừa với 24GB là một bài tập khác với việc tiền huấn luyện một mô hình 30B, và checkpoint 74B/9B thu được nằm ở vị trí mà một mô hình 74B hiệu quả khác thường sẽ nằm.

Điều đó không có nghĩa là Bolt thay thế Ultra. Một mô hình thừa nhận sự không chắc chắn thường xuyên hơn (56,3 so với 70,3 phần trăm không ảo giác, theo hướng sai) và truy xuất từ ngữ cảnh dài kém đáng tin cậy hơn là một trợ lý tồi hơn cho những câu hỏi mà người ta thực sự đặt ra. Nó là một trợ lý tốt hơn cho những tác vụ chủ yếu mang tính quy trình: gọi công cụ, điền biểu mẫu, chỉnh sửa tệp, đọc ảnh chụp màn hình và nhấp vào đúng thứ cần nhấp.

Hai điều Ultra không thể làm

Lợi thế của Bolt là hẹp, và cả hai đều mang tính cấu trúc chứ không phải mang tính số lượng.

Nó vừa vặn. Một checkpoint 24GB chạy trên phần cứng mà một người sở hữu, không có mạng, không có đồng hồ tính theo token và không phải đàm phán dung lượng. Trí tuệ của Ultra chỉ có thể tiếp cận qua API, với mức $0.60 cho đầu vào và $2.50 cho đầu ra mỗi triệu token và khoảng $0.60 chi phí cho mỗi tác vụ lập chỉ mục. Mức giá đó thực sự thấp đối với một mô hình thuộc đẳng cấp của nó, đó là lý do vì sao con đường dịch vụ lưu trữ là một lựa chọn thực sự thay vì một thỏa hiệp — nhưng nó vẫn là một con đường đòi hỏi kết nối và niềm tin vào thời gian hoạt động của người khác.

Nó có khả năng nhìn. Bộ mã hóa thị giác C-RADIO v4-H của Bolt cung cấp cho nó đầu vào hình ảnh và video, và thẻ mô hình của N​VIDIA báo cáo 50,86 trên WebArena vision và 66,75 trên BrowseComp. Ultra là một mô hình văn bản. Nếu công việc của tác nhân bao gồm ảnh chụp màn hình, PDF, đọc bảng điều khiển hoặc tự động hóa trình duyệt với trạng thái trực quan, thì mô hình chủ lực của thế hệ cũ không thể được đưa vào thay thế bằng bất kỳ giá nào.

Cách chọn

Hãy chọn Ultra nếu khối lượng công việc thiên về suy luận và chỉ có văn bản: phân tích nhiều bước, các bộ tài liệu dài, viết mã trên những kho mã lớn, hay bất cứ việc gì mà sai sót phải trả giá đắt. Điểm số độc lập của nó vượt Bolt gần như ở mọi mặt, mức giá thuộc hàng thấp nhất trong nhóm trí tuệ cao, và thông lượng của nó được đo lường chứ không phải phỏng đoán.

Hãy chọn Bolt nếu khối lượng công việc chạy trên phần cứng do bạn kiểm soát, cần nhìn thấy, hoặc phải tiếp tục chạy khi không có mạng. Khoảng cách chỉ số 1,5 điểm là có thật và đủ hẹp để quyết định thường được đưa ra dựa trên việc triển khai chứ không phải chất lượng — và việc N​VIDIA phát hành một tệp 24GB đạt điểm chỉ kém hai điểm so với mô hình hàng đầu 550B của chính mình là thông tin đáng chú ý hơn trong hai bản phát hành.

Có một con đường trung gian đáng gọi tên, vì đó là cách N​VIDIA định vị dòng sản phẩm này chứ không phải cách một người mua chỉ dùng một mô hình sẽ làm: một bộ thực thi cục bộ nhỏ đảm nhận gọi công cụ và đọc màn hình, cùng một mô hình được lưu trữ lớn hơn xử lý lập kế hoạch và suy luận khó. Kiến trúc đó cần một cách đáng tin cậy để tiếp cận nửa được lưu trữ qua nhiều hơn một nhà cung cấp, đó chính là mục đích của tính năng chuyển đổi dự phòng của OrcaRouter — tự động thử lại trên nhiều nhà cung cấp phía sau một điểm cuối, trên một khóa cũng tiếp cận được hơn 200 mô hình với giá niêm yết của nhà cung cấp với mức phụ phí cộng thêm là 0 phần trăm. Chúng tôi không lưu trữ bất kỳ mô hình N​VIDIA nào; dòng N​emotron không có trong danh mục của chúng tôi, và không có gì ở đây là tuyên bố cung cấp nó. Điểm mấu chốt chỉ là thiết kế tác nhân hai tầng cần tầng thứ hai có thể định tuyến được, và một điểm cuối nhà cung cấp duy nhất được mã hóa cứng chính là cách thường khiến thiết kế đó thất bại.

Điều gì sẽ thay đổi trang này

Hai phép đo. Phép đo thứ nhất là một lần chạy độc lập về thông lượng và độ trễ trên checkpoint 24GB, thứ sẽ hoặc xác nhận hoặc phá hủy lý lẽ sử dụng nó làm bộ thực thi cục bộ ở tốc độ tương tác; hiện nay con số duy nhất có sẵn là 83,99 token mỗi giây của chính N​VIDIA trên AIPerf SPEED-Bench-Coding, được đo trên một máy thuộc phân khúc laptop và không thể so sánh với dàn máy của hội đồng. Phép đo thứ hai là một lần chạy lại độc lập các benchmark tác tử trên trọng số 2-bit ở một mức lượng tử hóa do bên thứ ba kiểm soát — bảng của nhà cung cấp cho thấy Bolt đánh bại Ultra trên Terminal-Bench 2.1 gần 27 điểm, và tuyên bố đó đang gánh một khối lượng công việc khổng lồ mà không có xác nhận bên ngoài.

Không có điều nào trong số này là lý do để tránh mô hình, mà chỉ là lý do để biết về lịch sử: các sự cố AI được ghi nhận và những thất bại của agent đằng sau các mô hình thuộc lớp này được tập hợp trong the OrcaRouter AI Incident Archive, nơi mỗi mục đều mang nguồn riêng, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp.