Nemotron 3.5 Bolt vs Kimi K3: Bản tải về 24GB đối đầu với Cỗ máy đọc 2,8 nghìn tỷ tham số

Câu trả lời ngắn gọn và thẳng thắn là hai mô hình này không cạnh tranh cho cùng một công việc, và lý do có thể đo đếm được bằng một con số. Kimi K3 nắm giữ 1.048.576 token ngữ cảnh. NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB nắm giữ 262.144. Nếu nhiệm vụ của bạn là "đọc toàn bộ kho ngữ liệu này và trả lời trong một lượt", thì checkpoint 24GB bị loại ngay từ đầu trước khi bất kỳ điều gì khác về nó trở nên đáng quan tâm — và nếu nhiệm vụ của bạn là "chạy trên một máy trạm không có mạng, không có đồng hồ đo và không có nhà cung cấp nào can thiệp", thì Kimi K3 cũng không nằm trong cuộc chơi. Kimi K3 là một mô hình mixture-of-experts 2,8 nghìn tỷ tham số được Moonshot AI công bố vào ngày 15 tháng 7 năm 2026 dưới dạng API lưu trữ độc quyền. Nemotron 3.5 Bolt 74B-A9B 24GB là một tệp trọng số mở, chỉ dùng 9 tỷ trong số 74 tỷ tham số của nó cho mỗi token bất kỳ và vừa vặn trong 24GB bộ nhớ.

Bản checkpoint Bolt đã được đăng lên Hugging Face vào ngày 7 tháng 10 năm 2026 mà không kèm thông báo nào. Bài đăng của chính NVIDIA nêu tên mô hình — cùng phiên bản anh em 4GB của nó, Nemotron 3.5 Bolt E4B — xuất hiện vào ngày 15 tháng 10, tám ngày sau. Thứ tự đó đáng để biết vì nó quyết định điều gì có thể kiểm chứng: tám ngày của hồ sơ công khai chỉ gồm một tệp có thể tải xuống và một thẻ mô hình, còn phần văn bản giải thích thì đến sau.

Mỗi mô hình được xây dựng để làm gì

Kimi K3 là mẫu flagship của Moonshot và là bản phát hành có năng lực mạnh nhất của họ tính đến nay: một mô hình mixture-of-experts thưa với 2,8 nghìn tỷ tham số, trong đó khoảng 104 tỷ tham số hoạt động cho mỗi token, được xây dựng cho lập trình dài hạn và công việc tri thức đầu-cuối, nhận văn bản và hình ảnh rồi trả về văn bản. Nó được cung cấp dưới dạng dịch vụ, chứ không được phát hành để tải về. Không có bản tải xuống, không có bản lượng tử hóa để chạy cục bộ, và không có phiên bản nào đủ nhỏ để chạy trên laptop.

Nemotron 3.5 Bolt là cấu trúc ngược lại. NVIDIA đã lấy mô hình 120B-A12B Nemotron 3.5 Super VL của mình, áp dụng phương pháp nén dẫn hướng bởi router mà hãng gọi là Star Elastic để đạt 74B-A9B, rồi lượng tử hóa kết quả xuống còn 2,0625 bit cho mỗi phần tử expert — định dạng IQ2_XXS — với chưng cất nhận biết lượng tử hóa để khôi phục độ chính xác mà việc lượng tử hóa phải trả giá. Phần xương sống là kiến trúc lai Mamba-2 và Transformer mà nhà cung cấp gọi là LatentMoE, với bộ mã hóa thị giác C-RADIO v4-H cho đầu vào hình ảnh và video. Nó chạy dưới vLLM trên các linh kiện Ampere, Hopper và Blackwell, và trên phần cứng RTX Spark và DGX Spark thông qua llama.cpp, theo giấy phép OpenMDW-1.1 cho phép sử dụng thương mại.

Đọc một kho ngữ liệu dài, có giá

Đây là lúc so sánh trở thành số học thay vì sở thích. Kimi K3 được định tuyến trên OrcaRouter theo giá niêm yết của Moonshot mà không cộng thêm gì: 3,00 USD mỗi triệu token đầu vào, 15,00 USD mỗi triệu token đầu ra, và các lượt đọc từ bộ nhớ đệm ở mức 0,30 USD. p50 thời gian đến token đầu tiên trên danh mục của chúng tôi là 7,02 giây với p95 là 10,00 giây, và nó đã mang 990,6 triệu token lưu lượng được định tuyến trên danh mục của chúng tôi trong bảy ngày qua — đọc ngữ cảnh dài ở quy mô lớn là một khối lượng công việc thực tế chứ không phải một thí nghiệm tư duy.

Nemotron 3.5 Bolt không có giá, vì chẳng có gì để định giá. Không có endpoint được host cho nó, không có API của nhà cung cấp, không có bảng giá, và Artificial Analysis liệt kê cả tốc độ lẫn chi phí cho mỗi tác vụ Intelligence Index của nó là N/A chính vì lý do đó. Thay vào đó, thứ nó có là một mức trần bộ nhớ bạn mua một lần, cùng chi phí cận biên làm tròn thành hóa đơn tiền điện. Với một pipeline đọc một tập dữ liệu cố định mỗi đêm, chênh lệch giữa 3 đô la trên mỗi triệu token đầu vào và 0 không phải là một khoản giảm giá — đó là một mô hình kế toán khác, và điểm hòa vốn là câu hỏi về chi tiêu vốn do đội tài chính của bạn trả lời, không phải bài viết này.

Tầm nhìn không phải là yếu tố phân định như mọi người vẫn tưởng.

Cả hai mô hình đều nhận hình ảnh. Sự tương đồng chỉ dừng ở đó.

• Đầu vào — Kimi K3 chấp nhận văn bản và hình ảnh; Nemotron 3.5 Bolt chấp nhận văn bản, hình ảnh và video. Đối với một tác nhân đang xem bản ghi màn hình hoặc lấy mẫu khung hình từ luồng camera, chỉ một trong số này có thể được đưa trực tiếp tệp.

• Độ chính xác của luồng thị giác — Bolt mang một bộ mã hóa thị giác C-RADIO v4-H được thiết kế chuyên dụng và kế thừa hành vi đa phương thức từ máy khách Super VL mà nó được nén từ đó; khả năng hiểu thị giác của Kimi K3 được tài liệu ghi nhận là nguyên bản nhưng không phải là phần mà Moonshot lấy làm trọng tâm của mô hình. Bảng của chính NVIDIA liệt kê điểm thị giác WebArena là 50.86 cho Bolt; hãy coi đó là do nhà cung cấp tự báo cáo.

• Kiểm soát suy luận — Kimi K3 không cung cấp temperature, không top_p và không seed, với độ sâu suy luận chỉ được đặt bởi tham số reasoning-effort; chế độ suy luận của Bolt là một công tắc chat-template, enable_thinking true hoặc false, được kế thừa từ cùng một client Super VL.

• Suy đoán — Bolt đi kèm với một drafter LiLiCorr được dẫn động thông qua DFlash, thứ đề xuất bảy token về phía trước tại mỗi bước, đây là cơ chế đằng sau tuyên bố của NVIDIA về 84 token mỗi giây trên AIPerf SPEED-Bench. Không có đòn bẩy tương đương trên một endpoint được lưu trữ; bạn nhận được bất cứ thứ gì mà nhà vận hành cung cấp.

Khoảng cách đo được, và nó được tạo nên từ những gì

Artificial Analysis xếp Kimi K3 ở mức 43.6 trên Intelligence Index của mình và Nemotron 3.5 Bolt ở mức 21. Không thể nào diễn giải đó là gần nhau. Các hàng hỗ trợ của Kimi K3 rất mạnh ở những chỗ mà một trình đọc ngữ cảnh dài cần đến chúng — chỉ số AA Coding Index 76.2, đứng thứ chín trong 138 mô hình được đo, điểm GPQA Diamond 93.5, và con số nhớ lại ngữ cảnh dài 88.7, đây là con số cho bạn biết cửa sổ một triệu token là dùng được chứ không chỉ được tuyên bố.

Con số 21 của Bolt là một kiểu kết quả khác. Đây là điểm cao thứ tư trong số 67 mô hình thuộc lớp đã lọc theo footprint của nó, so với trung vị của lớp là 8, và Artificial Analysis mô tả nó là một trong những mô hình trọng số mở hàng đầu có kích thước tương đương. Cách đúng để dung hòa cả hai con số là: một con đo điều mà một phòng thí nghiệm tiên phong có thể làm được khi không có ràng buộc bộ nhớ, còn con kia đo điều mà 24GB có thể chứa. Hai mươi hai điểm chỉ số là cái giá của ràng buộc, không phải bằng chứng cho thấy mô hình nhỏ hơn được xây dựng kém.

Điều còn thiếu ở phía Bolt là bất kỳ phép đo độc lập nào về tốc độ của nó. NVIDIA báo cáo ít nhất 80 token mỗi giây khi giải mã là mục tiêu thiết kế và 84 trên bài đo của riêng mình, với 83,99 token mỗi giây trong một lần chạy llama.cpp trên Surface Laptop Ultra với 128GB. Tính đến thời điểm viết, chưa có bên thứ ba nào công bố con số thông lượng hoặc độ trễ cho trọng số 24GB. Ngược lại, độ trễ của Kimi K3 đã được đo và công khai — 7,02 giây p50 để có token đầu tiên, 10,00 giây p95 — và đó là những con số để lập kế hoạch dựa vào, chứ không phải con số của nhà cung cấp.

Nơi lớp định tuyến thay đổi câu trả lời

Kimi K3 có trong danh mục của chúng tôi với mã kimi/kimi-k3, theo đúng giá niêm yết của Moonshot, không cộng thêm bất kỳ khoản chênh lệch 0% nào, nằm sau cùng một khóa như hơn 200 mô hình khác, với tự động chuyển đổi dự phòng giữa các nhà cung cấp thượng nguồn khi một bên bị suy giảm. Nemotron 3.5 Bolt không có trong danh mục của chúng tôi — chúng tôi không lưu trữ bất kỳ checkpoint NVIDIA nào và cũng không có endpoint Bolt nào để gọi — nên câu hỏi định tuyến ở đây không phải là chúng tôi phục vụ mô hình nào trong hai mô hình đó. Mà là cách hai nửa của một pipeline thực tế nói chuyện với nhau.

Cách làm hiệu quả là một trình đọc cục bộ và một bộ lý luận được lưu trữ. Bolt nằm trên phần cứng của bạn và xử lý các lượt xử lý tần suất cao, nơi dữ liệu không được rời khỏi tòa nhà và khối lượng lớn sẽ khiến việc tính phí theo token trở nên tốn kém. Kimi K3 xử lý các yêu cầu cần cửa sổ một triệu token hoặc lý luận quy mô tiên tiến, với giá $3 và $15 mỗi triệu token. Đặt một quy tắc định tuyến trước cả hai và sự phân chia trở thành một dòng cấu hình thay vì một cuộc tái cấu trúc: một yêu cầu vượt quá ngân sách ngữ cảnh cục bộ sẽ được chuyển đến Kimi K3, mọi thứ khác vẫn ở trên máy trạm. Kết hợp mô hình là biến thể đáng biết nếu những cuộc gọi đắt đỏ là những cuộc gọi quan trọng — nhiều mô hình cùng trả lời một lời nhắc và bạn lấy sự đồng thuận.

Xem gì

Bằng chứng cụ thể có thể giải quyết sự so sánh cặp này thì hẹp và sắp xuất hiện. Một lần chạy đo thông lượng và độ trễ độc lập đầu tiên trên trọng số Bolt 24GB sẽ hoặc xác nhận mức 84 token mỗi giây của NVIDIA, hoặc làm giảm con số đó; một mức giá dịch vụ lưu trữ được công bố cho Bolt sẽ biến nửa phần chi phí của so sánh này thành phép tính; và một phép đo truy hồi ngữ cảnh dài thứ hai cho Kimi K3 sẽ xác nhận rằng 88.7 là thuộc tính của mô hình chứ không phải thuộc tính của một khung đánh giá.

Cho đến lúc đó, bản tóm tắt vẫn hẹp hơn cách định vị của cả hai nhà cung cấp. Kimi K3 là mô hình tốt hơn trên mọi trục mà một benchmark có thể đo được, và nó là mẫu duy nhất trong hai mẫu mà bạn có thể gọi vào chiều nay. Nemotron 3.5 Bolt là mẫu duy nhất trong hai mẫu vẫn tiếp tục hoạt động khi mạng không hoạt động, và là mẫu duy nhất có chi phí biên trên mỗi token bằng không. Hãy chọn mẫu thứ hai cho công việc lẽ ra không bao giờ nên được gửi đi bất cứ đâu, và chọn mẫu thứ nhất cho công việc cần phạm vi tiếp cận.