Nemotron 3.5 Bolt 74B so với Kimi K3: Một tệp 24GB đối đầu với mô hình chủ lực 2,8 nghìn tỷ tham số

Hai mô hình trong so sánh này không cạnh tranh cho cùng một vị trí, và những con số cho thấy điều đó rõ ràng trước khi bất kỳ nhà cung cấp nào lên tiếng. NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB là một mô hình ngôn ngữ - thị giác 74 tỷ tham số mà NVIDIA đã nén xuống thành một checkpoint 2-bit đủ nhỏ để nằm gọn trong 24 gigabyte bộ nhớ cùng với hệ điều hành. Kimi K3 là mô hình chủ lực 2,8 nghìn tỷ tham số của Moonshot AI, một mô hình trọng số mở mà triển khai khả thi nhỏ nhất của nó là cả một rack. Mô hình thứ nhất là một tệp bạn có thể sao chép vào laptop, thứ mà NVIDIA bắt đầu phát hành vào ngày 15 tháng 10 năm 2026. Mô hình thứ hai là một khối lượng công việc bạn thuê theo token. Đọc điểm số của chúng cạnh nhau là hữu ích chính vì khoảng cách lớn đến mức không ai có thể giả vờ rằng mô hình nhỏ hơn là một sự thay thế.

Điều thực sự đáng làm trên trang này là tìm ra 22 điểm Intelligence Index đi đâu, và liệu có điểm nào trong số đó rơi vào những nhiệm vụ mà một local agent thực sự thực hiện hay không.

Đã phát hành những gì, và khi nào

Kho Bolt xuất hiện trên Hugging Face vào ngày 7 tháng 10 năm 2026; bài đăng ra mắt của chính N​VIDIA có nêu tên nó, “Open From Data Center to Desktop: N​VIDIA Expands N​emotron Family With Highest Efficiency Super VL and Bolt Models,” được ghi ngày 15 tháng 10. Bản thân thẻ mô hình ghi ngày phát hành là 10/15/2026. Thứ tự đó — trọng số (weights) có trước, thông báo đến tám ngày sau — có ý nghĩa với bất kỳ ai đọc các bài đưa tin về mô hình này, bởi vì suốt một tuần, hồ sơ công khai chỉ gồm một checkpoint có thể tải về và một thẻ mô hình, mà không hề kèm theo thông cáo báo chí nào.

Ngoài điểm đó, hai mô hình này khác nhau ở mọi thứ. Kimi K3 được công bố vào ngày 16 tháng 7 năm 2026, với trọng số được phát hành sau đó vào ngày 27 tháng 7, khiến nó ra đời sớm hơn khoảng ba tháng và được các bên thứ ba ghi chép đầy đủ hơn đáng kể.

• Kiến trúc — N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB là một LatentMoE lai Mamba-2–Transformer với bộ mã hóa thị giác C-RADIO v4-H. Kimi K3 là một hỗn hợp chuyên gia thưa 2,8 nghìn tỷ tham số, kích hoạt 104 tỷ tham số mỗi token trên 16 trong số 896 chuyên gia, được xây dựng trên K​imi Delta Attention của M​oonshot.

• Tham số — tổng 74B, 9B hoạt động đối với mô hình NVIDIA; tổng 2.8T, 104B hoạt động đối với Kimi K3. Mô hình nhỏ hơn kích hoạt chưa đến một phần mười lượng tính toán trên mỗi token của mô hình lớn hơn.

• Dấu chân bộ nhớ — 24GB ở lượng tử hóa 2-bit (IQ2-XXS với 2,0625 bit mỗi phần tử cho trọng số expert, NVFP4 cho các lớp Mamba, Q8_0 cho embedding và output) so với mức mà một triển khai tham số 2,8T tiêu tốn, vốn không phải là con số mà trang này có thể nêu bằng gigabyte.

• Ngữ cảnh — 262.144 token cho mô hình N​VIDIA; 1.048.576 cho Kimi K3, với mức giá cố định bất kể độ dài.

• Đầu vào — văn bản, hình ảnh và video vào, văn bản ra cho cả hai.

• Giấy phép — OpenMDW-1.1 cho checkpoint N​VIDIA; Giấy phép Kimi K3 cho trọng số của M​oonshot, cho phép dùng cho hầu hết mục đích sử dụng, với một thỏa thuận riêng bắt buộc khi doanh thu hằng năm trên 20 triệu USD.

Những con số độc lập, và con số không tồn tại

Artificial Analysis đã chạy cả hai mô hình, và chính điều đó mới khiến cho việc so sánh này có thể trả lời được. Không phải mọi thứ trên bảng đều được đo lường cho cả hai, và những khoảng trống ấy cũng có giá trị thông tin chẳng kém gì các điểm số.

• Chỉ số Trí tuệ — N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB đạt 21,4 điểm, đứng thứ tư trong số 67 mô hình cùng phân khúc kích thước trên bộ so sánh của chính ban đánh giá. Kimi K3 đạt 43,6 điểm ở chế độ suy luận tối đa và 30,1 điểm ở chế độ thấp. Cả hai con số đều được đo độc lập, không phải do nhà cung cấp báo cáo.

• Chi phí cho mỗi tác vụ Intelligence Index — mô hình NVIDIA không có con số nào vì nó không có mức giá tính theo sử dụng: Artificial Analysis hoàn toàn không đưa ra mức giá đầu vào hay đầu ra nào cho nó. Kimi K3 tốn 2,00 USD chi phí API cho mỗi tác vụ chỉ số, ở mức 3,00 USD cho mỗi triệu token đầu vào và 15,00 USD cho mỗi triệu token đầu ra, so với 0,30 USD cho phần đầu vào được lưu đệm.

• Tốc độ đầu ra — Kimi K3 tạo ra 43,8 token mỗi giây với 3,6 giây để có token đầu tiên trên dàn máy của hội đồng đánh giá. Không có số liệu thông lượng độc lập nào cho mô hình N​VIDIA; trang nghiên cứu của chính N​VIDIA công bố 83,99 token mỗi giây trên AIPerf SPEED-Bench-Coding khi bật mô hình nháp LiLiCorr, đây là phép đo của nhà cung cấp trên một benchmark khác và một máy khác.

• Terminal-Bench 2.1 — 85,0 cho Kimi K3, được chạy độc lập, so với tuyên bố 88,3 của chính Moonshot. NVIDIA báo cáo 50,98 cho mô hình Bolt trên model card của mình, vì vậy hai con số này không cùng cơ sở: một con số đã được tái lập bên ngoài phòng thí nghiệm, còn con số kia thì chưa.

• GPQA Diamond — 93,5 cho Kimi K3 được đánh giá độc lập; 86,43 cho mô hình NVIDIA theo công bố của NVIDIA, không có số liệu độc lập nào trên bảng.

• Truy xuất ngữ cảnh dài (AA-LCR) — 88.7 cho Kimi K3 so với 69.7 cho mô hình NVIDIA, cả hai đều được đo lường.

• Lập trình khoa học (SciCode) — 59,5 cho Kimi K3 so với 39,7 cho mô hình NVIDIA, cả hai đều được đo lường.

• Độ chính xác kiến thức và hiện tượng ảo giác — trên AA-Omniscience, Kimi K3 đạt độ chính xác 47,6 phần trăm với 46,8 phần trăm không ảo giác; mô hình NVIDIA đạt độ chính xác 17,1 phần trăm với 56,3 phần trăm không ảo giác. Cặp kết quả đó là dòng thú vị nhất trên bảng và cũng là dòng ít thuận lợi nhất cho một cách đọc đơn giản về chỉ số: mô hình được nén biết ít hơn và thừa nhận điều đó thường xuyên hơn.

Số đo còn thiếu chính là số đo mà người mua muốn có nhất. Chưa có ai ngoài N​VIDIA công bố một lần chạy đo thông lượng hoặc độ trễ trên checkpoint 24GB, mà đó chính là toàn bộ mục đích của việc phát hành một checkpoint 24GB.

22 điểm thực sự đi đâu

Khoảng cách chỉ số 22 điểm nghe như một khác biệt về hạng mục, và trong một số tác vụ thì đúng là như vậy. Kimi K3 giỏi hơn về lập trình khoa học tới hai mươi điểm, giỏi hơn về truy xuất ngữ cảnh dài tới mười chín điểm, và giỏi hơn về các câu hỏi khoa học cấp sau đại học với cách biệt hơn bảy điểm. Đó không phải là những sai số làm tròn và cũng không phải là hiện tượng giả tạo của tập so sánh.

Nhưng câu chuyện nén đằng sau mô hình N​VIDIA đủ cụ thể để giải thích hình dạng của khoản thiếu hụt. Checkpoint được tạo ra bởi Star Elastic, kiến trúc tìm kiếm có định tuyến của N​VIDIA, thứ đã lấy mô hình cha 120B-A12B Super VL và tìm kiếm số lượng expert cùng chiều rộng MoE trên mỗi lớp sao cho vừa dưới 24GB ở batch size một và ngữ cảnh 128K, kéo top-K expert từ 22 xuống 9 rồi lượng tử hóa các expert xuống 2.0625 bit mỗi phần tử bằng chưng cất nhận biết lượng tử hóa để khôi phục độ chính xác. Đó là một sự đánh đổi có chủ đích giữa kiến thức được lưu trữ và dấu chân bộ nhớ. Một mô hình đã bị ép xuống 2 bit cho mỗi trọng số expert sẽ giữ được quy trình của nó và mất đi các dữ kiện, đó là lý do hàng hallucination cải thiện trong khi hàng độ chính xác sụp đổ.

Bảng benchmark của chính NVIDIA cũng đưa ra cùng luận điểm đó theo chiều ngược lại. Công ty công bố mô hình Bolt đánh bại Qwen3.6-35B-A3B, Gemma4 26B-A4B và Nemotron 3.5 Lightning 30B-A3B của chính mình trên Terminal-Bench 2.1, GPQA Diamond, BrowseComp và WebArena vision — tức là trên các tác vụ agentic và sử dụng công cụ — trong khi thua Gemma4 về độ chính xác AA-Omniscience và thua Qwen3.6 trên PinchBench. Khả năng thực thi agentic chính là thứ mà quá trình nén đã bảo toàn.

Cả hai đều có trọng số mở, khiến lựa chọn trở thành vấn đề về điện năng.

Đây là phần phân biệt màn so tài với việc so sánh với một API đóng. Trọng số của Kimi K3 có thể tải xuống. Nếu bạn có phần cứng, bạn có thể tự chạy mô hình 2.8T và không phải trả gì cho mỗi token — cùng một đề xuất như tệp 24GB, ở một quy mô hoàn toàn khác. Không mô hình nào ở đây bị khóa sau một nhà cung cấp có thể đổi ý về quyền truy cập.

Sự phân chia thực tế nằm ở địa lý triển khai. Một checkpoint IQ2 24GB chạy dưới vLLM trên một A100, H100 hoặc linh kiện Blackwell, và công thức tham chiếu của chính NVIDIA cũng nêu tên llama.cpp cùng một chuyển đổi GGUF, đó là cách nó lọt vào bên trong các harness agent cục bộ trên máy RTX và DGX Spark. Lệnh phục vụ được khuyến nghị không phải là một công tắc một dòng: nó ghim một bản dựng nightly của vLLM, yêu cầu một plugin phân tích lý luận đã tải xuống, cần các kernel b12x cho backend linear và MoE, đặt rõ backend Mamba và attention, và bật giải mã suy đoán với bảy token nháp LiLiCorr. Đó là công thức dành cho người định sở hữu cỗ máy, không phải cho người chỉ muốn một bản ghi.

Kimi K3 đi theo hướng ngược lại. Toàn bộ thiết kế của nó giả định rằng bạn đang thuê suy luận, và giá của nó được đặt tương ứng — 3,00 USD đầu vào và 15,00 USD đầu ra trên mỗi triệu token là một sự định vị có chủ đích ở vị trí dẫn đầu thị trường trọng số mở.

Chạy so sánh thay vì đọc nó

Nếu bạn muốn biết liệu khoảng cách chỉ số 22 điểm có quan trọng với khối lượng công việc của bạn hay không, thử nghiệm rẻ tiền là gọi nửa đắt đỏ. Kimi K3 có trong danh mục của OrcaRouter với tên kimi/kimi-k3, trên cùng một khóa như phần còn lại của hơn 200 mô hình mà chúng tôi định tuyến, được tính theo giá niêm yết của nhà cung cấp M​oonshot mà không cộng thêm phụ trội — vì vậy thay đổi giá của M​oonshot sẽ có hiệu lực ngay phía chúng tôi trong cùng ngày thay vì ở chu kỳ thanh toán tiếp theo. Hãy hướng một bộ prompt giống với lưu lượng thực tế của bạn vào nó và đo mức khác biệt so với bất cứ thứ gì bạn đang chạy cục bộ. OrcaRouter không lưu trữ bất kỳ mô hình N​VIDIA nào và không có endpoint Bolt nào để cung cấp; dòng N​emotron không nằm trong danh mục của chúng tôi, và nửa cục bộ của so sánh này dù sao vẫn là một câu hỏi về phần cứng.

Điểm mà routing thực sự có chỗ đứng ở đây là đường dự phòng. Kimi K3 là một cam kết chỉ dùng một mô hình duy nhất với mức giá cao, và kiểu hỏng hóc của một agent production được nối với một mô hình năng lực cao duy nhất là vấn đề năng lực ở phía thượng nguồn sẽ biến thành sự cố. Việc tự động chuyển đổi dự phòng giữa các nhà cung cấp phía sau một endpoint biến điều đó thành một lần thử lại.

Cách quyết định

Quy tắc ngắn hơn mức mà khoảng trống gợi ý.

Nếu yêu cầu của bạn bao gồm các từ offline, private, on-device hoặc không tốn chi phí theo token, thì Kimi K3 không phải là một ứng viên và cuộc so sánh đã kết thúc — một mô hình 2,8 nghìn tỷ tham số sẽ không chạy trên chiếc máy mà bạn đang đọc bài này, còn checkpoint 24GB thì sẽ. Hãy mua chiếc laptop, chấp nhận 21.4 trên chỉ số, và hướng nó vào việc sử dụng công cụ thay vì những câu hỏi về hóa sinh.

Nếu yêu cầu của bạn là độ chính xác trong suy luận khó, làm việc với ngữ cảnh dài xuyên hàng trăm nghìn token, hay lập trình quy mô repo, thì mô hình 24GB không phải công cụ phù hợp, và khoảng cách chỉ số đang nói cho bạn sự thật. Hãy trả tiền để dùng Kimi K3.

Điều mà cả hai nhà cung cấp đều chưa ngã ngũ là trường hợp ở giữa, bởi vì nó phụ thuộc vào một con số chưa ai công bố: checkpoint 2-bit thực sự chạy nhanh đến mức nào trên phần cứng bạn có thể mua. Cho đến khi có một phép đo thông lượng độc lập, câu trả lời trung thực cho câu hỏi "liệu một tệp 24GB có thể thay thế một flagship 2.8T cho vòng lặp agent của tôi hay không" là khoảng cách về trí tuệ thì đo lường được, còn trường hợp độ trễ thì vẫn chưa.

Đối với một mô hình mà các kiểu thất bại vẫn chưa được ghi chép, bản đối chiếu hữu ích là hồ sơ về những gì đã sai ở nơi khác: các sự cố AI và lỗi tác nhân đã được ghi nhận liên quan đến các mô hình trong lớp này được tập hợp trong the OrcaRouter AI Incident Archive, nơi mỗi mục mang nguồn riêng, mức độ nghiêm trọng, cấp độ tin cậy và cờ tranh chấp.