Nemotron 3.5 Bolt 24GB: NVIDIA thực sự đã đặt gì trong một tệp 24GB

Con số nổi bật không phải là số lượng tham số. Mà là số byte. Vào ngày 15 tháng 10 năm 2026, NVIDIA đã phát hành NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB, một mô hình tác tử thị giác-ngôn ngữ có 74 tỷ tham số chiếm 23.75GB ở định dạng mà hầu hết mọi người sẽ thực sự tải xuống — một tệp GGUF 22.02GB cộng với một tệp máy chiếu thị giác 1.73GB. Cả hai con số đều đến từ chính danh sách tệp của kho lưu trữ đã công bố, không phải từ bài đăng blog, và chúng là lý do tên kết thúc bằng một con số. Đây là những gì con số đó mang lại, những gì nó che giấu, và những gì nó không bao gồm.

Đã phát hành những gì, và khi nào

Phòng tin tức của NVIDIA đã định hình ngày 15 tháng 10 như một đợt mở rộng dòng sản phẩm thay vì một lần ra mắt mô hình đơn lẻ: Nemotron 3.5 Super VL, một mô hình đa phương thức 120 tỷ tham số với 12 tỷ tham số hoạt động, ra mắt cùng checkpoint Bolt, và một phiên bản anh em nhỏ hơn nhiều, Nemotron 3.5 Bolt E4B 4GB, được ấn định cho ngày 23 tháng 10. Bolt gia nhập cùng Nemotron 3.5 Lightning (tháng 8) và Nemotron 3 Ultra trong một dòng sản phẩm giờ đây bao trùm suy luận tại trung tâm dữ liệu, phục vụ thông lượng cao và các agent biên cục bộ.

Bản phát hành này thực sự là mới, và nó cũng hơi cũ hơn so với thông báo. Kho lưu trữ Hugging Face nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB được tạo vào ngày 7 tháng 10 năm 2026; thẻ mô hình bên trong đó ghi ngày phát hành là 15 tháng 10, cùng ngày mà trang nghiên cứu của chính NVIDIA được đóng dấu "Published". Tám ngày các tệp nằm phơi bày trước công chúng trước khi có một lời giải thích nào là một kiểu mô thức bình thường đối với một nhà cung cấp phát hành theo sự phối hợp cấm công bố thông tin với phần cứng — laptop RTX Spark được ghi ngày 16 tháng 10, một ngày sau thông báo — và việc biết được nửa nào trong hồ sơ công khai của mô hình này đến từ một quyết định tiếp thị và nửa nào đến từ một danh sách tệp là điều đáng để nắm rõ.

Làm thế nào để 74 tỷ tham số vừa trong 24 gigabyte

Hai cơ chế, và chúng có thể tách rời nhau.

Điều đầu tiên mang tính cấu trúc. Bolt không phải là một mô hình nhỏ hơn được huấn luyện từ đầu; nó là mô hình cha Super 3.5 VL được nén bằng một thuật toán mà NVIDIA gọi là Star Elastic, một tìm kiếm kiến trúc được dẫn hướng bởi router, phải thỏa mãn một ràng buộc — dấu chân triển khai dưới 24GB ở batch size 1 và ngữ cảnh 128K — trong khi mất ít độ chính xác chưng cất tri thức nhất có thể. Thứ nó tạo ra là một mô hình lai mixture-of-experts 74B tổng / 9B hoạt động, với top-K chuyên gia cố định ở 9 trong khi mô hình cha dùng 22. Cách chính NVIDIA diễn giải kết quả này rất thẳng thắn và có thể kiểm chứng: với một ngân sách bộ nhớ cố định, nén một mô hình lớn sẽ đánh bại việc huấn luyện một mô hình nhỏ.

Thứ hai là độ chính xác, và đây chính là nơi tập trung phần lớn khoản tiết kiệm.

• Trọng số chuyên gia — các lớp FC1 và FC2 được định tuyến và chia sẻ được lượng tử hóa thành IQ2_XXS ở mức 2,0625 bit mỗi phần tử, vốn chiếm phần lớn mô hình xét theo số lượng tham số.

• Các lớp Mamba — NVFP4, một định dạng dấu phẩy động 4-bit, và chỉ ở những lớp mà độ chính xác tăng thêm xứng đáng với số byte phải bỏ ra.

• Embeddings, đầu ra, attention và trọng số MoE tiềm ẩn — Q8_0.

• Khôi phục — chưng cất nhận biết lượng tử hóa thay vì một lượt làm tròn về gần nhất hậu nghiệm, đó chính là khác biệt giữa một mô hình nén và một mô hình hỏng.

Đọc những thứ đó cùng nhau thì “24GB” không còn là một bản tóm tắt tiếp thị nữa mà trở thành một sự phân bổ ngân sách. Các chuyên gia 2-bit rẻ trên mỗi byte và có số lượng nhiều; các lớp quan trọng đối với tính ổn định vẫn giữ 4 hoặc 8 bit.

Con số 24GB, đã được đối chiếu với các tệp.

Tuyên bố đó đứng vững qua một cuộc kiểm toán, điều không phải lúc nào cũng đúng.

• Trọng số GGUF — 22.018.326.528 byte, hay 22,02GB thập phân, trong một tệp duy nhất.

• Bộ chiếu thị giác — 1.733.692.736 byte, hay 1,73GB, được phát hành riêng dưới dạng mmproj, đây là cách llama.cpp nhận đầu vào hình ảnh và video.

• Bản dựng Safetensors — cùng một mô hình ở dạng các phân đoạn sẵn sàng cho vLLM có tổng dung lượng 24.12GB trải trên 90 tệp, vượt nhẹ so với con số được công bố.

• Tham chiếu BF16 — 149.8GB trải trên 63 shard, được phát hành riêng cho bất kỳ ai muốn tinh chỉnh thay vì chỉ chạy suy luận.

Có hai lưu ý thẳng thắn nằm chồng lên trên điều đó. Thứ nhất, trọng số không phải là một mô hình đang chạy. Công thức vLLM mà NVIDIA công bố ghim bộ đệm KV ở fp8 và đặt ngữ cảnh được phục vụ thành 262.144 token với max-num-seqs 1 — một chuỗi đồng thời duy nhất. Đó là khác biệt giữa việc vừa vặn trong 24GB và chạy nhanh trong 24GB, và đó là kiểu chi tiết mà tiêu đề về kích thước bộ nhớ không bao giờ mang theo. Thứ hai, 24GB là con số mà quá trình tìm kiếm kiến trúc được đưa cho, không phải con số được đo trên máy của bạn: chi phí driver, hệ điều hành và mọi thứ khác trên laptop đều nằm ngoài con số đó, đó chính xác là lý do lời chào mời là "chạy song song với các ứng dụng của bạn" chứ không phải "chạy thay vì chúng".

Tuyên bố về tốc độ, và cỗ máy mà nó được đo trên đó

NVIDIA được thiết kế để đạt ít nhất 80 token mỗi giây và báo cáo 83.99 trên AIPerf SPEED-Bench-Coding. Con số đó cần ba mảnh ngữ cảnh trước khi nó có ý nghĩa gì: nó được tạo ra bằng llama.cpp trên Windows 11 ARM x64, trên một Surface Laptop Ultra với 128GB bộ nhớ, với speculative drafter LiLiCorr được gắn kèm và bảy token dự thảo mỗi bước. Drafter không phải là thứ trang trí tùy chọn — nó là một checkpoint đồng hành 1.13B mà toàn bộ mục đích là tăng độ dài chấp nhận (NVIDIA báo cáo giá trị trung bình là 4.68 khi giải mã tham lam và 4.25 khi lấy mẫu ở mức đồng thời 64 trong vLLM). Loại bỏ drafter ra thì bạn đang đo một mô hình khác.

Chỉ số tốc độ thứ hai mới là chỉ số thú vị hơn, vì nó là thời gian hoàn thành chứ không phải một tốc độ: 600,80 giây thời lượng phát lại trên AA-AgentPerf Local, so với 453,97 của Qwen3.6 35B-A3B, 480,68 của Gemma 4 26B-A4B và 1.043,28 của Qwen3.8 27B — tất cả đều từ bảng của chính NVIDIA, tất cả trên cùng một phần cứng. Bolt thắng ở hàng đó nhờ hoàn thành cùng các quỹ đạo tác nhân nhanh hơn một mô hình nhỏ hơn, và thua ở hàng thông lượng trước cả hai mô hình còn lại với 83,99 so với 96,63 và 100,56 token mỗi giây. Nhanh và mau không phải là cùng một phép đo, và đây là một mô hình đánh đổi cái thứ hai để lấy cái thứ nhất.

Đo lường độc lập nói gì

Một con số trong hồ sơ công khai về Bolt không phải do NVIDIA đưa ra: Artificial Analysis Intelligence Index chấm nó 21 điểm, xếp nó thứ tư trong số 67 mô hình cùng phân khúc. Bảng đánh giá đó cũng không báo cáo tốc độ lẫn chi phí cho mô hình này, vì không có API công khai nào để gọi — và bảng liệt kê phương thức đầu vào của mô hình là văn bản và hình ảnh, không phải video, một cách hiểu hẹp hơn so với nhà cung cấp.

Trang đó cũng ghi nhận mô hình đã tạo ra 230 triệu token trong khi được đánh giá, điều mà trang này gọi là rất dài dòng so với mức trung vị 100 triệu. Suy luận tạo ra nhiều token hơn cho cùng một tác vụ không tự động là tệ hơn, nhưng nó có cái giá của nó trên một thiết bị cục bộ, nơi mỗi token đều được tạo ra bởi một chiếc quạt.

Mọi thứ khác đang lưu hành đều do nhà cung cấp báo cáo. Bảng mười ba benchmark của chính NVIDIA, trong đó Bolt dẫn đầu hạng bộ nhớ của mình trên PinchBench và đứng thứ hai trên WebArena và BrowseComp, so sánh với các mô hình được chọn một phần vì vừa trong 24GB ở 4-bit — một nhóm đồng đẳng được định nghĩa bởi một ràng buộc mà Bolt được thiết kế để đáp ứng. Điều đó không phải là không trung thực; nó cũng không phải là một bảng xếp hạng các mô hình agent nói chung, và ô duy nhất đi theo hướng ngược lại thì đáng chú ý: với 16.90 về độ chính xác AA-Omniscience, Bolt kém Gemma 4 26B-A4B ở mức 22.17 trong cùng bảng.

Cái gì không có trong hộp

Không có endpoint nào. Không có mức tính phí theo lưu lượng, không có nhà cung cấp nào phục vụ nó, không có cách nào để đánh giá nó trên lưu lượng của chính bạn mà không hoàn tất việc triển khai. Thay vào đó, thứ hiện có là hỗ trợ runtime đã có ngay khi phát hành thay vì vài tháng sau: llama.cpp và checkpoint GGUF, Ollama, LM Studio, Unsloth để tinh chỉnh, và vLLM cho checkpoint lượng tử hóa trên DGX Spark cùng checkpoint BF16 ở nơi khác. Blog của chính NVIDIA liệt kê tên năm thứ đó, và độ bao phủ rộng mới là sản phẩm thực sự ở đây — một tệp 24GB chỉ hữu ích nếu thứ nạp nó đã tồn tại trên máy của bạn.

Phạm vi phần cứng rộng hơn so với câu chuyện ngày ra mắt về laptop RTX Spark gợi ý: PC GeForce RTX, DGX Spark, DGX Station và máy trạm RTX PRO đều được nêu tên, và thẻ mô hình liệt kê Ampere, Hopper và Blackwell cho đường vLLM.

Giấy phép là OpenMDW-1.1, đủ thoáng để có thể xây dựng dựa trên đó và đủ xa lạ đến mức việc rà soát pháp lý là một bước thực sự chứ không chỉ là thủ tục hình thức — điều đáng biết trước khi một quyết định kiến trúc phụ thuộc vào nó.

Một lỗi sao chép-dán trong chính blog kỹ thuật của NVIDIA đặt danh sách checkpoint dưới tiêu đề "Nemotron 3.5 Super VL 74B-A9B 24GB" thay vì Bolt. Đó chỉ là một lỗi đánh máy trong một lần tung ra gấp gáp, không phải một nhánh rẽ trong dòng họ sản phẩm, nhưng nó là một lời nhắc hữu ích rằng những trang của nhà cung cấp được viết ngay trong ngày công bố thực chất chỉ là bản nháp có gắn kèm ngày phát hành.

Dành cho các đội ngũ cũng gọi những mô hình mà họ không sở hữu

Nửa chạy cục bộ của một ngăn xếp agent và nửa được host thường là cùng một dự án, và Bolt chỉ giải quyết một trong hai. OrcaRouter không host bất kỳ checkpoint Nemotron nào — điều đó đã được đối chiếu với danh mục của chính chúng tôi chứ không phải phỏng đoán — nên không có gì ở đây là lời chào mời cho một mô hình mà chúng tôi cung cấp.không cộng thêm phụ phí, tự động chuyển đổi dự phòng khi một nhà cung cấp gặp trục trặc giữa chừng yêu cầu, và một DSL định tuyến để mô tả chuỗi dự phòng dưới dạng cấu hình thay vì mã ứng dụng. Nếu Bolt chạy nửa cục bộ, thì đó là phần không bao giờ xuất hiện trên hóa đơn; còn câu hỏi định tuyến là điều gì xảy ra với phần còn lại.

Xem gì

Ba thứ sẽ định đoạt danh tiếng của mô hình này, và không thứ nào trong số đó có trong bản công bố.

Đầu tiên là độ trễ độc lập trên phần cứng thực tế. Con số 83,99 token mỗi giây của NVIDIA là một phép đo hiệu năng có kiểm soát với một bộ dự thảo suy đoán gắn kèm; rồi sẽ có người công bố con số nó đạt được trên một chiếc laptop vừa chạy trình duyệt vừa chạy trình soạn thảo cùng lúc, và con số đó sẽ quan trọng hơn con số này. Thứ hai là biến thể E4B vào ngày 23 tháng 10, thứ kiểm chứng liệu công thức nén có thu nhỏ quy mô được hay chỉ hoạt động ở một kích cỡ duy nhất. Thứ ba là liệu có ai ngoài NVIDIA huấn luyện tiếp checkpoint BF16 hay không — bởi vì một sản phẩm triển khai 24GB với giấy phép mở cùng một sản phẩm tùy biến 150GB nằm bên cạnh là một bản phát hành hai nhánh có chủ đích, và nhánh thứ hai chính là nhánh quyết định liệu thứ này trở thành một nền tảng hay chỉ là một checkpoint.

Hiện tại, sự thật này tự nó đã đứng vững. Một tác nhân đa phương thức 74 tỷ tham số nằm gọn trong bộ nhớ của một chiếc laptop có giá thấp hơn một workstation, chạy ở tốc độ khoảng 84 token mỗi giây khi gắn kèm một drafter, đạt 21 điểm trên chỉ số độc lập duy nhất từng đo nó, và không thể được bất kỳ ai gọi như một API. Đó là một tổ hợp cụ thể và khác thường, và đáng để nói chính xác về việc bạn cần nửa nào trong đó.

Không có gì trong số đó là giả thuyết: các lỗi AI và sự cố tác nhân được ghi nhận đằng sau những bản phát hành như bản này đều được tập hợp trong OrcaRouter AI Incident Archive, nơi mỗi mục đều có nguồn, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp riêng.