Nemotron 3.5 Bolt vừa ra mắt: Checkpoint 24GB 2-Bit của NVIDIA thực sự chứa những gì

Kho lưu trữ cho N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB đã xuất hiện trên Hugging Face vào ngày 7 tháng 10 năm 2026 và nằm đó, lặng lẽ, suốt tám ngày. Vào ngày 15 tháng 10, N​VIDIA đã công bố nó — một bài đăng blog, một thông cáo từ phòng tin tức và một trang nghiên cứu mang dấu ngày đó — nghĩa là phần thú vị của câu chuyện này không phải là màn ra mắt. Mà là khoảng trống. Trong tám ngày, điều duy nhất mà bất kỳ ai có thể biết về N​emotron 3.5 Bolt là những gì một thẻ mô hình và một bộ safetensors nói, còn mọi thứ khác đều là suy luận. Khoảng trống đó giờ đã khép lại, và cần phải chính xác về việc khép lại nó thực sự đã giải quyết điều gì, bởi vì phần lớn những gì người ta đang lặp lại về mô hình này đến từ kho lưu trữ chứ không phải từ thông báo, và hai thứ đó không phải là cùng một tài liệu.

Điều chắc chắn hiện nay, trong một đoạn văn, là thế này. N​emotron 3.5 Bolt 74B-A9B 24GB là một mô hình thị giác-ngôn ngữ hỗn hợp chuyên gia 74 tỷ tham số với 9 tỷ tham số hoạt động trên mỗi token, được phát hành vào ngày 15 tháng 10 năm 2026 theo giấy phép OpenMDW-1.1, lưu trữ trọng số chuyên gia ở mức 2,0625 bit mỗi phần tử để toàn bộ mô hình vừa trong 24GB. Nó được thiết kế để chạy công việc agent cục bộ — gọi công cụ, duyệt web, sử dụng terminal — trên phần cứng RTX và DGX Spark. Nó có trên Ollama dưới dạng tag 25GB với cửa sổ ngữ cảnh 256K. Nó không có trên bất kỳ API được host nào và không có giá. Một phần của câu đó được đo lường độc lập và phần còn lại là lời của chính nhà cung cấp.

Hai ngày, và nên trích dẫn ngày nào

Có một sự khác biệt thực sự giữa hai ngày tháng và nó quyết định cách bạn nên đọc phần còn lại của bài viết này.

Kho lưu trữ Hugging Face được tạo vào ngày 7 tháng 10 năm 2026 lúc 17:50 UTC. Thẻ mô hình bên trong nó có trường Ngày phát hành ghi là Hugging Face 15/10/2026. Trang nghiên cứu của chính NVIDIA cho checkpoint này được đóng dấu Đã xuất bản: 15 tháng 10, 2026. Bài đăng blog của nhà cung cấp công bố gói Bolt được ghi ngày 15 tháng 10 năm 2026 và nói thẳng rằng Super VL và Bolt 74B-A9B "hiện đã có sẵn".

Vậy cách hiểu trung thực là ngày 15 tháng 10 là ngày phát hành, còn ngày 7 tháng 10 là khi thư mục xuất hiện. Ai trích dẫn ngày 7 tháng 10 là ngày ra mắt thì đang trích dẫn dấu thời gian của tệp; ai trích dẫn ngày 15 tháng 10 là đang trích dẫn nhà cung cấp. Tuy nhiên, khoảng cách tám ngày quan trọng vì một lý do khác, không phải vì ngày tháng. Nó có nghĩa là trong hơn một tuần, mô hình đã tồn tại ở trạng thái mà kho lưu trữ là bề mặt duy nhất — không thông báo, không trang giá, không mục trên bảng xếp hạng, không ai từ NVIDIA nói nó dùng để làm gì. Mọi mô tả ban đầu về Bolt được viết trong khoảng thời gian đó, kể cả những mô tả hiện đang lan truyền, đều được dựng từ tấm card. Hóa ra tấm card lại chính xác. Điều đó đáng nói thẳng ra, bởi vì kết cục thường thấy của những tình huống này là nó không chính xác.

Điều mà chỉ riêng kho lưu trữ chứng minh

Mọi thứ trong phần này đều có thể đọc được từ thẻ mô hình và các tệp cấu hình trước khi N​VIDIA nói một lời, và tất cả vẫn đúng.

• Tham số — tổng cộng 74 tỷ, 9 tỷ hoạt động trên mỗi token. Hỗn hợp chuyên gia thưa, không phải mô hình dày đặc.

• Kiến trúc — một dạng lai giữa Mamba-2 và Transformer với xương sống LatentMoE và bộ mã hóa thị giác C-RADIO v4-H. Cấu hình đăng ký lớp này dưới tên NemotronH_Omni_Reasoning_V3.

• Độ chính xác lưu trữ — IQ2_XXS ở 2.0625 bit mỗi phần tử trên các lớp FC1 và FC2 của chuyên gia định tuyến và chia sẻ, nơi phần lớn trọng số nằm. Các lớp tuyến tính Mamba nằm ở NVFP4, và embeddings, output head, attention cùng trọng số LatentMoE ở Q8_0.

• Ngữ cảnh — lên đến 256K token, hoặc 262.144 trong các công thức triển khai.

• Đầu vào và đầu ra — văn bản, hình ảnh và video vào; văn bản ra.

• Giấy phép — OpenMDW-1.1, và thẻ ghi rõ ràng: "sẵn sàng cho mục đích thương mại hoặc phi thương mại."

• Cơ sở và nguồn gốc — thẻ khai báo mô hình cơ sở của nó là checkpoint BF16 cùng tên và mối quan hệ với nó là đã lượng tử hóa, và các thẻ tập dữ liệu trỏ đến bộ sưu tập tiền huấn luyện và hậu huấn luyện Nemotron của NVIDIA.

• Ngày của mô hình — tháng 12 năm 2025 đến tháng 5 năm 2026, với mốc cắt dữ liệu hậu huấn luyện là tháng 5 năm 2026. Hãy đọc kỹ điều đó nếu bạn quan tâm đến độ mới: mô hình là bản phát hành năm 2026 được xây dựng trên dữ liệu dừng lại bốn tháng rưỡi trước khi nó ra mắt.

• Runtime — vLLM trên NVIDIA Ampere, Hopper và Blackwell, cùng llama.cpp cho RTX Spark và DGX Spark. Danh mục của Ollama nói thẳng hơn về các giới hạn: việc triển khai CUDA đã được ghi tài liệu, còn Apple Silicon và Metal hiện chưa được hỗ trợ.

Thông báo đã bổ sung những gì

Tài liệu của nhà cung cấp bổ sung ba điều mà kho lưu trữ không thể cho bạn biết.

Đầu tiên, cách định vị trong dòng sản phẩm. Bolt được định vị là tầng biên của dòng Nemotron, nằm dưới Nemotron 3.5 Super VL ở 120B dành cho các tác nhân máy chủ luôn bật và không ở trên bất kỳ thứ gì cụ thể — câu của chính NVIDIA phân loại chúng: Super VL và Bolt “bao quát toàn bộ phạm vi triển khai tác nhân, từ máy chủ doanh nghiệp lớn xuống đến thiết bị biên và phần cứng cục bộ.” Nemotron 3.5 Bolt E4B 4GB, một mô hình 4 tỷ tham số dành cho các tác nhân hội thoại và vật lý, sẽ ra mắt vào ngày 23 tháng 10.

Thứ hai, câu chuyện nén, đây mới là tuyên bố kỹ thuật thực sự mới lạ ở đây. Bolt không phải là một mô hình được huấn luyện ở quy mô nhỏ rồi sau đó lượng tử hóa. Nó là Nemotron 3.5 Super VL — tổng 120B, 12B hoạt động — được đưa qua Star Elastic, phương pháp tìm kiếm kiến trúc do router dẫn dắt của NVIDIA, dưới một ràng buộc nghiêm ngặt là vừa dưới 24GB bộ nhớ ở batch size bằng một và ngữ cảnh 128K. Top-K expert giảm từ 22 ở mô hình cha xuống 9 ở Bolt, độ rộng trung gian của MoE được tìm kiếm theo từng lớp, và sau đó mạng đã nén được lượng tử hóa và đưa qua chưng cất nhận biết lượng tử hóa để giành lại độ chính xác. Kết luận được NVIDIA đưa ra mới là phần thú vị, và đó là một quan điểm thực sự, không phải lời khoe khoang: với một ngân sách bộ nhớ cố định, nén một mô hình lớn xuống đánh bại việc huấn luyện một mô hình nhỏ từ đầu. Đó là một tuyên bố bạn có thể kiểm chứng, và chưa có ai ngoài NVIDIA kiểm chứng điều đó.

Thứ ba, hai vị trí trên bảng xếp hạng do nhà cung cấp nêu ra: mô hình mở #1 trong lớp của nó trên PinchBench, và mô hình mở #2 trên BrowseComp. Cả hai đều là cách N​VIDIA mô tả mô hình của chính mình so với một lớp do họ định nghĩa.

Điều mà thông báo không bổ sung là một endpoint được phục vụ. Không có API được lưu trữ, không có giá theo từng token, và không có cách nào để gọi Nemotron 3.5 Bolt mà không sở hữu phần cứng mà nó chạy trên đó. Artificial Analysis, đơn vị đã chấm điểm mô hình này, liệt kê các trường tốc độ và chi phí của nó là không có sẵn chính vì lý do đó: không có API công khai nào để đo lường.

Phần mà không một ai bên ngoài N​VIDIA từng chạy

Đây là chỗ bài viết phải chậm lại, bởi khoảng cách giữa những gì đã được đo lường và những gì đã được khẳng định là rộng một cách bất thường đối với một mô hình cỡ này.

Về mặt đo lường, có một con số, và đó là một con số tốt: Artificial Analysis xếp N​emotron 3.5 Bolt 74B-A9B ở mức 21 trên Intelligence Index của mình, đưa nó lên vị trí thứ tư trong số 67 mô hình thuộc nhóm so sánh của nó. Đó là một phép đo độc lập đối với checkpoint 2-bit thực tế, không phải đối với bản dựng tham chiếu BF16, và đây là con số hữu ích nhất hiện có về mô hình này ở thời điểm hiện tại.

Ở phía được khẳng định, có mọi thứ còn lại. Thẻ mô hình mang một bảng gồm mười ba benchmark với bốn cột — Qwen3.6-35B-A3B ở BF16, Gemma 4 26B-A4B ở BF16, Nemotron 3.5 Lightning 30B-A3B ở BF16, và Bolt ở IQ2 — và mọi hàng trong đó đều do NVIDIA tạo ra, kể cả ba cột đường cơ sở, mà NVIDIA đã chọn vì chúng vừa trong 24GB với lượng tử hóa 4-bit. Bolt là người thắng được in đậm ở mười hàng và không phải người thắng ở ba hàng: độ chính xác AA-Omniscience, nơi Gemma 4 26B-A4B đạt 22.17 so với 16.90 của Bolt; không ảo giác AA-Omniscience, nơi Nemotron 3.5 Lightning 30B-A3B đạt 68.81 so với 61.27 của Bolt; và PinchBench, nơi Qwen3.6-35B-A3B đạt 88.07 so với 87.82 của Bolt. Việc công bố ba hàng mà bạn thua là một điểm có lợi cho nhà cung cấp và không thay đổi bản chất của bảng: chưa được tái lập.

Các con số về tốc độ xứng đáng có một đoạn riêng vì chúng đi ngược lại thông điệp tiếp thị. Bảng đo lường của chính N​VIDIA, được thực hiện bằng llama.cpp trên Windows 11 ARM64 trên một Surface Laptop Ultra với 128GB, cho thấy Bolt đạt 83,99 token/giây trên AIPerf SPEED-Bench-Coding — xếp sau Qwen3.6-35B-A3B ở mức 96,63 và Gemma 4 26B-A4B ở mức 100,56. Trên cùng trang đó, thời lượng phát lại đầu-cuối trên các quỹ đạo tác nhân thực tế là 600,80 giây đối với Bolt, so với 453,97 giây đối với Qwen3.6 và 480,68 giây đối với G​emma. Thông điệp bán hàng là trí tuệ trên mỗi gigabyte, không phải tốc độ, và bảng của chính nhà cung cấp nhất quán với thông điệp đó hơn là với tuyên bố nhanh nhất.

Vậy hình hài của bằng chứng là: một điểm tổng hợp độc lập khá đáng nể, một bảng benchmark của nhà cung cấp mà chưa ai tái lập được, một bảng tốc độ của nhà cung cấp trên một chiếc laptop mà chưa ai ngoài N​VIDIA từng chạy, và không có phép đo độ trễ độc lập nào. Hãy coi bất kỳ bài viết nào đưa ra con số PinchBench của Bolt mà không nói ai tạo ra nó là không đáng tin cậy, kể cả bất kỳ bài viết nào đồng tình với bài này.

Điều gì đã đến cùng với nó

Một bản phát hành mô hình hiếm khi chỉ có trọng số, và các thành phần đi kèm của Bolt lớn hơn mức thông thường đối với một thứ không có API.

Bộ dự thảo suy đoán LiLiCorr đi kèm với nó — 1,13 tỷ tham số không bao gồm embedding dùng chung và head đầu ra, được huấn luyện chung với mô hình đích, và NVIDIA báo cáo độ dài chấp nhận trung bình là 4,68 khi giải mã tham lam và 4,25 khi lấy mẫu xác suất với bảy token được dự thảo ở độ đồng thời 64 trong vLLM. Bộ dự thảo là một checkpoint tải xuống riêng, không phải cờ runtime, và nó là cơ chế đằng sau con số 84 TPS được trích dẫn cho RTX Spark.

Hỗ trợ framework đã đến nhanh chóng. Ollama liệt kê nemotron-3.5-bolt trong ba thẻ — một thẻ mặc định, một thẻ 74B-A9B và một thẻ IQ2 — mỗi thẻ ở 25GB với ngữ cảnh 256K và đầu vào văn bản cùng hình ảnh, cùng các trình khởi chạy một dòng cho C​laude Code, OpenCode, Hermes Agent và OpenClaw. Ngoài ra còn có bản dựng GGUF từ N​VIDIA, một chuỗi lượng tử hóa cộng đồng ở 4-bit và 8-bit, và các chuyển đổi MLX xuất hiện trong vòng một ngày sau thông báo. Đối với một checkpoint chạy trên một thiết bị 24GB duy nhất, hệ sinh thái đó xuất hiện trong bốn mươi tám giờ chính là tín hiệu thực sự rằng đây là một sản phẩm dùng được chứ không phải một bản trình diễn.

Cảnh báo thực tế cho bất kỳ ai dự định sử dụng nó: con số 24GB là mức sàn cho trọng số, không phải mức trần cho khối lượng công việc. Hình ảnh, khung video, lịch sử hội thoại và kết quả công cụ đều chia sẻ hạn mức ngữ cảnh, và ghi chú của chính Ollama nói rằng ngữ cảnh khả dụng phụ thuộc vào bộ nhớ có sẵn. Một bản tải xuống 25GB vừa vặn thoải mái không giống với một phiên 256K token vừa vặn thoải mái.

Điều này đưa bạn tới đâu, và không đưa bạn tới đâu

Nếu khối lượng công việc của bạn mang tính cục bộ và tác tử — sử dụng terminal, duyệt web, gọi công cụ, gỡ lỗi mã trên thiết bị bạn sở hữu — thì N​emotron 3.5 Bolt 74B-A9B 24GB giờ là một lựa chọn có thể biện minh, với một điểm số độc lập và một bộ trọng số bạn có thể kiểm tra. Lập luận về nén đằng sau nó thực sự thú vị, giấy phép cho phép dùng thương mại, và bộ công cụ đã xuất hiện trong vòng một ngày.

Nếu khối lượng công việc của bạn cần được gọi từ mã đang chạy ở nơi bạn không sở hữu, thì mô hình này hiện không phải là một lựa chọn, và câu trả lời trung thực cho "làm thế nào để tôi dùng nó" là bạn tự chạy nó trên phần cứng N​VIDIA hoặc bạn chờ đợi. Chúng tôi đã kiểm tra danh mục của chính mình thay vì chỉ giả định, và không có mô hình N​VIDIA nào trong đó — vì vậy không có gì ở đây để chúng tôi định tuyến, và nói khác đi sẽ là nói dối. Điều mà OrcaRouter thực sự cung cấp là nửa còn lại của một triển khai hỗn hợp: những mô hình bạn sẽ gọi khi một yêu cầu quá khó, quá dài hoặc quá xa lạ đối với một checkpoint cục bộ 2-bit, đằng sau một khóa duy nhất cho hơn 200 mô hình ở mức giá niêm yết của nhà cung cấp mà không cộng thêm phụ phí, với tính năng chuyển đổi dự phòng tự động khi một nhà cung cấp gặp trục trặc. Ghép một Bolt cục bộ với một API được định tuyến là một kiến trúc hợp lý. Giả vờ rằng Bolt nằm ở phía được định tuyến thì không.

Điều đáng để mắt tới không phải là bảng benchmark tiếp theo. Mà là liệu có ai đó ngoài N​VIDIA công bố một lần chạy đo độ trễ trên checkpoint 24GB bằng phần cứng mà người đọc thực sự sở hữu hay không, và liệu một endpoint được host có xuất hiện hay không. Cho đến khi một trong hai điều đó xảy ra, bản đặc tả vẫn chỉ là một lời hứa, và một điểm số trên bảng xếp hạng là thứ duy nhất đứng đằng sau nó.

Một kết quả như thế này cũng là lời nhắc rằng những sai sót của mô hình đã được ghi nhận: các sự cố AI và lỗi tác nhân đằng sau các mô hình thuộc lớp này được thu thập trong OrcaRouter AI Incident Archive, nơi mỗi mục đều có nguồn, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp riêng.