Ngày phát hành Nemotron 3.5 Bolt 74B: NVIDIA ép mô hình tác nhân 74B vào 24GB

NVIDIA Nemotron 3.5 Bolt 74B-A9B sẽ ra mắt vào Thứ Năm, ngày 15 tháng 10 năm 2026, và NVIDIA Nemotron 3.5 Bolt E4B nối tiếp vào Thứ Sáu, ngày 23 tháng 10. Hai ngày đó chính là câu trả lời cho một màn nhá hàng: vào ngày 14 tháng 10, tài khoản AI của NVIDIA đã đăng “Tuần này có bao nhiêu mô hình ra mắt! Và chúng tôi cũng có một mô hình của riêng mình sắp ra mắt...⌛️” mà không kèm tên nào. Kiểm chứng trò nhá hàng đó đáng để bỏ ra hai phút, vì nó được giải đáp theo một cách bất thường — thông báo mà dòng tweet ám chỉ đã được công bố đầy đủ từ ngày hôm trước, trong một bài đăng blog của NVIDIA đề ngày 13 tháng 10, nêu tên cả hai mô hình, cả hai ngày, mức chiếm dụng bộ nhớ và thời gian chạy suy luận. Vậy đây không phải là rò rỉ, cũng không phải là tin đồn. Đây là một màn ra mắt được quảng bá chưa tương xứng, và trò nhá hàng chỉ là cú huých nhẹ, chứ không phải là tin sốt dậy sóng.

Những gì sau đây tách bạch những gì NVIDIA thực sự đã viết ra với những gì chưa ai bên ngoài công ty đo lường được — mà, đối với một mô hình ra mắt hôm nay, đó là phần lớn cột thông tin thú vị.

Sự trêu đùa, và điều nó dẫn đến

Hai điều đáng được ghim lại trước mọi thứ khác, vì chúng đúng là kiểu chi tiết thường bị làm phẳng đi trong quá trình tổng hợp. Đầu tiên, thứ tự thời gian. Bài đăng blog của NVIDIA "All Systems Go: Global PC App Ecosystem Ready for NVIDIA RTX Spark" có dấu thời gian 2026-10-13T12:00Z. Bài đăng "one of our own coming" đến vào lúc 2026-10-14T20:29Z — muộn hơn khoảng ba mươi hai giờ. Dòng tweet chỉ là một chỉ dẫn, không phải nguồn chính, và bất kỳ bài viết nào coi dòng tweet là thông báo thì đang dựa trên sai tài liệu.

Thứ hai, cụm từ "one of our own" thực sự đang phát huy tác dụng. NVIDIA không chỉ là nhà cung cấp ở đây; đây còn là nhà cung cấp nền tảng của cả tuần này. Cũng trong bài đăng ngày 13 tháng 10 đó, laptop RTX Spark lên kệ vào ngày 16 tháng 10, một mô hình AI DLSS 5 được xây dựng lại ra mắt trong NBA 2K27 cùng ngày, NVIDIA PAIR thoát khỏi giai đoạn beta, và Broadcast 2.3. Bolt 74B là mô hình ngôn ngữ trong một tuần mà NVIDIA công bố nhiều mô hình thuộc những loại rất khác nhau. Nếu bạn đến đây để tìm một sản phẩm duy nhất, thì đó chính là lý do khiến các bài đưa tin trở nên khó hiểu.

Những gì NVIDIA đã cam kết, bằng chính lời của mình

Tuyên bố cốt lõi thì ngắn gọn và cụ thể. NVIDIA mô tả Nemotron 3.5 Bolt 74B-A9B là "một LLM mới được thiết kế chuyên biệt để chạy các agent cục bộ trên RTX Spark," được xây dựng dưới dạng "một mô hình mixture-of-experts (MoE) 74B tham số, 9B tham số hoạt động" mà "được nén vào 24GB bằng lượng tử hóa 2-bit với các kỹ thuật huấn luyện nhận thức lượng tử hóa tiên tiến để giữ chất lượng."

Ba thứ trong câu đó đang làm nên công việc:

• 9B hoạt động, không phải 74B. Đây là một MoE thưa. Chi phí định tuyến trên mỗi token bám theo đường dẫn hoạt động, chứ không phải tổng số lượng tham số, đó là lý do vì sao một mô hình 74B lại được chào mời cho một chiếc laptop.

• 2-bit, một cách có chủ đích. Không phải bản lượng tử hóa do cộng đồng thực hiện trên một bản phát hành BF16, mà là một mô hình mà NVIDIA nói rằng đã được huấn luyện bằng các kỹ thuật nhận biết lượng tử hóa nhằm giữ chất lượng ở độ rộng đó. Việc nó có giữ được chất lượng hay không là một phép đo, không phải một lời khẳng định — xem bảng kê bên dưới.

• 24GB là mức mục tiêu. NVIDIA định vị sự đánh đổi này là "sự cân bằng tối ưu giữa tốc độ và trí tuệ, nhanh hơn hầu hết các mô hình dense phổ biến nhưng thông minh hơn hầu hết các mô hình MoE phổ biến có dung lượng bộ nhớ tương đương." Đó là định vị của chính NVIDIA, không được ai khác tái lập.

Khi truy cập, NVIDIA nêu tên rõ ràng các runtime: llama.cpp, vLLM, Ollama, Unsloth và LM Studio khi ra mắt, cùng với việc sử dụng trực tiếp thông qua các agent bao gồm Hermes và OpenClaw. Và về vấn đề cấp phép, bài đăng cho biết Bolt 74B là "hoàn toàn mã nguồn mở... bao gồm dữ liệu huấn luyện, trọng số và công thức" — cùng cách diễn đạt mà NVIDIA áp dụng cho phần còn lại của dòng Nemotron.

Tại sao 24GB mới là con số quan trọng, chứ không phải 74B

Con số nguyên nổi bật ở đây là 74B. Con số gánh trọng trách là 24GB, và vì một lý do hết sức đơn giản: 24GB là mức trần tăng tốc đạt chuẩn máy để bàn. Đó là dung lượng của một card tiêu dùng cao cấp đơn lẻ, và về phía laptop, đó là cái khung mà NVIDIA đang dựng cả tuần xoay quanh — máy RTX Spark đạt tối đa 128GB bộ nhớ hợp nhất và 1 petaflop năng lực tính toán AI, còn bản thân các laptop sẽ ra mắt vào ngày 16 tháng 10.

Ghép những điều đó lại, và lời chào hàng trở nên rõ ràng. Một MoE hoạt động 9B có trọng số nằm gọn trong 24GB ở 2-bit nghĩa là cùng một bản dựng vừa với card máy trạm cũng vừa với chiếc laptop xuất xưởng ngày hôm sau, vẫn còn dư dung lượng cho ứng dụng và một mô hình nhỏ thứ hai. Đó là một câu chuyện triển khai khác biệt một cách thực chất so với một mô hình tiên tiến nhất được lưu trữ đằng sau một API, và đó là lý do "local agent" nằm trong mô tả một dòng của chính NVIDIA thay vì "cheap inference".

Đối trọng là việc mục tiêu 2-bit là một ràng buộc lên những gì mô hình có thể trở thành. Mọi so sánh chất lượng với một mô hình BF16 có tổng kích thước tương đương đều là so sánh giữa các sản phẩm khác nhau, và NVIDIA đã cố ý chọn sản phẩm đó. Hãy đánh giá Bolt 74B so với các bản build cục bộ khác cùng lớp 24GB, chứ không phải so với một checkpoint độ chính xác đầy đủ mà đằng nào cũng không thể vừa.

Sổ cái: đã xác nhận, đã nêu nhưng chưa đo lường, và chưa biết

Việc xác định chính xác một dữ kiện nằm ở cột nào chính là toàn bộ giá trị của việc đọc điều này trong tuần đầu tiên thay vì tuần thứ ba.

• Được NVIDIA xác nhận: tên mô hình, dạng MoE với tổng 74B / 9B hoạt động, dung lượng 24GB ở chế độ 2-bit, ngày 15 tháng 10, năm runtime được nêu tên, quyền truy cập agent qua Hermes và OpenClaw, cùng khẳng định rằng trọng số, dữ liệu huấn luyện và công thức đều mở.

• Được tuyên bố nhưng chưa được đo lường: chính là tuyên bố về chất lượng. "Thông minh hơn hầu hết các mô hình MoE phổ biến có dung lượng bộ nhớ tương đương" và "nhanh hơn hầu hết các mô hình dense phổ biến" được đưa ra mà không kèm bảng đánh giá chuẩn nào trong thông báo. Dường như vẫn chưa có đánh giá độc lập nào về Bolt 74B.

• Chưa rõ tại thời điểm viết bài: cửa sổ ngữ cảnh; giấy phép cụ thể (NVIDIA nói là mã nguồn mở nhưng không nêu tên giấy phép nào trong bài đăng này); thông lượng suy luận chính xác ở mức 24GB; liệu bản phát hành chỉ có trọng số tải xuống được hay còn được phục vụ qua API; liệu 2-bit có phải là độ chính xác duy nhất được công bố; và kiến trúc này kế thừa dòng Nemotron 3.5 Lightning mà NVIDIA đã phát hành ở các bản dựng BF16 và NVFP4 đến mức nào.

Ẩn số cuối cùng đó chính là thứ cần bám giữ. Cách đặt tên của chính NVIDIA mang cả hai con số — “74B-A9B” và “30B-A3B” trước đó — nên trên lý thuyết, hai mô hình có thể so sánh được với nhau: gấp khoảng 2,5 lần tổng số tham số của mô hình Lightning và gấp 3 lần số tham số hoạt động. Liệu tỷ lệ đó có trụ vững qua nén 2-bit hay không chính là điều mà một benchmark độc lập đầu tiên sẽ giải đáp.

Bolt E4B là nửa còn lại của dòng sản phẩm, và nó là một sản phẩm khác biệt.

Nemotron 3.5 Bolt E4B, ra mắt ngày 23 tháng 10, không phải là phiên bản em nhỏ hơn của 74B theo cách tên gọi gợi ý. NVIDIA gọi nó là “mô hình ngôn ngữ nhỏ (SLM) thế hệ thứ ba dành cho NVIDIA ACE”, bộ công cụ mà hãng dùng cho các nhân vật AI trong game — một dòng phát triển mà công ty truy nguyên qua bản beta PUBG cho thế hệ thứ nhất và bản xem trước Aniimo tại Gamescom cho thế hệ thứ hai.

Các mục tiêu thiết kế được nêu của nó mang dáng dấp của gaming hơn là của agent: dung lượng 4GB, "thời gian đến token đầu tiên nhanh," "một chế độ hội thoại mới [giúp] giữ các phản hồi ngắn gọn và sẵn sàng cho giọng nói," một nút bật/tắt suy luận, và việc bám vào trạng thái ứng dụng để sử dụng công cụ qua nhiều lượt. NVIDIA kết hợp bản phát hành này với một buổi chạy thử bên trong SkyrimNET, một nền tảng mod NPC cho Skyrim hỗ trợ cả suy luận trên đám mây lẫn cục bộ, bắt đầu ngay cùng ngày.

Vậy nên nếu bạn đến từ dòng tweet với kỳ vọng chỉ có một mô hình, thì thực tế bạn sẽ nhận được hai mô hình vào hai ngày khác nhau, trong hai phong bì khác nhau, cho hai công việc khác nhau: ngày 15 tháng 10 dành cho agent cục bộ 24GB, ngày 23 tháng 10 dành cho nhân vật game 4GB.

Làm thế nào để đánh giá nó mà không đặt cược cả một lộ trình vào nó

Phần khó xử của một mô hình cục bộ ngay ngày đầu là bạn vẫn chưa thể trả lời câu hỏi duy nhất quan trọng — liệu checkpoint 2-bit có trụ vững trên khối lượng công việc của bạn không — và bạn cũng không thể trả lời câu hỏi thứ hai, liệu có một phương án hosted để so sánh hay không. Cả hai khoảng trống đều tạm thời, và không khoảng trống nào là lý do để lập kế hoạch xoay quanh một bảng benchmark không tồn tại.

Cách làm thực tế là tách riêng hai quyết định. Hãy chạy Bolt 74B cục bộ như một thử nghiệm trong giới hạn 24GB mà bạn đã có, và giữ đường đi production trên bất cứ thứ gì có thể gọi được ngay hôm nay. Chính nửa thứ hai đó là nơi hạ tầng định tuyến khẳng định được giá trị của mình: một khóa duy nhất dùng cho hơn 200 mô hình ở mức giá niêm yết của nhà cung cấp với 0% phụ phí nghĩa là việc thử ứng viên thứ hai hay thứ ba chỉ tốn một thay đổi cấu hình thay vì một hợp đồng thứ hai, và chuyển đổi dự phòng tự động giữa các nhà cung cấp nghĩa là một bản dựng cục bộ chưa được kiểm chứng sẽ không bao giờ trở thành điểm lỗi duy nhất cho một agent đang vận hành trực tiếp.

Đây cũng là cách trung thực để đọc cách NVIDIA tự định hình. “Được thiết kế chuyên biệt để chạy các tác nhân cục bộ trên RTX Spark” là một phát biểu về nơi mô hình chạy, chứ không phải về điểm số mà nó đạt được. Hãy coi ngày 15 tháng 10 là thời điểm một câu hỏi trở nên có thể trả lời được — chứ không phải là một câu trả lời.

Điều gì sẽ thay đổi bài viết này

Ba điều, xếp đại khái theo mức độ chúng có thể làm thay đổi cục diện.

• Một giấy phép có tên và một kho trọng số công khai. "Mã nguồn mở hoàn toàn bao gồm dữ liệu huấn luyện, trọng số và công thức" là tuyên bố mạnh nhất trong bài đăng của NVIDIA và cũng là điều dễ xác minh nhất. Cho đến khi giấy phép được nêu tên và các tệp có thể tải xuống, tuyên bố đó vẫn chỉ là một lời hứa.

• Phép đánh giá độc lập đầu tiên. So sánh đáng chú ý không phải là giữa Bolt 74B với một mô hình cấp 70B độ chính xác đầy đủ mà nó chưa từng cạnh tranh. Mà là giữa Bolt 74B ở chế độ 2-bit với mọi bản dựng khác vừa vặn trong 24GB, được đo trên cùng một harness.

• Một endpoint được lưu trữ. Không có nó thì không có mức giá nào để tranh luận, và cũng không có cách nào để định tuyến tới nó. Nếu một phiên bản được phục vụ xuất hiện, việc so sánh giá với các mô hình đã có trong danh sách rút gọn của bạn sẽ trở nên cụ thể, và giá pass-through trở nên đáng để kiểm tra ngay trong ngày.

Cho đến khi ít nhất một trong số đó thành hiện thực, thái độ đúng đắn là quan tâm chứ không phải cam kết. Màn nhá hàng là thật, các ngày là thật, và mô hình là thật. Còn việc đánh giá thì không.

Những câu hỏi đáng được trả lời thỏa đáng

Nemotron 3.5 Bolt 74B có phải là cùng một mô hình với Nemotron 3.5 Lightning 30B-A3B không?

Không. Chúng là những mục khác nhau trong cùng một thế hệ với các cấu hình khác nhau: Bolt có tổng 74B với 9B hoạt động, Lightning có tổng 30B với 3B hoạt động theo cách đặt tên của chính NVIDIA. Bolt cũng được phát hành ở dạng 2-bit, dung lượng 24GB, trong khi NVIDIA đã công bố dòng Lightning ở các bản dựng BF16 và NVFP4. Liệu chúng có chung một kiến trúc hay không thì thông báo không nói.

Bạn có thể chạy Bolt 74B trên card desktop 24GB không, hay chỉ trên laptop RTX Spark?

Ràng buộc mà NVIDIA nêu rõ là dung lượng bộ nhớ chiếm dụng, chứ không phải cỗ máy — 24GB ở mức 2-bit — và các runtime được nêu tên là llama.cpp, vLLM, Ollama, Unsloth và LM Studio, vốn đều không độc quyền NVIDIA. RTX Spark là nơi NVIDIA đang hướng hoạt động tiếp thị tới, nhưng không có gì trong thông báo khiến nó trở thành yêu cầu bắt buộc.

OrcaRouter có lưu trữ Nemotron 3.5 Bolt 74B không?

Không phải hôm nay, và hiện chưa có gì để lưu trữ — NVIDIA chưa công bố endpoint đang phục vụ nào hay mức giá nào cho nó. Nếu điều đó thay đổi, mô hình sẽ có thể được gọi thông qua cùng một khóa như mọi thứ khác trong danh mục, theo giá niêm yết của nhà cung cấp mà không cộng thêm bất kỳ khoản tăng giá nào.

Đối với một mô hình mà các kiểu thất bại vẫn chưa được ghi nhận, thứ tương ứng hữu ích chính là hồ sơ về những gì đã sai ở nơi khác: các sự cố AI và lỗi agent đã được ghi nhận liên quan đến những mô hình thuộc lớp này đều được tập hợp trong Kho lưu trữ Sự cố AI OrcaRouter, nơi mỗi mục đều mang nguồn riêng, mức độ nghiêm trọng, cấp độ tin cậy và cờ đánh dấu tranh chấp.