Nemotron 3.5 Bolt E4B 4GB: Những gì thực sự đã được phát hành và tại sao cái tên lại gây hiểu nhầm

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB đã chính thức có mặt trên Hugging Face vào ngày 23 tháng 10 năm 2026, và điều đầu tiên đáng nói về nó là phép tính: tệp có dung lượng 6.18GB. Cái tên ghi 4GB. Cả hai con số đều có thật, chúng đo những thứ khác nhau, và khoảng cách giữa chúng là thông tin hữu ích nhất trong bản phát hành.

Blog kỹ thuật của NVIDIA gọi 4GB là hạn mức bộ nhớ dự kiến cho các khối lượng công việc mục tiêu của mô hình — một ngân sách cho phần mà mô hình nên chiếm dụng trong khi một ứng dụng chạy bên cạnh nó. Đó không phải là số lượng tham số và cũng không phải là kích thước tải xuống. Bản thân checkpoint là 8B tổng cộng với 4B tham số hiệu dụng, được hậu huấn luyện từ Gemma-4-E4B-it, và được phát hành ở đúng hai độ chính xác: bản dựng BF16 15.88GB và Q4_K_M GGUF 6.18GB. Nếu bạn đến đây để tìm một tệp bốn gigabyte nhằm thả vào một thiết bị, thì không có tệp nào như vậy trong kho lưu trữ.

Điều đó đáng được nói rõ ràng vì phần còn lại của bản công bố dễ hiểu một cách bất thường. Thẻ mô hình rất chi tiết, báo cáo kỹ thuật được công khai, và bảng độ trễ đo được bao quát bốn thiết bị. Điều còn thiếu là xác minh độc lập, và chính thẻ mô hình cũng nói như vậy.

Bản phát hành, được tái dựng từ những gì công khai

Cái này không được ra mắt. Nó chỉ nhận được một chú thích nhỏ, rồi sau đó là một bài đăng blog.

• Ngày 5 tháng 10 năm 2026 — các kho lưu trữ Hugging Face cho bản dựng Q4_K_M và BF16 đã được tạo. Cả hai đều chưa được nạp trọng số.

• 15 tháng 10 năm 2026 — NVIDIA công bố dòng sản phẩm Nemotron 3.5: Super VL 120B-A12B và Bolt 74B-A9B 24GB, cả hai đều có sẵn vào ngày hôm đó. E4B chỉ được hai câu và một ngày: sẽ ra mắt vào 23 tháng 10.

• 23 tháng 10 năm 2026 — trọng số Q4_K_M và BF16 được công bố, thẻ mô hình được đăng lên, và phòng nghiên cứu của NVIDIA đăng một blog kỹ thuật cùng một báo cáo kỹ thuật. Không có thông cáo báo chí nào từ công ty, và các bài đưa tin ra mắt từng xuất hiện sau thông báo ngày 15 tháng 10 cũng không lặp lại cho lần này.

Vậy nên "phát hành lặng lẽ" là chính xác, còn "bí mật" thì không. NVIDIA đã đặt tên cho mô hình, ấn định ngày phát hành và sau đó tài liệu hóa nó đầy đủ vào đúng ngày. Điều họ không làm là giới thiệu E4B trước cùng những phóng viên đã đưa tin về các mô hình anh em của nó. Hệ quả thực tế đối với bất kỳ ai đọc bài này trong những tuần đầu là gần như mọi khẳng định dưới đây đều bắt nguồn từ một nguồn duy nhất: NVIDIA.

Bốn gigabyte là một hạn mức, không phải một bản tải xuống

Kích thước tệp được công bố là hoàn toàn rõ ràng khi bạn xem kho lưu trữ thay vì tên.

• Q4_K_M GGUF — 6.180.446.208 byte, tức 6,18GB theo hệ thập phân, trong một tệp duy nhất có tên Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf.

• BF16 safetensors — 15,882,494,698 byte, tức 15,88GB, trong một shard, cộng thêm một tệp shared-KV đóng băng 110MB.

• Không có artifact 4GB — không có lượng tử hóa nhỏ hơn trong kho lưu trữ, và card không công bố tệp nào đạt đúng con số trong tên.

Điều NVIDIA thực sự công bố là một phép đo llama.cpp batch-1 trên bốn thiết bị, và bảng đó chính là nơi tuyên bố 4GB trở nên cụ thể:

• RTX 5070 12GB — 3,5 đến 4,3GB VRAM, 548 đến 1.238ms thời gian đến token đầu tiên, 106,2 đến 133,4 token mỗi giây.

• RTX Spark 32GB — từ 3,1 đến 4,2GB VRAM, từ 930 đến 1.988ms cho token đầu tiên, từ 52,0 đến 67,0 token mỗi giây.

• Jetson Orin Nano 8GB — 4,2 đến 4,9GB VRAM, 5.785 đến 6.259ms đến token đầu tiên, 13,0 đến 15,5 token mỗi giây.

• Jetson AGX Orin 32GB — 4,2 đến 5,0GB VRAM, 3.687 đến 4.091ms đến token đầu tiên, 20,3 đến 24,0 token mỗi giây.

Các con số VRAM nằm dưới kích thước tệp 6,18GB, nghĩa là trong những lần chạy đó, runtime không giữ toàn bộ tệp thường trú trên GPU. Card không giải thích cơ chế, và đây là chỗ tốt để không tự bịa ra một cơ chế: trọng số ánh xạ bộ nhớ, offload một phần và định cỡ KV-cache đều tương tác với nhau, và NVIDIA chưa công bố cách phân chia. Có thể nói rằng ngưỡng 4GB là kết quả đo được trên phần cứng cụ thể dưới một runtime cụ thể, chứ không phải thuộc tính của bản tải xuống.

Hàng Orin Nano là hàng cần đọc kỹ hai lần nếu điểm bán hàng là trợ lý giọng nói. Mười ba đến mười lăm token mỗi giây với gần sáu giây cho token đầu tiên là một tác nhân nhúng khả dụng và là một đối tác hội thoại thời gian thực kém. Hàng RTX 5070 thì ngược lại: đủ nhanh cho sử dụng tương tác, trên GPU máy tính để bàn.

NVIDIA thực sự đã thay đổi gì trong Gemma 4 E4B

Kiến trúc được kế thừa nguyên vẹn. Đây là Gemma-4-E4B, một hỗn hợp tổng cộng 8B tham số với 4B tham số hiệu dụng, và đóng góp của NVIDIA là hậu huấn luyện chứ không phải một backbone mới. Thẻ mô tả công việc là học tăng cường từ phần thưởng có thể kiểm chứng và phản hồi của con người thông qua NeMo-RL và NeMo-Gym, trên các lĩnh vực gọi công cụ và schema, tuân thủ chỉ dẫn và thứ bậc, đầu ra có cấu trúc, định dạng tự do, và mô hình hóa phần thưởng sinh tạo. Các lô huấn luyện có tỷ lệ 2:1 giữa mẫu không suy luận và mẫu suy luận, và NVIDIA đã tăng hình phạt độ dài để kiểm soát sự dài dòng — một chi tiết xuất hiện sau đó trong bảng benchmark.

Bản dựng Q4_K_M được tạo bằng llama.cpp với hiệu chuẩn imatrix trên khoảng một triệu token dữ liệu rollout RL. Ngoài ra còn có một DFlash drafter cho giải mã suy đoán, mà NVIDIA cho biết đã mang lại thông lượng cao hơn tới 21% so với drafter dự đoán đa token gốc của Gemma-4-E4B. Drafter này nằm trong một kho lưu trữ riêng, và tại thời điểm kiểm tra, nó trả về HTTP 401 cho các yêu cầu ẩn danh, vì vậy hãy coi đó là một bước truy cập bổ sung thay vì tải xuống ngay trong ngày.

Hai công tắc chat-template đảm nhận phần lớn công việc định hình hành vi. enable_thinking bật hoặc tắt suy luận và nhận ngân sách suy luận khi chạy; conversational_mode thêm một chỉ dẫn hệ thống về hội thoại nói để có câu trả lời ngắn, ít định dạng. Công tắc thứ hai đó chính là manh mối. Mô hình này được xây dựng để trò chuyện, chứ không phải để lấp đầy cửa sổ ngữ cảnh bằng phân tích.

Ngữ cảnh là 64K đầu vào và 64K đầu ra. Phạm vi ngôn ngữ là 34 trong siêu dữ liệu Hugging Face và 35 trong blog kỹ thuật — một sự không nhất quán nhỏ, không mang tính bản chất, và thẻ hậu huấn luyện nêu tiếng Anh, tiếng Pháp, tiếng Đức, tiếng Ý, tiếng Nhật, tiếng Tây Ban Nha và tiếng Trung là các ngôn ngữ chính.

Giấy phép là một chồng giấy phép chứ không phải một tài liệu duy nhất: OpenMDW-1.1 cho phần đóng góp của NVIDIA, Apache 2.0 cho thành phần Gemma 4. Thẻ mô hình nêu rằng mô hình đã sẵn sàng cho việc sử dụng thương mại hoặc phi thương mại. OpenMDW là giấy phép permissive nhưng không được OSI phê duyệt, điều này quan trọng với các nhóm pháp lý hơn là với các nhà phát triển.

Bảng benchmark, được đọc đối chiếu với những mô hình mà nó nêu tên

NVIDIA đã đánh giá mô hình so với Gemma4 E4B-it, Qwen3.5 4B và Nemotron 3 Nano-4B của chính mình, trong cùng một khung NeMo-Gym nhất quán. Mọi con số dưới đây đều do nhà cung cấp báo cáo và chưa được tái lập. Thẻ mô hình nêu rằng các con số "có thể khác với số liệu do nhà cung cấp tự báo cáo", đây là một lưu ý trung thực và cũng là lời nhắc rằng bộ so sánh là do NVIDIA lựa chọn.

Các thành quả tập trung vào hội thoại và kiểm soát:

• RoleBench Custom — 67,05 cho Bolt E4B so với 53,66 cho Qwen3.5 4B, 49,95 cho Gemma4 E4B-it và 12,02 cho Nano-4B. Đây là benchmark persona, và mức chênh lệch là lớn nhất trong bảng.

• IHEval, thứ bậc chỉ dẫn — 84,79 so với 60,57, 67,04 và 51,31. Việc dẫn trước 17 điểm so với đối thủ gần nhất là điều bất thường ở quy mô này.

• When2Call Multi-Turn — 63,36 so với 37,85 của Qwen3.5 4B, 62,90 của Gemma4 và 27,70 của Nano-4B. Biết khi nào không nên gọi công cụ là một kỹ năng hội thoại chẳng kém gì kỹ năng tác nhân.

• RelyToolBench — 63.16 so với 43.35, 61.60 và 41.20. Việc neo vào đầu ra của công cụ, một lần nữa, là một kỹ năng gắn với hội thoại.

• MultiChallenge — 53,10 so với 51,76, 42,08 và 35,30. Một chiến thắng sát nút trong việc xử lý thử thách đa lượt.

Những mất mát cũng rõ ràng không kém, và chúng mới là điều quan trọng nếu bạn muốn một tác nhân thay vì một nhân vật:

• Tau2-Bench — 55.10 so với 75.06 của Qwen3.5 4B. Đây là mức thiếu hụt 20 điểm về hoàn thành tác vụ tác nhân đa lượt, và không mức độ chất lượng persona nào có thể bù đắp được điều đó.

• RULER ở 64K — 86.99 so với 95.15 của Qwen3.5 4B và 91.51 của Nano-4B. Mô hình chấp nhận ngữ cảnh 64K; nhưng khả năng truy xuất thông tin xuyên suốt ngữ cảnh đó không đáng tin cậy bằng các mô hình cùng phân khúc.

• LongBench v2 ở 48K — 50.50 so với 59.93 của Qwen3.5 4B. Câu chuyện tương tự ở suy luận trên tài liệu dài.

• BFCL-v3 — 68.51 so với 70.95 của Qwen3.5 4B. Một sự thiếu hụt nhỏ ở khả năng gọi hàm, và một chiến thắng trước mức 66.39 của Gemma4.

• EQ-Bench v3 — 39,40 so với 41,17 của Gemma4 E4B-it. Hàng trí tuệ cảm xúc duy nhất mà mô hình cha vượt qua mô hình con.

Cột Q4_K_M thú vị hơn mức một bảng lượng tử hóa thường có. Việc nén không làm giảm độ chính xác một cách đồng đều: MultiChallenge tăng từ 53,10 lên 55,60, RoleBench từ 67,05 lên 71,21, ToolSandbox từ 68,77 lên 74,13 và RelyToolBench từ 63,16 lên 69,29. Nó giảm trên Tau2 từ 55,10 xuống 52,32, trên LongMemEval từ 72,10 xuống 69,92 và trên RULER từ 86,99 xuống 85,76. Một bản dựng bốn bit cải thiện nhiều điểm số hội thoại là điều hợp lý khi dữ liệu hiệu chuẩn đến từ chính các rollout RL của mô hình, nhưng đây vẫn là phép đo của nhà cung cấp, và nhiễu ở cấp độ benchmark trong một mô hình 4B đủ lớn để những mức chênh lệch này không nên được đọc như một thang độ chính xác.

Hai dòng xứng đáng được đánh dấu riêng. Brevity Bench và When2Call Multi-Turn là những đánh giá mà NVIDIA mô tả là nhằm khắc phục các lỗ hổng trong những benchmark hiện có, và blog nói rằng chúng sẽ được phát hành vào một thời điểm sau đó. Hiện nay, chúng không thể được tái tạo độc lập — điều này quan trọng nhất đối với Brevity, vì đó là dòng mang câu chuyện về số token đầu ra ít hơn.

Tuyên bố nổi bật của NVIDIA là mô hình này trung bình tốt hơn khoảng 40% so với Nemotron 3 Nano-4B và tốt hơn khoảng 10% so với các mô hình ngang hàng, với số token đầu ra ít hơn tới 80% trong các so sánh có bật suy luận. Con số 80% là tuyên bố về độ rườm rà, không phải tuyên bố về độ chính xác, và nó khớp với điểm Brevity Benchmark là 82,52 — thứ NVIDIA đã tích hợp vào bộ công cụ của riêng mình. Hãy coi trọng hướng đi và xem nhẹ tỷ lệ phần trăm chính xác.

Điều mà kho lưu trữ sẽ không cho bạn biết

Chiếc thẻ thẳng thắn về những lỗ hổng của chính nó, và những lỗ hổng ấy đáng được liệt kê vì chúng quyết định mức độ tin cậy mà bản phát hành có thể mang lại.

• Không có đánh giá độc lập. Artificial Analysis không có trang mô hình nào cho E4B tại thời điểm viết bài, và không bên thứ ba nào đã công bố bản tái tạo của bảng điểm chuẩn 21 dòng.

• Không có giá cho dịch vụ host. Thẻ mô hình ghi ngày niêm yết trên Build.NVIDIA.com là 23 tháng 10, nhưng không có giá theo token nào được công bố ở đó hoặc trong thẻ mô hình. Nếu bạn muốn dùng API, bạn đang đàm phán hoặc dùng gói miễn phí, chứ không phải đang đọc bảng giá.

• Việc triển khai được đánh dấu là "llama.cpp (công thức đang chờ)" mặc dù phần bắt đầu nhanh có chứa các lệnh llama.cpp hoạt động được. Đó là một mâu thuẫn trong tài liệu, không phải mâu thuẫn kỹ thuật, nhưng lại là kiểu vấn đề khiến một quy trình triển khai tự động bị vấp.

• Mục tiêu 4GB không được thể hiện dưới dạng tệp. Đường bao VRAM đo được là bằng chứng; bản tải xuống là 6.18GB.

• Các thẻ phụ về an toàn, thành kiến, khả năng giải thích và quyền riêng tư tồn tại dưới dạng các tệp riêng biệt. Bài viết này không đánh giá chúng, và hiện chưa có bất kỳ cơ quan độc lập nào làm vậy.

Không điều nào trong số đó khiến bản phát hành trở nên không đáng tin cậy. Nó khiến bản phát hành ra mắt sớm. Một thẻ mô hình do nhóm đã huấn luyện mô hình viết là mô tả tốt nhất hiện có về mục đích của mô hình; đó không phải là bằng chứng rằng mô hình thực sự làm được điều đó.

Mô hình 4B cục bộ dừng lại ở đâu, và nên đặt gì phía sau nó

Kiến trúc trung thực cho lớp mô hình này là một kiến trúc phân tách. Một checkpoint hội thoại 4B trên Jetson hoặc card RTX rất xuất sắc ở lớp phản xạ: phản hồi bằng từ đánh thức, đối thoại theo persona, các lệnh gọi công cụ ngắn, neo thông tin đầu vào, những phần của giao diện không thể chấp nhận một vòng khứ hồi mạng. Nó không phải thứ bạn muốn dùng để trả lời một câu hỏi cần 200K ngữ cảnh hoặc một kế hoạch tác tử mười bước, và bảng benchmark của chính nó cũng nói như vậy.

Điều đó để lại cho mọi triển khai một câu hỏi thứ hai: điều gì xử lý những yêu cầu mà mô hình cục bộ không nên xử lý. Đặt một mô hình được lưu trữ phía sau cùng ứng dụng thông qua OrcaRouter nghĩa là một API cho hơn 200 mô hình, 0% phụ phí trên giá niêm yết của nhà cung cấp, và chuyển đổi dự phòng tự động khi một nhà cung cấp suy giảm — vì vậy đường nâng cấp là một quyết định định tuyến thay vì một SDK thứ hai, một khóa thứ hai và một mối quan hệ thanh toán thứ hai. Mô hình cục bộ vẫn là đường nhanh; mô hình được lưu trữ là phương án dự phòng cho những trường hợp mà E4B chưa từng được huấn luyện.

Điều gì sẽ thay đổi bức tranh này

Ba điều, theo thứ tự hữu ích. Một đánh giá độc lập chạy trên cùng harness sẽ giải đáp liệu cấu hình nặng về hội thoại có đứng vững bên ngoài đánh giá của NVIDIA hay không. Một artifact được công bố từ 4GB trở xuống sẽ khiến tên gọi trở nên đúng nghĩa đen. Và một mức giá cho endpoint Build sẽ biến mô hình từ một bản tải về thành một dịch vụ mà bạn có thể so sánh.

Cho đến lúc đó, cách hiểu đúng là hẹp và hữu ích: NVIDIA đã huấn luyện hậu kỳ Gemma 4 E4B thành một mô hình hội thoại nhỏ tốt hơn một cách rõ rệt, công bố bằng chứng và những khoảng trống trong cùng một tài liệu, rồi phát hành nó một tuần sau khi dòng mô hình ra mắt mà gần như không gây chú ý. Con số 4GB trong tên là mục tiêu mà dung lượng lúc chạy đo được đáp ứng, còn bản tải xuống thì không. Hãy lên kế hoạch dung lượng lưu trữ của bạn quanh mức 6.18GB và kỳ vọng của bạn quanh mức 13 đến 133 token mỗi giây, tùy thuộc vào thiết bị bạn thực sự sở hữu.