Nemotron 3.5 Bolt E4B 4GB vs Nemotron 3.5 Bolt 74B-A9B 24GB: Cùng tên, hai cỗ máy đối lập

NVIDIA đã phát hành hai mô hình có tên Bolt cách nhau tám ngày. NVIDIA-Nemotron-3.5-Bolt-E4B-4GB ra mắt vào ngày 23 tháng 10 năm 2026: một mô hình hội thoại chỉ xử lý văn bản, tổng cộng 8B, được huấn luyện hậu kỳ từ Gemma-4-E4B-it. NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB — mô hình mà hầu hết mọi người muốn nói đến khi nói Nemotron 3.5 Bolt — ra mắt vào ngày 15 tháng 10: một agent đa phương thức tổng 74B, 9B hoạt động, được nén xuống còn hai bit cho mỗi trọng số chuyên gia.

Chúng chia sẻ một huy hiệu, một giấy phép và một cửa sổ ra mắt. Chúng không chia sẻ kiến trúc gốc, phương thức, cửa sổ ngữ cảnh, bộ đánh giá chuẩn hay một công việc. Việc coi "Bolt" là một thang bậc kích cỡ chính là sai lầm mà phép so sánh này nhằm ngăn ngừa.

Một cái là bản dẫn xuất của Gemma. Cái còn lại là một tác nhân 120B đã được nén.

Dòng dõi giải thích gần như mọi thứ còn lại.

E4B khởi đầu là Gemma-4-E4B-it, mô hình nhỏ được tinh chỉnh theo chỉ dẫn của Google, và NVIDIA đã huấn luyện hậu kỳ mô hình này bằng học tăng cường từ phần thưởng có thể kiểm chứng và phản hồi của con người thông qua NeMo-RL và NeMo-Gym. Kiến trúc là của Gemma: tổng cộng 8B tham số với 4B hiệu dụng, đường vào và ra chỉ dành cho văn bản, cùng cửa sổ ngữ cảnh 64K. Đóng góp của NVIDIA là ở hành vi, không phải ở kiến trúc nền tảng.

Mẫu 74B bắt đầu từ Nemotron 3.5 Super VL 120B-A12B, mô hình gốc đa phương thức của chính NVIDIA. NVIDIA đã chạy một cuộc tìm kiếm kiến trúc có định hướng bộ định tuyến mang tên Star Elastic trong giới hạn bộ nhớ 24GB và tạo ra một mô hình lai 74 tỷ tham số với 9 tỷ tham số hoạt động trên mỗi token, kết hợp các lớp Mamba-2 và Transformer trong thiết kế LatentMoE, cùng bộ mã hóa thị giác C-RADIO v4-H. Nó chấp nhận văn bản, hình ảnh và video, đồng thời xử lý ngữ cảnh 256K token.

Nói thẳng ra: E4B là mô hình hội thoại do NVIDIA tinh chỉnh. 74B là mô hình tác nhân do NVIDIA nén. Cái tên "Bolt" mô tả mục tiêu triển khai — trí tuệ trên mỗi gigabyte — chứ không phải một kiến trúc chung.

Các thông số kỹ thuật, đặt cạnh nhau

• Tổng số tham số và tham số hoạt động — E4B có tổng 8B tham số với 4B hiệu dụng; 74B có tổng 74B tham số với 9B hoạt động.

• Kiến trúc — Gemma-4-E4B cho mô hình nhỏ; Mamba-2 kết hợp Transformer lai LatentMoE cho mô hình lớn, với nén Star Elastic từ mô hình cha Super VL.

• Phương thức — văn bản vào, văn bản ra đối với E4B; văn bản, hình ảnh và video vào, văn bản ra đối với 74B.

• Cửa sổ ngữ cảnh — 64K token đầu vào và 64K đầu ra cho E4B; lên đến 256K token cho 74B.

• Độ chính xác — Q4_K_M cho GGUF được phát hành của E4B; IQ2 ở mức xấp xỉ 2,0625 bit cho mỗi trọng số expert đối với mô hình 74B, với NVFP4 trên một số lớp Mamba và embedding Q8_0.

• Trọng số đã công bố — 6.18GB Q4_K_M và 15.88GB BF16 cho E4B; 23.75GB trọng số GGUF cùng vision projector, 24.12GB safetensors sẵn sàng cho vLLM, và 149.8GB ở BF16 cho 74B.

• Giấy phép — OpenMDW-1.1 cho cả hai, với thành phần Gemma 4 thuộc Apache 2.0 trong ngăn xếp của E4B.

• Ngày phát hành — 23 tháng 10 năm 2026 đối với E4B; 15 tháng 10 năm 2026 đối với 74B.

• Runtime — llama.cpp cho E4B, với thẻ đánh dấu công thức là “đang chờ” dù đã kèm các lệnh khởi động nhanh; vLLM cho 74B, với công thức tham chiếu ghim một container nightly theo commit hash.

Có một cái bẫy siêu dữ liệu đáng được cảnh báo trước khi nó gây ra sai lầm khi mua hàng. Tiện ích tệp Hugging Face trên kho 74B hiển thị “22B params” trong khi thẻ mô hình ghi rõ tổng 74B và 9B hoạt động. Thẻ mô hình đúng: 22B là một trường thanh bên đã lỗi thời, không phải biến thể thứ ba, và bất kỳ ai chọn cấu hình phần cứng dựa trên tiện ích thay vì thẻ mô hình sẽ sai nghiêm trọng theo hướng ngược lại.

Các bảng benchmark không có chung một hàng nào.

Đây là điều quan trọng nhất cần hiểu trước khi so sánh hai thứ này, và đó cũng là điều mà hầu hết các bài viết bỏ qua.

NVIDIA đã đánh giá 74B trên GDPVal-AA-V2, Terminal-Bench 2.1, Tau3 Banking, HLE, AA-Omniscience, SciCode, GPQA Diamond, AA-LCR, PinchBench, MCP-Atlas, BrowseComp và WebArena. NVIDIA đã đánh giá E4B trên MultiChallenge, RoleBench, RoleMRC, EQ-Bench v3, Brevity, BFCL-v3, When2Call, ToolSandbox, Tau2-Bench, IHEval, AgentIF, StructEval-T, IFBench, InverseIFEval, RULER, LongMemEval, LongBench v2, SysBench, GaRAGe, RAGTruth và RelyToolBench.

Không có sự trùng lặp. Không một hàng nào xuất hiện trong cả hai bảng. Hai bộ thử nghiệm thậm chí còn dùng các phiên bản khác nhau của bộ đánh giá agentic — Tau2 cho E4B, Tau3 Banking cho 74B — nên cặp trông giống nhau nhất cũng không thể so sánh được.

Điều đó có nghĩa là bất kỳ tuyên bố nào có dạng “74B tốt hơn E4B X điểm” đều là bịa đặt. NVIDIA không công bố một bộ khung đánh giá chung và chưa có bên thứ ba nào chạy một bộ như vậy. Điều mà các bảng này thực sự ủng hộ là một phát biểu về ý định thiết kế:

74B được đo trên các tác vụ trông giống công việc thực tế — sử dụng terminal, duyệt web, viết mã khoa học, câu hỏi cấp sau đại học, suy luận ngữ cảnh dài. Các mục công bố mạnh nhất của nó là BrowseComp 66.75, Terminal-Bench 2.1 50.98, GPQA Diamond 86.43 và AA-LCR 64.06.

• E4B được đo trên các tác vụ có dạng hội thoại — duy trì persona, thứ bậc chỉ dẫn, biết khi nào cần gọi công cụ, bám sát đầu ra của công cụ. Các dòng mạnh nhất của nó là IHEval 84.79, RoleBench 67.05, RelyToolBench 63.16 và When2Call 63.36.

Cả hai bộ đều do nhà cung cấp báo cáo và chưa được tái lập. Thẻ của 74B có thêm một điểm đáng lưu ý: NVIDIA mô tả mô hình này là mô hình mở hàng đầu trong phân khúc của nó trên PinchBench, nhưng bảng của chính hãng lại cho thấy Qwen3.6-35B-A3B đạt 88.07 so với 87.82 của Bolt. Đó là khoảng cách 0.25 điểm và là một tuyên bố không hoàn toàn đứng vững trước chính chú thích của nó.

Các tuyên bố về tốc độ, cùng với phần cứng đi kèm

Thông lượng là hạng mục duy nhất mà cả hai card đều công bố số liệu, vậy mà chúng vẫn không thể được đặt cạnh nhau để so sánh.

• E4B trên RTX 5070 12GB — 106,2 đến 133,4 token mỗi giây, 548 đến 1.238ms để có token đầu tiên, 3,5 đến 4,3GB VRAM, được đo bằng llama.cpp và CUDA ở batch 1.

• E4B trên Jetson Orin Nano 8GB — 13,0 đến 15,5 token mỗi giây và 5,8 đến 6,3 giây để có token đầu tiên. Cùng một mô hình, trên phần cứng mà thông điệp “4GB” thực sự hướng đến.

• 74B trên RTX Spark — 83,99 token mỗi giây trên AIPerf SPEED-Bench-Coding, với drafter LiLiCorr được gắn kèm và bảy token suy đoán mỗi bước.

Con số 74B giả định một checkpoint drafter 1,13B riêng biệt, một benchmark cụ thể và phần cứng khác với cả hai lần chạy E4B. Con số E4B giả định không có drafter. So sánh 133 với 84 và kết luận mô hình nhỏ nhanh hơn là đúng về mặt kỹ thuật và vô nghĩa trên thực tế: một bên là mô hình bốn tỷ tham số hiệu dụng trên GPU máy để bàn, bên kia là mô hình chín tỷ tham số hoạt động trên một máy khác với bộ giải mã suy đoán gắn thêm.

Điều mà những con số thực sự xác lập là hình dạng của sự đánh đổi. E4B được xây dựng cho thời gian đến token đầu tiên; 74B được xây dựng cho công việc tác nhân kéo dài, nơi 84 token mỗi giây là đủ. Dòng Orin Nano là lời cảnh báo: một mô hình 4GB trên phần cứng nhúng không tự động trở thành một hệ hội thoại thời gian thực.

Bộ nhớ: 4GB và 24GB là phong bì, không phải tệp

Cả hai tên đều sử dụng một đích bộ nhớ và không con số nào là bản tải xuống.

• E4B — một GGUF Q4_K_M 6,18GB. NVIDIA đo được 3,1 đến 4,3GB VRAM trong các lần chạy batch-1 của chính hãng trên phần cứng RTX. Card không phát hành tệp 4GB.

• 74B — 22.02GB trọng số GGUF cộng với một vision projector riêng 1.73GB, tổng cộng 23.75GB, hoặc 24.12GB trong bản dựng safetensors sẵn sàng cho vLLM. Lượng tử hóa chuyên gia 2.0625-bit chính là yếu tố giúp đạt được ngưỡng 24GB.

• Các bản dựng BF16 — 15.88GB cho E4B, 149.8GB trên 63 phân mảnh cho 74B. Các biến thể độ chính xác đầy đủ dành cho hậu huấn luyện, không phải để triển khai, và card của 74B nói rõ điều đó.

Khoảng cách lưu trữ xấp xỉ bốn trên một ở độ chính xác triển khai và xấp xỉ chín trên một ở độ chính xác đầy đủ. Khoảng cách VRAM nhỏ hơn khoảng cách tham số vì 74B đang trả giá cho việc nén của nó bằng bit, chứ không phải bằng kích thước.

Phương thức và ngữ cảnh quyết định nhiều hơn số lượng tham số

Cửa sổ văn bản 64K và cửa sổ đa phương thức 256K không phải là cùng một sản phẩm với những giới hạn khác nhau.

74B có thể nhìn vào một hình ảnh hoặc video và hành động dựa trên đó. Thẻ thông số của nó chỉ định đầu vào JPEG RGB hoặc PNG, video MP4 tối đa hai phút, và khuyến nghị một khung hình mỗi giây ở 1080p hoặc hai khung hình mỗi giây ở 720p. Nó có thể đọc ảnh chụp màn hình, biểu đồ, biểu mẫu hoặc luồng camera rồi gọi các công cụ dựa trên những gì nó đã thấy. Đó là năng lực khiến nó trở thành tác nhân cho việc duyệt web và làm việc trên máy tính.

{{1}}E4B không thể nhìn.{{/1}} Nó nhận văn bản và trả về văn bản, và cửa sổ 64K của nó rõ ràng yếu hơn các mô hình ngang hàng ở khả năng truy xuất: RULER {{2}}86.99{{/2}} so với {{3}}95.15{{/3}} của Qwen3.5 4B, LongBench v2 {{4}}50.50{{/4}} so với {{5}}59.93{{/5}}. Nếu ứng dụng của bạn cần giữ một tài liệu dài hoặc ảnh chụp màn hình trong tầm nhìn, thì E4B là mô hình sai, bất kể điểm persona của nó cao đến đâu.

Mỗi cái dành cho ai

E4B dành cho lớp giao diện. Nhân vật tương tác, trợ lý giọng nói, tác nhân thiết bị nhúng, robot cần chọn kịch bản và nói, và bất kỳ ứng dụng nào mà mô hình phải trả lời trong vài trăm mili giây trên phần cứng có giá thấp hơn một máy trạm. Các bản demo của NVIDIA thể hiện rõ ý định: một robot Reachy Mini trên Jetson Orin Nano dùng E4B để chọn kịch bản hoạt ảnh trong khi một mô hình thị giác riêng đảm nhận nhận thức, và một NPC thợ rèn xác minh thanh toán, tra cứu công thức, thu thập nguyên liệu và trao vật phẩm.

74B dành cho lớp công việc. Các tác nhân cá nhân luôn bật, có thể duyệt web, viết mã, phân tích dữ liệu, giám sát các tác vụ nền và gọi API. Nó chạy trên RTX Spark, DGX Spark, các máy trạm RTX PRO và card GeForce RTX có đủ bộ nhớ, đồng thời được thiết kế để tồn tại song song với các ứng dụng khác trong giới hạn 24GB. Hồ sơ benchmark của nó — BrowseComp, Terminal-Bench, GPQA, AA-LCR — là hồ sơ của một mô hình hoàn thành công việc, chứ không phải mô hình để trò chuyện.

Không bên nào thay thế được bên kia. Một studio game muốn có NPC đáng tin cậy không cần một agent đa phương thức 74B; một nền tảng agent cần đọc trang web và chạy lệnh terminal không thể dùng một mô hình hội thoại 4B chỉ xử lý văn bản.

Một dòng gồm hai mô hình hàm ý gì cho việc triển khai

Hệ quả kiến trúc đáng chú ý là NVIDIA đã ra mắt một danh mục sản phẩm thay vì một thang bậc. E4B đảm nhiệm lớp phản xạ, 74B đảm nhiệm lớp công việc cục bộ, và Super VL 120B-A12B đảm nhiệm các trường hợp đa phương thức nặng hơn. Đó là ba ngân sách bộ nhớ khác nhau và ba công việc khác nhau, tất cả đều thuộc cùng một họ giấy phép.

Hầu hết ứng dụng vẫn sẽ cần một lớp thứ tư mà chúng không thể tải xuống: một mô hình tiên phong cho những yêu cầu vượt quá phần cứng cục bộ, hoặc một nhà cung cấp thứ hai cho phương thức mà mô hình cục bộ còn thiếu. Định tuyến những yêu cầu đó qua một API — 200+ mô hình, phụ phí 0% trên giá niêm yết của nhà cung cấp, chuyển đổi dự phòng tự động khi một nhà cung cấp bị suy giảm — cho phép Bolt cục bộ vẫn là đường đi nhanh và mô hình được lưu trữ vẫn là ngoại lệ. Giải pháp thay thế là tích hợp, khóa và hóa đơn riêng cho mọi mô hình cao hơn tầng cục bộ.

Điều gì sẽ giải quyết được vấn đề của gia đình?

Một lần chạy. Đưa cả hai Bolts qua cùng một harness trên cùng các tác vụ — một bộ hội thoại, một bộ tác tử và một bộ đa phương thức — rồi công bố các hàng kết quả. NVIDIA có các checkpoint, ngăn xếp đánh giá và động cơ để làm vậy; thay vào đó, họ chọn công bố hai bảng riêng biệt.

Cho đến khi điều đó tồn tại, cách lý giải có thể bảo vệ được là thế này: 74B là mô hình có năng lực hơn theo thiết kế và theo bằng chứng, trên các nhiệm vụ mà NVIDIA chọn để đo. E4B là mô hình phù hợp hơn cho một nhóm lớn các giao diện nơi một tác nhân 24GB là vô lý và một mô hình hội thoại 4GB là hoàn toàn đúng. Tên trên hộp là như nhau. Cỗ máy bên trong thì không.