Nemotron 3.5 Bolt 24GB so với Nemotron 3.5 Bolt 74B: Một mô hình, hai tạo tác

Đây là sự so sánh giữa một mô hình với chính nó. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB và N​VIDIA N​emotron 3.5 Bolt 74B-A9B BF16có cùng kiến trúc ở cùng số lượng tham số, được sản xuất trong cùng một tuần, từ cùng một mô hình cha — và tài liệu của chính N​VIDIA nói rõ rằng một cái để chạy còn cái kia để thay đổi. Coi chúng là đối thủ là một lỗi phạm trù; coi chúng là có thể hoán đổi cho nhau là một sai lầm đắt giá. Đây là sự khác biệt, được đo bằng byte và bằng điểm benchmark.

Hai tạo tác đó thực sự là gì

Các tên gọi mô tả pipeline, không phải hai thiết kế. N​VIDIA đã lấy N​emotron 3.5 Super VL 120B-A12B, chạy một tìm kiếm kiến trúc do router dẫn hướng có tên Star Elastic trong giới hạn ngân sách bộ nhớ, và tạo ra một mô hình 74 tỷ tham số với 9 tỷ tham số hoạt động. Kết quả đó tồn tại ở hai dạng đã công bố: trọng số BF16 như khi chúng ra khỏi hậu huấn luyện, và chính các trọng số đó với các lớp expert được lượng tử hóa xuống 2,0625 bit mỗi phần tử và được phục hồi bằng chưng cất nhận biết lượng tử hóa.

Cả hai đều được ghi ngày 15 tháng 10 năm 2026 trên thẻ mô hình của chúng. Cả hai đều mang cùng giấy phép OpenMDW-1.1, cùng cửa sổ ngữ cảnh 256.000 token, cùng xương sống Mamba-2 hybrid LatentMoE và cùng bộ mã hóa thị giác C-RADIO v4-H. Siêu dữ liệu của kho lưu trữ thể hiện rõ mối quan hệ trong một trường duy nhất: thẻ của checkpoint 24GB liệt kê base_model_relation: quantized so với bản phát hành BF16.

Điều khác nhau nằm ở mục đích của mỗi loại. Card 24GB ghi rõ trường hợp sử dụng của nó là các harness tác nhân cục bộ — gọi công cụ, duyệt web, làm việc trên terminal — và cách triển khai là vLLM trên Ampere, Hopper hoặc Blackwell. Card BF16 ghi rõ trường hợp sử dụng của nó là hậu huấn luyện với NeMo RL và NeMo Gym, thích ứng miền, chưng cất, và tạo ra các biến thể lượng tử hóa của riêng bạn, đồng thời cảnh báo ngay trong cùng đoạn rằng đối với suy luận được tối ưu độ trễ và thông lượng, bạn nên dùng phiên bản 24GB thay vào đó. Việc một nhà cung cấp nói với bạn rằng đừng chạy một checkpoint bạn vừa tải xuống là điều đáng đọc theo đúng nghĩa đen.

Sự khác biệt về kích thước, đọc từ danh sách tệp

• BF16 — tổng cộng 149.8GB trên 63 phân đoạn safetensors, phân đoạn lớn nhất 3.71GB, cộng với một tháp thị giác 228MB.

• 24GB safetensors — 24,12GB trải trên 90 shard trong bản dựng sẵn sàng cho vLLM, con số này hơi cao hơn một chút so với con số trong tên của mô hình.

• 24GB GGUF — 22.02GB trong một tệp duy nhất, cộng với một bộ chiếu thị giác riêng 1.73GB, tổng cộng là 23.75GB.

• Tỷ lệ — khoảng sáu trên một tính theo byte, từ các expert 16-bit xuống các expert 2-bit cùng với cách xử lý độ chính xác hỗn hợp cho mọi thứ còn lại.

Sáu mươi ba mảnh so với chín mươi cũng là một khác biệt về hình dạng, chứ không chỉ là khác biệt về kích thước. Bản phát hành BF16 được tạo ra để được nạp bởi một framework huấn luyện theo bất kỳ cách bố trí song song nào bạn có; bản phát hành 24GB được tạo ra để được nạp bởi một GPU, hoặc bởi llama.cpp trên một máy, và số lượng mảnh phản ánh công việc khác nhau.

Ba gigabyte trong mức chênh lệch 24GB là điều đáng để hiểu trước khi bạn lập kế hoạch lưu trữ. Bộ chiếu thị giác là một tệp riêng trong bản dựng GGUF vì đó là cách llama.cpp xử lý đầu vào đa phương thức, và bất kỳ ai chỉ tải các trọng số rồi tự hỏi tại sao hình ảnh không hoạt động là đã bỏ qua nó. Trong bản dựng safetensors, tháp thị giác nằm bên trong các shard và tổng dung lượng vượt qua mốc 24GB.

Chi phí lượng tử hóa là bao nhiêu, theo chính số liệu của NVIDIA

Thẻ BF16 công bố cả hai cột cạnh nhau, một sự cởi mở bất thường: cùng một bảng benchmark chứa các số liệu IQ2 24GB và số liệu BF16 cho cùng mười ba đánh giá. Do nhà cung cấp báo cáo, chưa được tái lập, và vẫn là bằng chứng trực tiếp nhất hiện có về việc hai bit cho mỗi expert tốn kém đến mức nào.

• Terminal-Bench 2.1 — 50.98 ở IQ2 so với 53.93 ở BF16, mức giảm 2.95 điểm.

• BrowseComp — 66,75 so với 70,00, mức giảm 3,25.

• GPQA Diamond — 86,43 so với 88,83, mức giảm 2,40.

• Suy luận ngữ cảnh dài AA-LCR — 64.06 so với 67.38, giảm 3.32.

• HLE không dùng công cụ — 25.30 so với 28.73, mức giảm 3.43.

• Độ chính xác AA-Omniscience — 16,90 so với 21,80, mức giảm 4,90, lớn nhất trong bảng.

• PinchBench — 87.82 so với 90.35, mức giảm 2.53.

• GDPVal-AA-V2 — 28,47 so với 31,13, mức giảm 2,66.

Hai hàng phá vỡ quy luật, và chúng mới là những hàng đáng chú ý. Trên chỉ số không ảo giác của AA-Omniscience, mô hình lượng tử hoá đạt điểm cao hơn, 61,27 so với 56,14 — việc nén các chuyên gia khiến mô hình ít có khả năng trả lời một cách tự tin khi nó không biết, đây là kiểu phát hiện khiến một bảng số liệu đáng được công bố đầy đủ. Trên WebArena vision, hai mô hình ngang bằng nhau, 50,86 so với 50,25, cho thấy đường xử lý thị giác vẫn còn nguyên vẹn gần như hoàn toàn sau quá trình nén, và việc huấn luyện lại bộ chuyển đổi thị giác được mô tả trong thẻ mô hình có lẽ chính là lý do.

Đọc cùng nhau: mức thuế hai đến năm điểm trên hầu hết các hàng năng lực, gần bằng không ở visual grounding, và một cải thiện trên một chỉ số hiệu chuẩn. Đó là một kết quả thuận lợi cho tỉ lệ nén sáu trên một, và đó vẫn là một mức thuế bạn nên tính đến thay vì gạt phắt đi.

Cái nào bạn thực sự có thể phục vụ?

Artifact 24GB có một câu chuyện về runtime, còn bản BF16 có một câu chuyện về training, và chúng không phải là cùng một câu chuyện với một cờ khác.

GGUF 24GB được liệt kê cho llama.cpp, còn NVIDIA hướng cùng mô hình đó tới Ollama, LM Studio và Unsloth. Đường đi vLLM khắt khe hơn vẻ ngoài của nó: công thức tham chiếu ghim một container nightly theo commit hash, yêu cầu một gói kernel riêng được tải về lúc chạy, chỉ định rõ model runner v2, đặt tên b12x cho các backend linear và MoE cùng FlashInfer cho attention và Mamba, ghim KV cache ở fp8, và đặt max-num-seqs 1. Cờ cuối cùng đó chính là thứ đáng để ý — cấu hình phục vụ được công bố chỉ có một chuỗi đồng thời duy nhất, tức là một cấu hình mang dáng dấp laptop, chứ không phải dáng dấp của một hệ thống phục vụ.

Mô hình soạn nháp là bản tải xuống thứ ba. LiLiCorr là một checkpoint đi kèm 1.13B mà thẻ của nó nói rõ rằng nó không phải là một mô hình ngôn ngữ độc lập, rằng nó đề xuất các token nháp và mô hình đích 24GB xác minh chúng, và rằng mô hình đích tạo ra văn bản hiển thị. Con số 83.99 token/giây mà N​VIDIA báo cáo trên AIPerf SPEED-Bench-Coding giả định rằng nó được gắn kèm, với bảy token được soạn nháp mỗi bước và độ dài chấp nhận trung bình là 4.68 khi giải mã tham lam và 4.25 khi lấy mẫu ở mức đồng thời 64.

Bài toán phục vụ checkpoint BF16 là vấn đề bạn phải giải quyết. Nó cần lượng bộ nhớ gấp khoảng sáu lần bản dựng đã lượng tử hóa trước cả KV cache, điều này khiến một accelerator 80GB đơn lẻ nằm ngoài tầm với và biến multi-GPU hoặc multi-node thành giả định mặc định. Đó là sự đánh đổi đúng cho post-training và là sự đánh đổi sai cho inference, chính xác như những gì card nói.

Quyết định, được trình bày một cách rõ ràng

Nếu hôm nay bạn muốn chạy một agent trên phần cứng do mình sở hữu, hãy tải bản dựng 24GB, chấp nhận mức thuế hai đến năm điểm, và dự trù ngân sách cho cả drafter lẫn projector cũng như các trọng số.

Nếu bạn muốn thay đổi mô hình — tinh chỉnh trên dữ liệu của riêng bạn, chưng cất nó thành một thứ nhỏ hơn, hoặc nén nó theo cách khác cho phần cứng mà N​VIDIA không tối ưu hóa cho — hãy tải bản dựng BF16 và coi bản phát hành 24GB như tài liệu về một kết quả khả dĩ.

Trường hợp trung gian thú vị là trường hợp mà thẻ BF16 mời gọi một cách rõ ràng: tạo ra biến thể lượng tử hóa của riêng bạn. Ai đó có một bộ tăng tốc khác, hoặc ưa thích trọng số bốn bit, hoặc có khối lượng công việc cần mức đồng thời cao hơn mức mà công thức tham chiếu cho phép, có thể lấy các trọng số độ chính xác đầy đủ và tạo ra tạo tác mà NVIDIA đã không tạo ra. Khi đó, thuế lượng tử hóa ở trên chính là con số cần đánh bại, và nó giờ đây là một mục tiêu đã được công bố thay vì một điều bí ẩn.

Vị trí của gateway trong một ngăn xếp cục bộ

Không checkpoint nào trong hai checkpoint này được host ở bất kỳ đâu, kể cả bởi chúng tôi — danh mục OrcaRouter không có mô hình N​emotron nào, nên không có endpoint và cũng không có giá để báo cho cả hai. Suy luận cục bộ cũng xét cho cùng chỉ là một nửa của kiến trúc agent: cỗ máy chạy Bolt vẫn cần tiếp cận những mô hình mà nó không thể tải xuống, dù đó là một mô hình tiên tiến cho các trường hợp khó, một mô hình thị giác cho việc gì đó mà Bolt xử lý kém, hay một ý kiến thứ hai về một quyết định quan trọng.

Đó là lớp mà chúng tôi vận hành. Một khóa dùng cho hơn 200 mô hình được lưu trữ theo giá niêm yết của nhà cung cấp, với không cộng thêm chênh lệch giá; tự động chuyển đổi dự phòng khi một nhà cung cấp suy giảm giữa chừng yêu cầu; một DSL định tuyến biến “thử Bolt cục bộ, chuyển lên một mô hình được lưu trữ khi tác vụ vượt quá khả năng của nó” thành cấu hình thay vì mã. Nửa 24GB của ngăn xếp do phần cứng của bạn và mức độ chấp nhận của bạn với một container chạy hằng đêm quyết định. Nửa còn lại ở phía bên kia của việc chuyển lên do người giữ khóa quyết định.

Điều gì sẽ thay đổi bức tranh này

Hai điều, và cả hai đều có thể đoán trước được.

Thứ nhất là một bản dựng bốn bit hoặc FP4 của Bolt từ NVIDIA hoặc từ cộng đồng, xét việc dòng mô hình gốc đã phát hành sẵn các checkpoint NVFP4 và bản phát hành BF16 tồn tại chính xác là để có thể tạo ra những biến thể như vậy. Một Bolt bốn bit khôi phục được một nửa khoảng cách nêu trên trong khi vẫn vừa vặn trong giới hạn 24GB sẽ khiến lập luận về thuế lượng tử hóa trở nên ít hấp dẫn hơn đáng kể.

Thứ hai là bất kỳ đánh giá độc lập nào đối với một trong hai sản phẩm. Ban đánh giá Artificial Analysis đã đo mô hình 24GB đạt 21 trên Intelligence Index của họ mà không công bố tốc độ lẫn chi phí, vì không có gì để đối chiếu giá. Chưa ai công bố một lần chạy có thể tái lập của checkpoint BF16 cả, điều này không có gì đáng ngạc nhiên với một bản tải xuống 150GB dành cho huấn luyện. Cho đến khi có ai đó làm được, khoảng cách giữa hai cột ở trên chỉ là lời tự thuật của nhà cung cấp về thuật nén của chính họ, và cách đọc trung thực là coi nó như một tuyên bố tình cờ được hình dạng của bằng chứng hậu thuẫn tốt một cách bất thường.

Một kết quả như thế này cũng là lời nhắc rằng những sai sót của mô hình đã được ghi nhận: các sự cố AI và lỗi tác nhân đằng sau các mô hình thuộc lớp này được thu thập trong OrcaRouter AI Incident Archive, nơi mỗi mục đều có nguồn, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp riêng.