Nemotron 3.5 Bolt 74B so với Gemma 4 26B A4B: Tám điểm chỉ số và sự không khớp độ rộng bit

Đã có sẵn một cuộc đối đầu trực tiếp giữa N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB và G​oogle Gemma 4 26B A4B, và N​VIDIA đã công bố nó. Nó nằm trong bảng đánh giá trên model card của Bolt, nơi cột Gemma là một baseline mà công ty đã chọn. Đọc kỹ bảng đó là cách nhanh nhất để hiểu hai mô hình này thực sự là gì, bởi vì hai checkpoint không cạnh tranh cho cùng một công việc, và cách nhà cung cấp tự định khung cũng nói thẳng ra điều đó: các mô hình so sánh được chọn vì khả năng vừa vặn trong 24GB bộ nhớ với lượng tử hóa 4-bit. Bolt vừa vặn trong 24GB bằng một con đường khác — 2.0625 bit trên mỗi trọng số ở các lớp expert của nó — và khoảng cách giữa hai chiến lược đó chính là toàn bộ câu chuyện.

Cả hai con số trong tiêu đề đều là thật. Artificial Analysis đã đo Bolt ở mức 21 trên Intelligence Index của mình và Gemma 4 26B A4B, trong cấu hình suy luận, ở mức 17. Không con số nào đến từ nhà cung cấp và cả hai đều đang hiển thị trên các trang mô hình của bảng đánh giá vào thời điểm bài viết này được viết.

Phép so sánh N​VIDIA đã chạy, và cột mà nó đã chọn

Bảng của N​VIDIA dành cho Bolt có bốn cột: Qwen3.6-35B-A3B ở BF16, G​emma 4 26B-A4B ở BF16, N​emotron 3.5 Lightning 30B-A3B ở BF16, và Bolt ở IQ2. Mọi con số trong đó đều do nhà cung cấp tự báo cáo và chưa được bất kỳ ai độc lập tái tạo. Dưới đây là cột G​emma đối chiếu với cột của Bolt, theo từng benchmark.

• GDPVal-AA-V2 — Gemma 15.33, Bolt 28.47

• Terminal-Bench 2.1 — G​emma 37.22, Bolt 50.98

• Tau3 Banking — G​emma 14.02, Bolt 17.01

• HLE không có công cụ — G​emma 17.42, Bolt 25.30

• SciCode — Gemma 40.28, Bolt 41.02

• GPQA Diamond — G​emma 79.61, Bolt 86.43

• AA-LCR truy xuất ngữ cảnh dài — Gemma 57.56, Bolt 64.06

• PinchBench — Gemma 74.70, Bolt 87.82

• WebArena vision — Gemma 38.2, Bolt 50.86

• Độ chính xác AA-Omniscience — G​emma 22.17, Bolt 16.90. G​emma thắng ở hàng này, và đây là hàng duy nhất trên bảng mà nó thắng.

• AA-Omniscience không ảo giác — Gemma 14,22, Bolt 61,27. Đây là một tổn thất lớn và cụ thể đối với dòng Gemma, và đáng để dừng lại suy ngẫm: chỉ số không ảo giác Omniscience trừ điểm một mô hình trả lời đầy tự tin khi nó không biết điều gì đó, và bản dựng Gemma được ghi nhận ở đây đạt khoảng một phần tư con số của Bolt.

Một điều cần lưu ý áp dụng cho toàn bộ phần này. NVIDIA đã chạy tất cả, bao gồm cả cột Gemma, trên bản dựng BF16 của Gemma so với bản dựng 2-bit của mô hình do chính mình tạo, rồi báo cáo kết quả trên model card của chính mình.

Hai điểm kiểm tra, hai chế độ nén

Gemma 4 26B A4B là một sản phẩm đã ra mắt và đã có một năm sử dụng đằng sau nó. Nó xuất hiện trên Hugging Face vào ngày 11 tháng 3 năm 2026 theo giấy phép Apache 2.0, với tổng cộng 25,2 tỷ tham số và 3,8 tỷ tham số hoạt động trên mỗi token, cùng một chồng attention lai xen kẽ các lớp cửa sổ trượt cục bộ với các lớp toàn cục, ngữ cảnh 256K, hỗ trợ system prompt gốc và khả năng thị giác trên mọi kích cỡ trong dòng sản phẩm. Đây là một mô hình mà bạn có thể chọn lấy, tự lượng tử hóa xuống 4 bit và chạy, và một hệ sinh thái lớn gồm các bản lượng tử hóa có sẵn đã tồn tại.

Bolt là một kết quả nén khoác lên mình tấm thẻ mô hình. NVIDIA đã lấy Nemotron 3.5 Super VL 120B-A12B — một checkpoint đa phương thức cùng thế hệ — và chạy Star Elastic trên đó, một kiểu tìm kiếm kiến trúc do router dẫn dắt, buộc phải thỏa mãn một ngân sách triển khai khắt khe, trong trường hợp này là dưới 24GB ở batch size 1 và ngữ cảnh 128K. Expert top-K giảm từ 22 ở mô hình cha xuống 9. Các trọng số expert sau đó được lượng tử hóa thành IQ2-XXS ở mức 2,0625 bit mỗi phần tử cùng chưng cất nhận biết lượng tử hóa để giành lại độ chính xác, các lớp Mamba được giữ ở NVFP4, embedding và lớp đầu ra ở Q8_0, còn tháp thị giác được gắn lại sau đó.

Kết quả là 74 tỷ tham số trong một tệp 24GB. Đó không phải là lượng tử hóa của một mô hình đã phát hành; đó là một mạng có hình dạng khác được tìm kiếm dưới ràng buộc bộ nhớ rồi được huấn luyện để phục hồi.

Tại sao độ rộng bit lại quan trọng hơn các tham số

Đặt hai mô hình cạnh nhau và cách hiểu trực quan là một mô hình 74B đánh bại một mô hình 26B. Cách hiểu đó có lẽ đúng trong trường hợp này, và nó cũng không phải là phần thú vị, bởi vì hai mô hình đang được yêu cầu làm những việc khác nhau với cùng 24GB.

• Tham số — Bolt tổng cộng 74B, 9B hoạt động trên mỗi token. Gemma 4 26B A4B: tổng cộng 25,2B, 3,8B hoạt động trên mỗi token.

• Kiến trúc — Bolt: LatentMoE lai Mamba-2–Transformer với bộ mã hóa thị giác C-RADIO v4-H. G​emma: MoE lai với attention cục bộ/toàn cục, có tháp thị giác và, ở các kích thước khác trong dòng, âm thanh.

• Độ chính xác lưu trữ — Bolt hỗ trợ sẵn ở mức 2.0625 bit cho mỗi trọng số chuyên gia. Kho lưu trữ của G​emma là 16-bit, với các bản dựng 4-bit và huấn luyện nhận biết lượng tử hóa được phát hành riêng.

• Bối cảnh — Bolt hỗ trợ tối đa 256.000 token. Gemma 4 26B A4B: 256.000 token. Dòng này hòa nhau, điều khiến những người cho rằng mô hình 2-bit đã đánh đổi thứ gì đó ở đây phải bất ngờ. Nhưng không phải vậy.

• Đầu vào — Bolt chấp nhận văn bản, hình ảnh và video. Gemma 4 26B A4B chấp nhận văn bản và hình ảnh; video được đưa vào dưới dạng các khung hình, còn âm thanh chỉ được hỗ trợ ở các thành viên nhỏ hơn trong cùng dòng.

• Giấy phép — Bolt: OpenMDW-1.1. Gemma 4 26B A4B: Apache 2.0, cùng với chính sách cấm sử dụng của Google đi kèm song song.

• Giải mã suy đoán — Bolt cung cấp một drafter LiLiCorr, được nối qua DFlash với bảy token suy đoán trong công thức tham chiếu của NVIDIA. Gemma 4 26B A4B không có drafter do nhà cung cấp cung cấp; dự đoán đa token xuất hiện trong các bản fine-tune cộng đồng chứ không phải trong bản phát hành cơ sở.

Hệ quả thực tiễn của dòng độ chính xác là bản tải xuống của Bolt vốn đã là bản nhỏ rồi. Không còn bản dựng 2-bit nào khác để tìm nữa, vì bản dựng 2-bit chính là mô hình. Gemma 26B là một checkpoint 16-bit mà bạn được kỳ vọng sẽ nén, còn phiên bản 4-bit mà hầu hết mọi người thực sự sẽ phục vụ là bản chuyển đổi của ai đó từ nó.

Khi mẫu nhỏ hơn là lựa chọn đáng mua hơn

Bảng của chính NVIDIA cho Gemma hai điều đáng để xem xét nghiêm túc. Độ chính xác AA-Omniscience nghiêng về Gemma với 22,17 so với 16,90, và cách hiểu trung thực về điều đó là việc nén 2-bit đã gây ra tổn thất có thể đo lường được đối với khả năng hồi tưởng dữ kiện ngay cả sau khi chưng cất. Bất kỳ ai có khối lượng công việc mang tính bách khoa thay vì mang tính tác nhân nên đặc biệt coi trọng hàng đó.

Cấp phép là yếu tố thứ hai. Apache 2.0 là lựa chọn ít bị ràng buộc nhất hiện có cho triển khai thương mại, còn OpenMDW-1.1, dù được soạn theo hướng cấp phép thông thoáng và được NVIDIA chính thức cho phép dùng cho mục đích thương mại, lại là một văn kiện mới hơn với ít tài liệu tham khảo xung quanh và chưa có phán quyết tòa án nào giải thích nó. Các nhóm pháp lý đã từng thấy một trong hai thứ này trước đây, còn thứ kia thì chưa.

Thứ ba là độ trưởng thành. Gemma 4 26B A4B đã có thể tải xuống từ tháng Ba và có thể gọi từ một endpoint được lưu trữ từ mùa xuân. Các bản dựng đã lượng tử hóa, các bản tinh chỉnh, công thức phục vụ và bản tái lập benchmark đều đã tồn tại. Kho lưu trữ của Bolt đã được đưa lên vào tháng Mười. Chưa có công bố độc lập nào về độ trễ của nó, và không có bản lượng tử hóa cộng đồng nào để dựa vào vì không có gì để lượng tử hóa.

Thứ tư, và dễ bị bỏ sót: các mô hình anh em 21B trở xuống của Gemma hỗ trợ âm thanh native. Nếu pipeline có liên quan đến giọng nói, thì 26B A4B là thành viên không phù hợp trong chính gia đình của nó, và không có mô hình Nemotron nào là lựa chọn đúng.

Chi phí thực sự để giữ từng thứ một

Bolt không có giá, và đây không phải là sự sơ suất trong dữ liệu. Không có endpoint được host nào cho nó ở bất kỳ đâu, không có mức phí theo lưu lượng trên trang mô hình của Artificial Analysis dành cho nó, và không có nhà cung cấp nào phục vụ nó. Chạy nó đồng nghĩa với việc sở hữu máy, và công thức tham chiếu của N​VIDIA là một cuối tuần chứ không phải một buổi chiều: một image vLLM nightly được ghim, gói kernel b12x, một plugin trình phân tích lý luận được tải về dưới dạng tệp riêng, sau đó là các thiết lập tường minh cho trình chạy mô hình v2, các backend tuyến tính và MoE, các backend attention và Mamba, các kiểu dữ liệu bộ nhớ đệm Mamba, chunked prefill và cấu hình giải mã suy đoán trỏ tới drafter LiLiCorr.

Gemma 4 26B A4B có giá ở hai nơi. Trong danh mục mà chúng tôi định tuyến, google/gemma-4-26b-a4b-it được niêm yết ở mức $0.06 cho mỗi triệu token đầu vào và $0.33 cho mỗi triệu token đầu ra, với ngữ cảnh 262.144 token, thời gian đến token đầu tiên p50 khoảng 2,8 giây — đó là số liệu do chính chúng tôi đo được trong bảy ngày qua, không phải tuyên bố của nhà cung cấp. Artificial Analysis theo dõi một tập hợp nhà cung cấp khác cho cùng mô hình và niêm yết $0.10 đầu vào và $0.40 đầu ra, đúng kiểu chênh lệch cho bạn thấy rằng giá là thuộc tính của endpoint chứ không phải của trọng số. Cả hai con số đều trung thực; chúng là giá của những thứ khác nhau.

OrcaRouter đặt những mô hình mà chúng tôi thực sự định tuyến phía sau một khóa duy nhất với đúng giá niêm yết của nhà cung cấp, mức markup cộng thêm là 0 phần trăm, nên khi nhà cung cấp cắt giảm giá một mô hình đã được định tuyến thì bên chúng tôi áp dụng ngay trong cùng ngày, và việc tự động chuyển đổi dự phòng giữa các nhà cung cấp nghĩa là vấn đề về năng lực ở phía thượng nguồn sẽ được thử lại thay vì hiển thị cho người dùng của bạn. Chúng tôi không lưu trữ bất kỳ checkpoint N​emotron nào — danh mục đã được kiểm tra chứ không phải chỉ giả định, và dòng mô hình này không có trong đó — nên trên trang này, những đảm bảo đó chỉ bao phủ nửa G​emma của phần so sánh và không bao gồm gì khác. Giá trị thực tế của chúng là một cách để thử mô hình nhỏ hơn trên lưu lượng thật mà không cần thêm hợp đồng thứ hai, trong khi bạn quyết định liệu mô hình lớn hơn có xứng đáng với phần cứng hay không.

Chọn giữa một tệp và một dịch vụ

Sự so sánh này không hề sát nhau về năng lực và vốn dĩ cũng không nhằm như vậy. Bolt là một mô hình lớn hơn, có năng lực mạnh hơn, đã bị nén khá mạnh và không thể được thuê. Gemma 4 26B A4B là một mô hình yếu hơn một chút mà bạn có thể thuê ngay hôm nay, và những điểm yếu của nó được ghi lại bởi những người không có lợi ích nào liên quan đến nó.

Chọn Bolt nếu khối lượng công việc liên quan đến ảnh chụp màn hình, PDF, khung hình video hoặc trình duyệt, nếu nó phải chạy mà không có mạng, và nếu đã có sẵn một cỗ máy với bộ tăng tốc cấp Blackwell trong phòng. Hãy chấp nhận rằng bạn chính là người sẽ khám phá thông lượng của nó, vì chưa ai công bố thông số đó. Chọn Gemma 4 26B A4B nếu bạn muốn một mô hình văn bản-và-hình ảnh mà bạn có thể trả phí theo từng triệu token ngay chiều nay, nếu bạn cần Apache 2.0, hoặc nếu khả năng truy hồi dữ kiện trên một tập câu hỏi rộng quan trọng hơn việc hoàn thành tác vụ tự chủ.

Phép đo có thể giải quyết điều này là phép đo mà chưa ai thực hiện: một lần chạy độc lập đo thông lượng và độ trễ trên checkpoint 24GB, và một lần chạy lại độc lập bảng của NVIDIA với Gemma được lượng tử hóa về cùng 4 bit mà nhà cung cấp nói họ đã chọn. Chừng nào những phép đo đó chưa tồn tại, lập luận ủng hộ Bolt chỉ dựa vào bảng của nhà cung cấp và số lượng tham số, còn lập luận ủng hộ Gemma dựa vào một năm kết quả của người khác.

Những so sánh như thế này cũng là nơi các kiểu thất bại lộ diện: các sự cố AI và lỗi agent được ghi nhận đằng sau các mô hình thuộc lớp này được tập hợp trong Kho lưu trữ Sự cố AI OrcaRouter, trong đó mỗi mục đều có nguồn riêng, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp.