Granite Switch 4.1 30B vs Nemotron 3.5 Lightning 30B A3B: Ý nghĩa của "Switch" trong mỗi tên gọi

Cả hai mô hình này đều cỡ 30B, cả hai đều có một từ trong tên nghe như thể nói về định tuyến, vậy mà chúng làm những việc hoàn toàn khác nhau với nó. Granite Switch 4.1 30B — trọng số đã có trên Hub từ ngày 14 tháng 10 năm 2026 — chuyển đổi adapter: một mô hình nền dense, hai phần gắn LoRA được kích hoạt, mọi token đều chạy qua toàn bộ mạng. Nemotron 3.5 Lightning 30B A3B, được NVIDIA công bố vào ngày 11 tháng 8 năm 2026, thì chuyển đổi chuyên gia: một ngăn xếp lai Mamba-2 và MoE, nơi chỉ khoảng 3 tỷ trong số 30 tỷ tham số được kích hoạt cho mỗi token. Chưa có ai đánh giá chuẩn hai mô hình này đối đầu với nhau, và bài viết này cũng sẽ không giả vờ rằng có. Phép so sánh thực sự hữu ích là mỗi thiết kế tốn của bạn bao nhiêu chi phí cho mỗi token và mang lại những gì.

Việc phân biệt cho đúng không phải là chuyện câu nệ vụn vặt, bởi vì những cái tên ấy gợi ra đúng cái suy luận sai lầm. "Switch" trong Granite Switch ám chỉ một lớp chuyển mạch nhẹ đọc các token điều khiển trong đầu vào và cho từng lớp giải mã biết nên áp dụng trọng số LoRA nào trên đoạn token đó. Nó không phải là định tuyến mixture-of-experts và nó không giảm khối lượng tính toán cho mỗi token dù chỉ một FLOP. "A3B" trong tên của NVIDIA thì ngược lại: đó là một tuyên bố rõ ràng về việc mô hình chỉ chạy ít đến mức nào tại thời điểm suy luận.

Bảng điểm, phân tích theo từng khía cạnh

• Tham số — Granite Switch 4.1 30B cấu thành 29,989,814,272 trên nền 28,865,728,512 (+3.89%); Nemotron 3.5 Lightning 30B A3B có tổng cộng 30B với khoảng 3B hoạt động trên mỗi token.

• Kiến trúc — transformer chỉ-giải-mã dày đặc cùng hai adapter LoRA được kích hoạt, so với dạng lai xen kẽ Mamba-2, MoE và attention.

• Tính toán trên mỗi token — lượt truyền xuôi dense 30B đầy đủ so với chỉ khoảng một phần mười lượng đó ở các tham số hoạt động, và đó chính là toàn bộ ý nghĩa của hậu tố A3B.

• Ngữ cảnh — 131.072 token trên checkpoint Switch; lên tới 1M trên Nemotron Lightning, với NVIDIA ghi nhận 256K là con số thực tế trên một chiếc H100.

• Chế độ suy luận — không có trong mẫu chat của Switch; một tùy chọn bật/tắt enable_thinking có thể cấu hình trong mẫu của Nemotron.

• Đầu vào âm thanh — một bộ mã hóa giọng nói 470M được nhúng trên mẫu Switch; không có ở phía NVIDIA.

• Giấy phép — Apache-2.0 so với OpenMDW-1.1. Đây không phải là cùng một tài liệu và các điều khoản hạ nguồn khác nhau; hãy đọc bản mà bạn thực sự đang phát hành theo.

• Phần cứng — bảng Switch liệt kê Transformers và vLLM trong một khoảng phiên bản hẹp; NVIDIA ghi nhận Nemotron Lightning trên một H100 hoặc A100 80GB duy nhất, cùng bản dựng NVFP4 dành cho triển khai.

Granite Switch checkpoint thực sự mang lại cho bạn điều gì

Sự kết hợp chính là sản phẩm. Granite Switch 4.1 30B đóng băng Granite 4.1 30B và gắn thêm hai adapter — một bộ phân loại an toàn guardian-core hạng 16 trên các phép chiếu attention và một adapter decision hạng 64 trên cả bảy phép chiếu — cùng với bộ mã hóa giọng nói. Việc chọn adapter diễn ra thông qua chat template khi bạn truyền một adapter_name, vì vậy đó là một tham số của yêu cầu, chứ không phải một dịch vụ thứ hai.

Điều đó mang lại là mật độ năng lực: một phán quyết an toàn, một phân phối lựa chọn đã hiệu chỉnh và một bản ghi từ một quy trình duy nhất, với 1,12 tỷ tham số tăng thêm chồng lên một mô hình nền mà dù sao bạn cũng sẽ tải. Sáu tháng trước, cùng dự án đó đã phát hành một checkpoint xem trước với mười hai bộ điều hợp ở mức tăng thêm 11,68%; phiên bản hoàn thiện đã giảm xuống còn hai ở mức 3,89%, tức là IBM đang đánh đổi độ bao phủ lấy tính dễ hiểu. Mười bộ điều hợp còn lại vẫn tồn tại và composer sẽ tạo cho bạn một checkpoint với bất kỳ tập con nào.

Các chi phí nằm đúng ở nơi bạn sẽ mong đợi. Không có gì về bộ máy adapter khiến mô hình cơ sở nhanh hơn, bởi vì mô hình cơ sở dày đặc và không bị thay đổi — mọi token vẫn chạy toàn bộ mạng. Đường xử lý giọng nói chỉ dành cho tiếng Anh, chữ thường, không dấu câu và, theo chính lời IBM, không được huấn luyện chung với mô hình ngôn ngữ, nên một lỗi phiên âm có thể âm thầm thay đổi câu hỏi mà mô hình trả lời. Và checkpoint được phát hành ở một độ chính xác duy nhất, không có bản lượng tử hóa chính thức, so với một mô hình NVIDIA mà biến thể NVFP4 được khuyến nghị triển khai đã có trên Hub từ đầu tháng Tám.

Những con số Nemotron thực sự đang đo lường điều gì

Bảng benchmark của NVIDIA cho Nemotron 3.5 Lightning 30B A3B đầy đủ hơn bảng của IBM dành cho mô hình Switch, và đáng để đọc phần chú thích cuối gắn với nó. Các con số — MMLU-Pro 81.94, GPQA Diamond 75.44, SWE-bench Verified 51.56, Terminal-Bench 2.1 24.58, PinchBench 85.37, AA-LCR 52.00 trên ngữ cảnh dài — được NVIDIA mô tả là đo dưới harness nhất quán của riêng họ, kèm lưu ý rằng chúng có thể khác với số liệu do các nhà cung cấp khác tự báo cáo. Đó là cách trình bày trung thực hơn hầu hết các model card, và nó vẫn khiến chúng là số liệu do nhà cung cấp tự báo cáo. NVIDIA đã công bố các recipe trong NeMo Gym để người khác có thể tái lập các lần chạy, điều đó không đồng nghĩa với việc người khác đã tái lập được chúng.

Tuyên bố thú vị hơn là tuyên bố về tốc độ chứ không phải độ chính xác. Một mô hình 30B với 3B tham số hoạt động là một canh bạc rằng hầu hết công việc agentic không cần toàn bộ mạng phải kích hoạt ở mọi token, và NVIDIA đã tung ra giải mã suy đoán song hành cùng nó — các đầu dự đoán đa token cùng với các mô hình nháp DFlash và DSpark — để đẩy thông lượng xa hơn. Nó cũng định vị Lightning như một lớp thực thi bên dưới một bộ lập kế hoạch lớn hơn thay vì là mô hình bạn hỏi những câu khó. Định vị đó là của NVIDIA, và đó cũng là lăng kính đúng cho bảng benchmark: hiệu quả ở cấp độ token là thứ xuất hiện trên hóa đơn.

Cái bẫy khi đặt hai bảng tỷ số này cạnh nhau

Có một con số được công bố cho năng lực chủ đạo của mô hình Switch — Decision Index, phiên bản v0.3, tập con nhanh công khai gồm 1.068 dòng, Tổng thể 50.1, với Kiến thức 32.4, Ngôn ngữ 58.6, Truy xuất 49.8, Công cụ 76.5 và Nghệ thuật 26.4 — và có một bảng đánh giá đầy đủ cho Nemotron Lightning. Đặt 50.1 bên cạnh 81.94 hay 51.56 sẽ là một lỗi phạm trù thuần túy nhất.

Chỉ số Decision Index chấm điểm mức độ mà bộ điều hợp quyết định xếp hạng một tập hợp cố định các lựa chọn đã được gán nhãn. Đây không phải là thước đo chất lượng trò chuyện hay suy luận của mô hình nền, và mô hình nền không bị bộ điều hợp sửa đổi. Bảng của Nemotron chấm điểm toàn bộ mô hình về kiến thức, suy luận, lập trình và ngữ cảnh dài. Các trục khác nhau, các khung đánh giá khác nhau, các tác giả khác nhau, và không có benchmark chung nào giữa chúng. Cả hai đều do nhà cung cấp báo cáo. Không cái nào có thể so sánh với cái kia, và điều trung thực duy nhất có thể làm với cặp này là từ chối trừ chúng đi.

Điều bạn có thể làm một cách chính đáng là đọc hình dạng của từng cái. Chỉ số Decision Index đạt 76,5 ở Tools so với 26,4 ở Arts cho thấy bộ điều hợp này đáng để hướng vào các quyết định chọn công cụ và không nên được tin cậy khi phân loại miền mở nếu không có đánh giá của riêng bạn. Nemotron đạt 51,56 trên SWE-bench Verified so với mức tốt nhất 70,12 trong cùng bảng cho bạn biết nó không phải là agent lập trình mạnh nhất trong bộ so sánh của chính nó — NVIDIA đã đưa số điểm cao hơn của một đối thủ vào bảng của mình, điều này ít nhất là một tín hiệu đáng được tôn trọng.

Cái nào, để làm gì

Nếu vấn đề của bạn là một vòng lặp agent dài chạy hàng nghìn quyết định công cụ ngắn, thì bài toán kinh tế tham số chỉ ra một hướng: một MoE kích hoạt 3B trên một GPU duy nhất sẽ làm công việc đó với chi phí mỗi token chỉ bằng một phần nhỏ so với một mô hình dense 30B, và mô hình Switch không có cơ chế nào để thu hẹp khoảng cách đó, bởi vì "switch" của nó không bao giờ giảm bớt khối lượng tính toán. Thêm ngữ cảnh 1M và nút bật/tắt suy luận, và mô hình của NVIDIA đơn giản là được xây dựng cho khối lượng công việc đó.

Nếu vấn đề của bạn là một tiến trình phải trả lời người dùng, đưa ra một quyết định định tuyến đã hiệu chỉnh và chép lại điều người dùng đã nói, thì phép tính sẽ đảo ngược. Nemotron 3.5 Lightning không có đầu quyết định và cũng chẳng có đường âm thanh nào, và việc nhắc một mô hình chat hãy vui lòng trả lời bằng một chữ cái không phải là một phân phối đã hiệu chỉnh. Granite Switch 4.1 30B trao cho bạn cả ba thứ từ một checkpoint với chưa đến 4% trọng số tăng thêm so với bản nền của nó, và đó là một năng lực mà bạn không thể mua được bằng cách chọn một mô hình tốt hơn.

Trường hợp thứ ba trung thực là trường hợp phổ biến nhất: bạn hoàn toàn không chọn giữa những thứ này. Cả hai đều là artifact tự vận hành, cả hai đều là Apache-2.0 hoặc OpenMDW-1.1 chứ không phải endpoint được lưu trữ, và cả hai đều chưa được đánh giá độc lập. Granite Switch 4.1 30B mới ra đời được hai ngày với chỉ một con số được công bố; Nemotron 3.5 Lightning đã ra đời được hai tháng với một bảng của nhà cung cấp và các công thức đã công bố. Chừng đó chưa đủ để lập kế hoạch cho một cuộc di chuyển dựa vào.

Nhận được câu trả lời thực sự mà không cần migration

Cả hai mô hình hiện đều không có trong danh mục OrcaRouter, vì vậy cả hai đều đồng nghĩa với việc bạn phải dùng phần cứng của riêng mình và các kênh phát hành của chính nhà cung cấp — của IBM dành cho Switch checkpoint, của NVIDIA dành cho Lightning. Nói khác đi sẽ là bịa ra một endpoint.

Điểm giúp nền tảng này khẳng định được vị trí của mình là ở chỗ một ứng viên phải rẻ để thử nghiệm. Một khóa duy nhất bao phủ hơn 200 mô hình với cơ chế tự động chuyển đổi dự phòng và chuyển tiếp đúng giá niêm yết của nhà cung cấp với mức chênh lệ 0%, nên khi có một tuyến hosted tới một trong hai mô hình, việc đặt nó bên cạnh mô hình đang vận hành thực tế chỉ là một thay đổi cấu hình chứ không phải một chu kỳ mua sắm. Đứng trước hai mô hình trọng số mở 30B mà cả hai đều trông hợp lý trên giấy và không ai ngoài nhà cung cấp tương ứng từng đo lường, quyết định thực sự quan trọng không phải là bạn tin vào lá bài nào. Mà là bạn có thể tìm ra điều đó rẻ đến mức nào.

Điểm mấu chốt

Granite Switch 4.1 30B và Nemotron 3.5 Lightning 30B A3B có cùng số lượng tham số và hầu như không chia sẻ gì khác. Một bên là mô hình nền dense với các adapter có thể chuyển đổi, cho bạn ba công việc mỗi tiến trình với mức tính toán dense đầy đủ trên mỗi token; bên còn lại là một mô hình hybrid thưa được xây dựng để làm cho mỗi token tốn ít chi phí nhất có thể và để chạy một vòng lặp dài trên một GPU duy nhất. Hãy chọn dựa trên hình dạng của khối lượng công việc, không phải dựa trên bảng benchmark — và nếu bạn chỉ rút ra một điều từ bài này, hãy nhớ lấy sự đính chính trong tên gọi: chuyển đổi adapter đem lại cho bạn năng lực, độ thưa expert đem lại cho bạn thông lượng, và không mô hình nào ở đây đem lại cho bạn cả hai.