Granite 4.2 30B vs Nemotron 3.5 Lightning: người suy nghĩ và người hành động

Granite 4.2 30B và Nemotron 3.5 Lightning là hai mô hình trọng số mở 30B được phát hành cách nhau mười bốn ngày với các vai trò gần như trái ngược nhau. Nemotron 3.5 Lightning, do NVIDIA phát hành vào ngày 11 tháng 8 năm 2026, là một mô hình MoE lai (Mixture-of-Experts) với tổng 30B / 3B tham số kích hoạt — gồm các lớp không gian trạng thái Mamba-2, MoE và cơ chế attention — được xây dựng để làm lớp thực thi của các hệ thống tác tử: gọi công cụ nhanh chóng, vòng lặp khối lượng lớn, xử lý tác tử con, chạy trên một GPU duy nhất. Granite 4.2 30B, do IBM âm thầm phát hành trên Hugging Face vào ngày 25 tháng 8 năm 2026, là một mô hình suy luận đặc (dense) với 29 tỷ tham số — một cỗ máy tư duy — với các chế độ tư duy có thể lựa chọn và học tăng cường tác tử, cũng có thể tự lưu trữ (self-host). Cả hai đều mở (Apache 2.0 so với OpenMDW-1.1), cả hai đều chạy được trên phần cứng mà một nhóm có thể tự sở hữu, và cả hai đều là các bản phát hành tháng 8 có điểm chuẩn vẫn về cơ bản do chính nhà cung cấp công bố. Câu hỏi thú vị không phải là cái nào tốt hơn mà là bạn cần cái nào — một người lập kế hoạch, một người thực thi, hay cả hai.

Sự phân tách giữa planner và executor không phải do ban biên tập tự nghĩ ra; đó là thiết kế riêng của NVIDIA. Nemotron 3.5 Lightning được chưng cất từ Nemotron 3 Ultra lớn hơn nhiều, nhằm mục đích cụ thể là để một mô hình tiên phong đảm nhiệm việc lập kế hoạch trong khi Lightning vận hành vòng lặp, và NVIDIA đã phát hành nó cùng với NeMo Switchyard, một thư viện định tuyến hiện thực hóa chính xác sự phân công nhiệm vụ đó. Ngược lại, Granite 4.2 30B đang cố gắng trở thành toàn bộ agent trong một gói 30B.

Granite 4.2 30B, nhà tư duy

Mô hình Granite 4.2 chủ lực của IBM là một Transformer dense chỉ có bộ giải mã với ba chế độ suy luận — suy nghĩ đầy đủ (được bọc trong think>.../think> thẻ), suy nghĩ nỗ lực thấp, và không suy nghĩ — cùng với khả năng gọi công cụ tương thích OpenAI và học tăng cường dạng tác tử đã huấn luyện nó vận hành thiết bị đầu cuối, thực thi mã, và tìm kiếm web trong một sandbox. Ngữ cảnh gốc 128K của nó mở rộng lên 512K. Thẻ thông số của IBM công bố 89,17 trên AIME 2025, 77,60 trên MMLU-Pro, và 57,00 trên SWE-Bench Verified (in-harness) — tất cả đều do nhà cung cấp báo cáo, chưa có kết quả nào được tái lập độc lập, và chưa có mục nào trên Artificial Analysis tồn tại. Tóm lại, đây là một mô hình suy luận đa năng được hướng mạnh vào công việc tác tử và được phát hành dưới dạng lượng tử BF16, FP8, NVFP4/MXFP4, và GGUF để các đội nhóm có thể thực sự chạy nó.

Nemotron 3.5 Lightning, kẻ hành động

Phiên bản của NVIDIA có hình dạng hoàn toàn khác. Cái tên "30B A3B" nghĩa là có 30 tỷ tham số tổng cộng nhưng chỉ khoảng 3 tỷ tham số hoạt động cho mỗi token — một kiến trúc lai kết hợp Mamba-2, MoE và cơ chế attention, cho phép tạo sinh nhanh và rẻ. Nó đi kèm với giải mã phỏng đoán (speculative decoding) được tích hợp sẵn: các bộ đầu dự đoán đa token (Multi-Token Prediction heads), cùng với các mô hình nháp DFlash và DSpark, nhờ đó một bộ tạo nháp nhỏ đề xuất token và mô hình chính xác minh song song. NVIDIA tuyên bố tốc độ tạo văn bản nhanh gấp 4 lần so với các mô hình cùng kích cỡ, và toàn bộ hệ thống chạy trên một GPU — RTX 5090, DGX Spark hoặc Jetson — hoặc ở độ dài ngữ cảnh 256K trên một H100, với mô hình hỗ trợ tới 1M ngữ cảnh về nguyên tắc. Giấy phép của nó, OpenMDW-1.1, bao gồm các trọng số, dữ liệu huấn luyện và công thức (recipes).

Cách định vị của NVIDIA về những gì Lightning không phải là khá thẳng thắn: một bài đánh giá mà họ phát hành cho thấy hiệu suất Terminal-Bench yếu khi đóng vai trò là tác nhân chính — LLM Stats đã xác minh độc lập khoảng 24,6 trên Terminal-Bench 2.1 — và hướng dẫn sử dụng là dùng nó như một bộ thực thi, không phải bộ lập kế hoạch. Các điểm mạnh tự công bố của nó gồm MMLU Pro 81,94, GPQA Diamond 75,44, SWE-Bench Verified 51,56 và PinchBench với độ chính xác 86%, đồng thời hoàn thành tác vụ nhanh hơn khoảng 30% so với Qwen 3.6 35B ở mức độ chính xác tương đương. Tất cả những con số đó đều do chính NVIDIA tự công bố.

Bảng điểm, được dán nhãn trung thực.

So sánh hữu ích là hình dạng cột, không phải giá trị hàng:

• Granite 4.2 30B — khoảng 29B dense, tất cả tham số đều hoạt động; Apache 2.0; 128K gốc / 512K mở rộng; các chế độ suy luận bạn có thể chọn theo từng yêu cầu; SWE-Bench Verified 57.00, Terminal-Bench 2.1 29.24 theo báo cáo của nhà cung cấp; nhà tư duy.

• Nemotron 3.5 Lightning — 30B tổng / 3B hoạt động MoE lai; OpenMDW-1.1; ngữ cảnh 1M (256K khả dụng thực tế trên một H100); giải mã suy đoán (MTP/DFlash/DSpark); nhà cung cấp báo cáo SWE-Bench Verified 51,56, Terminal-Bench 2.1 ~24,6 (LLM Stats đã xác minh); người hành động.

Hãy đọc những con số đó theo cách NVIDIA muốn: điểm yếu của Lightning tại Terminal-Bench là một đặc trưng trong thiết kế của nó — mô hình này không được tạo ra để lập kế hoạch, mà để thực thi. Số liệu của Granite là từ một mô hình duy nhất tuyên bố làm được cả hai. Không bên nào trong số đó được tái lập độc lập tại thời điểm phát hành; cả hai sẽ được xác minh trong vài tuần tới.

Bộ công nghệ, không phải mô hình

{{1}}Hai mô hình này ít phải là đối thủ cạnh tranh với nhau hơn là các thành phần liền kề của cùng một hệ thống.{{/1}} {{2}}Một agent cần một bộ lập kế hoạch để phân rã tác vụ và một bộ thực thi để xử lý hàng nghìn lời gọi công cụ.{{/2}} {{3}}Granite 4.2 30B đang cố gộp cả hai vai trò vào một mô hình dense duy nhất; còn Nemotron 3.5 Lightning rõ ràng là một nửa của một stack hai mô hình, với mô hình tiên phong là nửa còn lại.{{/3}} NVIDIA gọi stack đó là NeMo Switchyard; một lớp định tuyến làm điều tương tự với bất kỳ sự kết hợp nào giữa các mô hình được lưu trữ từ xa và tự lưu trữ.

Đây là nơi dành cho ghi chú định tuyến trung thực. Không mô hình nào nằm trên OrcaRouter — chúng tôi không định tuyến cả Granite 4.2 30B lẫn Nemotron 3.5 Lightning, và dòng thông báo khả dụng cho cả hai là phần cứng của chính bạn hoặc các kênh phân phối của riêng nhà cung cấp. Nhưng mẫu hai mô hình mà họ chỉ ra chính là thứ một DSL định tuyến được sinh ra để phục vụ: kết hợp một endpoint Granite tự lưu trữ cho các lượt suy luận và một endpoint Lightning tự lưu trữ cho các vòng lặp thực thi, đặt một mô hình frontier lưu trữ phía trước cho việc lập kế hoạch cần nhiều dư địa hơn, và điều khiển cả ba từ một API key duy nhất với khả năng tự động chuyển đổi dự phòng. Bạn không cần phải lựa chọn giữa người suy nghĩ và người thực hiện — bạn có thể lắp ráp một stack sử dụng từng mô hình ở thế mạnh của nó, và để bộ định tuyến phân xử.

Cái nào trước?

Nếu bạn muốn một mô hình duy nhất đảm nhận mọi thứ, một codebase, một serving stack, và sẵn sàng giao cho nó toàn bộ công việc suy luận và thực thi, hãy bắt đầu với Granite 4.2 30B — nhưng hãy chờ benchmark độc lập đầu tiên trước khi tin vào con số 57.00 SWE-Bench. Nếu bạn đang xây dựng một agent có lưu lượng lớn, nơi hầu hết các lệnh gọi là các bước công cụ ngắn và độ trễ là ngân sách chính, hãy bắt đầu với Nemotron 3.5 Lightning và để một mô hình tiên phong hoặc một endpoint Granite lo phần suy luận. Nếu bạn đang xây dựng bất cứ thứ gì nghiêm túc, câu trả lời là cả hai — một quyết định mà việc so sánh chỉ riêng dòng 30B sẽ không bao giờ hé lộ.