
NVIDIA Nemotron 3.5 Lightning 30B A3B: Chiến mã Đại lý Mở của Nvidia, Được Giải thích
- GoogleMỚIGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 trên 1 triệu token · 89 tok/s
- AnthropicMỚIAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 trên 1 triệu token · 97 tok/s
- orcaMỚIOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaMỚIOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 trên 1 triệu token · 88 tok/s
- OrcaMỚIOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 trên 1 triệu token · 133 tok/s
- OrcaMỚIOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 trên 1 triệu token · 88 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 trên 1 triệu token · 123 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 trên 1 triệu token · 69 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 trên 1 triệu token · 91 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 trên 1 triệu token · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Trí tuệ
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 trên 1 triệu token · 194 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Trí tuệ
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 trên 1 triệu token · 123 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Trí tuệ
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Trí tuệ
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 trên 1 triệu token · 138 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955Trí tuệ
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855Trí tuệ
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 trên 1 triệu token · 189 tok/s
Nvidia đã công bố Nemotron 3.5 Lightning vào ngày 11/8/2026 và phát hành kèm một thứ mà hầu hết các đợt ra mắt mô hình đều bỏ sót: một bộ định tuyến. NeMo Switchyard, một thư viện mã nguồn mở quyết định mô hình nào sẽ tiếp nhận lệnh gọi tiếp theo trong vòng lặp tác tử, đã ra mắt cùng ngày với một mô hình hỗn hợp chuyên gia 30 tỷ tham số nhưng chỉ có 3 tỷ tham số đang hoạt động — và đó chính là điểm mấu chốt. Bài giải thích này tập trung vào checkpoint mà Nvidia phát hành đầu tiên, NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16, bản nền tiền huấn luyện thô thay vì bản tham chiếu đã tinh chỉnh cho hội thoại, cùng với những gì cả dòng họ mô hình này cho thấy về xu hướng phục vụ mô hình mở trong tương lai.
Một ghi chú về nguồn trước khi đi vào các con số: mọi điểm chuẩn, tuyên bố về tốc độ và số liệu đối tác trong bài viết này đều là của chính Nvidia, và chưa có con số nào được kiểm chứng độc lập — mô hình mới chỉ ra mắt vài giờ. Hãy coi các số liệu hiệu năng như lời khai của nhà cung cấp: mang tính tham khảo và định hướng, chưa phải là bảng xếp hạng chính thức.
Nemotron 3.5 Lightning thực chất là gì
Nemotron 3.5 Lightning là thành viên mới nhất và nhỏ nhất trong gia đình Nemotron 3 mã nguồn mở của Nvidia. Đây là mô hình MoE 30B tham số với chỉ 3B tham số hoạt động cho mỗi token, được xây dựng trên kiến trúc lai Mamba-2 và MoE với các lớp attention chọn lọc và các đầu dự đoán đa token (MTP) được tích hợp trong giai đoạn tiền huấn luyện chuyên biệt. Nvidia cho biết mô hình này được chưng cất từ mô hình Nemotron 3 Ultra tiên tiến của họ và được huấn luyện trên hơn 20 nghìn tỷ token, đồng thời hỗ trợ cửa sổ ngữ cảnh lên tới 1 triệu token.
Mục tiêu thiết kế là {{1}}độ trễ và chi phí ở quy mô lớn{{/1}}, không phải tính tổng quát tiên phong. Nvidia định vị Lightning cho {{2}}"tầng thực thi"{{/2}} của các tác nhân luôn hoạt động — các lệnh gọi khối lượng lớn, độ khó thấp mà một tác nhân thực hiện liên tục: gọi công cụ, đánh giá mã, phân loại cảnh báo bảo mật, câu hỏi thanh toán, ủy quyền cho tác nhân phụ. Đó là công việc mà bạn không muốn dùng mô hình tiên phong cho từng bước; bạn muốn một mô hình rẻ, nhanh và đủ tốt. Các tuyên bố về tốc độ xuất phát từ kiến trúc: đầu ra nhanh hơn tới 4 lần so với các mô hình cùng kích thước và hoàn thành tác vụ tác nhân nhanh hơn khoảng 30%, theo đo lường của Nvidia. Hai mô hình nháp, {{3}}DSpark và DFlash{{/3}}, cung cấp khả năng giải mã dự đoán (speculative decoding) được tinh chỉnh cho phục vụ đồng thời ở mức trung bình đến cao.
Ba điểm kiểm tra — và bạn muốn cái nào
Bản phát hành thực chất là ba bản tải xuống, và các bài đánh giá coi "Nemotron 3.5 Lightning" như một mô hình duy nhất đã bỏ lỡ sự khác biệt quan trọng nhất đối với nhà phát triển.
Chủ đề của bài viết này, NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16, là checkpoint tiền huấn luyện thô — không có tinh chỉnh có giám sát, không RL, không áp dụng chưng cất. Đây là mô hình nền theo nghĩa nghiêm ngặt: nó không trò chuyện được ngay khi sử dụng, và nó tồn tại để làm điểm khởi đầu cho việc tiếp tục tiền huấn luyện, SFT tùy chỉnh, RL, hoặc chưng cất. Nếu bạn định xây dựng mô hình của riêng mình dựa trên quá trình tiền huấn luyện của Nvidia, thì đây là tệp bạn cần.
Bản phát hành song hành, NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, là các trọng số tham chiếu đã chạy toàn bộ quy trình — tiền huấn luyện, tiếp tục MTP, SFT và RL. Đây là mô hình lý luận và trò chuyện đa dụng, nhưng Nvidia vẫn định vị nó như một điểm khởi đầu tùy chỉnh thay vì một sản phẩm phục vụ sản xuất. Đối với việc phục vụ, checkpoint NVFP4 (được phát hành kèm theo, dùng chung các kernel lượng tử hóa mà Nvidia sử dụng cho Nemotron 3 Ultra) là phiên bản hướng đến độ trễ và thông lượng.
Hướng dẫn thực tế, mỗi điểm kiểm tra một dòng:
• Base-BF16 — tiếp tục tiền huấn luyện, hậu huấn luyện theo miền, chưng cất từ đầu. Phần còn lại tùy bạn.
• tham chiếu BF16 — có khả năng trò chuyện và suy luận, nhưng được dùng làm nền tảng cho quá trình SFT hoặc RL của riêng bạn, chứ không phải là một endpoint được lưu trữ sẵn.
• NVFP4 — checkpoint được tối ưu hóa cho việc phục vụ (serving) để triển khai trên GPU Nvidia.
Hầu hết độc giả tìm đến một API sản xuất đều muốn các mô hình tinh chỉnh, không phải mô hình gốc. Nhưng mô hình gốc vẫn quan trọng vì Nvidia phát hành nó theo giấy phép mở (OpenMDW-1.1) bao gồm trọng số, dữ liệu huấn luyện và công thức — phần tiền huấn luyện thô chính là thứ bạn không thể có được từ một nhà cung cấp đóng, và nó cũng là phần khiến toàn bộ dòng mô hình này thuộc về bạn.

Sổ ghi điểm chuẩn, được dán nhãn trung thực
Đây là những gì Nvidia báo cáo cho checkpoint cơ sở trong các bài đánh giá của riêng họ: MMLU 78.59, MMLU-Pro (5-shot) 67.94, GSM8K 91.28, HumanEval 77.44, MBPP 78.59, ARC-Challenge 92.66, HellaSwag 85.55, WinoGrande 79.95, và điểm RULER ngữ cảnh dài là 69.62 tại 1 triệu token. Bản tham chiếu đã tinh chỉnh tạo ra sự khác biệt đúng như mong đợi: MMLU-Pro 81.94, GPQA Diamond (không dùng công cụ) 75.44, SWE-bench Verified 51.56, Terminal-Bench 2.1 24.58.
Các con số tốc độ nổi bật cũng do nhà cung cấp công bố: tốc độ xuất ra nhanh hơn tới 4× và hoàn thành tác vụ agentic nhanh hơn 30% so với các mô hình cùng phân khúc, cùng với kết quả PinchBench đạt độ chính xác 86% trên một chuỗi 10.000 tác vụ, nhanh hơn khoảng 30% so với Qwen3.6-35B ở mức độ chính xác tương tự. Nvidia cũng trích dẫn Artificial Analysis Intelligence Index là 24, ngang bằng với gpt-oss-120b — nhưng lưu ý nguồn gốc: đó là Nvidia trích dẫn điểm số cho một mô hình mà tính đến ngày 11 tháng 8 vẫn chưa xuất hiện trên bảng xếp hạng công khai của Artificial Analysis. Các phòng thí nghiệm độc lập chưa công bố số liệu về Lightning.
Để hình dung vị trí của 24 trong gia đình này, các chỉ số đo bằng AA cho các mô hình mở khác của Nvidia là 25,4 cho cả Nemotron 3 Ultra và Nemotron 3 Super, và 14,2 cho Nemotron 3 Nano. Lightning không phải là mô hình tiên phong, và Nvidia cũng không tuyên bố như vậy; đây là một cược vào khía cạnh tốc độ và chi phí của biên giới Pareto.

Mục đích: tầng thực thi của các agent
Đề xuất của Nvidia là một sự phân công lao động: một mô hình tiên tiến đảm nhận việc lập kế hoạch và suy luận, còn một bộ thực thi giá rẻ xử lý hàng nghìn lời gọi thường lệ giúp một tác nhân thực sự hoạt động suốt cả ngày. Đó là lý do vì sao chính thông báo đó còn bao gồm một thư viện định tuyến — Lightning được thiết kế để trở thành một tầng trong một hệ thống lớn hơn, chứ không phải toàn bộ hệ thống.
Các nghiên cứu điển hình về đối tác do Nvidia cung cấp, vì vậy hãy đọc chúng như là tiếp thị có kèm số liệu. Ví dụ minh họa rõ nhất mục đích của mô hình là CodeRabbit, công ty cho biết họ đã hậu huấn luyện Lightning để xem xét mã trong chưa đầy ba giờ với chi phí dưới 100 đô la, đạt được độ chính xác cao hơn khoảng 4% so với đường cơ sở lớp GPT với chi phí suy luận chỉ bằng một nửa. Dù bạn có tin vào những con số chính xác hay không, hình dạng của câu chuyện mới là điều quan trọng: một mô hình 3B-active đủ rẻ để tinh chỉnh trên dữ liệu của riêng bạn và phục vụ ở quy mô lớn, đó chính là toàn bộ đề xuất giá trị.
Phép tính chi phí
Không có giá niêm yết cho Nemotron 3.5 Lightning, vì không có gì để mua — trọng số được cung cấp miễn phí theo OpenMDW-1.1, cùng với dữ liệu huấn luyện và công thức. Giá là bất cứ thứ gì mà nhà cung cấp dịch vụ tính phí để phục vụ nó, và con số đó sẽ thay đổi nhiều hơn chất lượng khi các API của bên thứ ba bắt đầu hỗ trợ dòng sản phẩm này. Đối với việc tạo nguyên mẫu, Nvidia cung cấp nó như một microservice NIM trên nền tảng build.nvidia.com của riêng họ, miễn phí để dùng thử với giới hạn tốc độ và không cần thẻ tín dụng.
Hai thực tế chi phí cần cân nhắc trước khi bạn đánh giá điều này. Thứ nhất, "30B tổng, 3B hoạt động" nghĩa là suy luận (inference) rẻ theo từng token nhưng toàn bộ 30B vẫn phải nằm trong bộ nhớ trên mỗi GPU — việc phục vụ (serving) không miễn phí, và mức độ đồng thời của batch (batch concurrency) quyết định tốc độ thực tế của nó. Thứ hai, khi một mô hình open-weight xuất hiện trên nhiều API lưu trữ, giá theo token giữa các nhà cung cấp có thể chênh lệch gấp nhiều lần, và sự chênh lệch đó không phải là tín hiệu chất lượng. Đây là lúc cổng chuyển tiếp (pass-through gateway) phát huy giá trị: OrcaRouter chuyển tiếp giá niêm yết của nhà cung cấp một cách trực tiếp với mức phụ giá 0%, nhờ đó việc giảm giá từ nhà cung cấp có hiệu lực ngay trong ngày và biến động giá nằm về phía thị trường. Nemotron 3.5 Lightning chưa có trên OrcaRouter — các trọng số vừa mới ra mắt vài giờ trước — nhưng cách áp dụng an toàn một mô hình mới ra mắt một ngày là định tuyến nó sau cơ chế chuyển đổi dự phòng tự động (automatic failover), để sự cố khởi động nguội (cold-start) trên một máy chủ không thể làm sập một đường vận hành production.
Bộ định tuyến đi kèm với nó
NeMo Switchyard đáng để tìm hiểu vì đây là cược của Nvidia về cách AI tác tử mở nên vận hành: không phải một mô hình lớn duy nhất, mà là một hệ thống gửi từng bước đến mô hình có khả năng và hiệu quả nhất hiện có. Đây là một thư viện mã nguồn mở bạn tích hợp vào khung (harness) của mình, với các núm điều chỉnh hướng tới chất lượng, độ trễ hoặc chi phí. Điểm chuẩn của chính Nvidia tuyên bố độ chính xác ở cấp độ tiên phong với chi phí chỉ bằng khoảng một phần ba so với một mô hình tiên phong chạy một mình.
Kết quả từ các đối tác, một lần nữa do Nvidia công bố, nhất quán về mặt xu hướng: Boomi cho biết họ đã định tuyến 59% lưu lượng đến một mô hình chuyên biệt nhanh gấp 5 lần với độ trễ lượt sau thấp hơn 21%; Cognition báo cáo chi phí trung bình thấp hơn 28%; Ramp cho biết họ đạt hiệu suất ngang bằng mô hình tiên phong trên SWE-bench của riêng mình với chi phí thấp hơn 58%. Điểm dữ liệu trung thực nhất là từ LangChain: chi phí thấp hơn 74% trên 145 tác vụ agent đa bước với chỉ 7% số lần gọi đến mô hình tiên phong — đánh đổi 6% độ chính xác. Định tuyến không miễn phí; đó là một sự đánh đổi có chủ đích.
Switchyard là một thư viện, nghĩa là đây là con đường tự xây dựng: bạn xác định chính sách, tích hợp nó, vận hành nó. Phương án được quản lý là một API định tuyến được lưu trữ, trong đó một khóa bao phủ danh mục hơn 200 mô hình, chuyển đổi dự phòng (failover) là mặc định thay vì thứ gì đó bạn phải đấu nối, và một DSL định tuyến cho phép bạn kết hợp nhiều mô hình thành một lời gọi duy nhất. Các con số thử nghiệm của riêng Nvidia — 59%, 74%, 58% — là lập luận mạnh mẽ nhất cho mô hình đó, dù bạn chạy nó ở tầng nào.
Cách chạy nó hôm nay
Hỗ trợ ngay từ ngày đầu rất rộng rãi. Các checkpoint chạy cục bộ trên PC RTX, DGX Spark, DGX Station và phần cứng Jetson, cũng như trong trung tâm dữ liệu trên GPU Hopper và Blackwell. Hệ sinh thái được công bố bao gồm vLLM, SGLang, llama.cpp, Ollama, LM Studio, Unsloth và TensorRT-LLM, cùng với container NIM cho cơ sở hạ tầng Nvidia. Đối với giai đoạn hậu huấn luyện, Nvidia cũng phát hành bộ dữ liệu RL mở, Nemotron-RL-Agentic-Terminal-Pivot, nhằm phát triển khả năng tác tử mã hóa — hữu ích nếu bạn định tự thực hiện bước RL của mình trên nền tảng cơ sở.

Ai nên hành động ngay bây giờ?
Ba nhóm đối tượng đều có thứ để nhận từ bản phát hành này, và mỗi nhóm nên làm những việc khác nhau. Nếu bạn xây dựng mô hình — tiền huấn luyện tiếp tục, hậu huấn luyện theo miền, chưng cất — thì checkpoint Base-BF16 là bản tải xuống đáng quan tâm, và nó thực sự mới: Nvidia chưa từng mở một bản tiền huấn luyện thô hạng 30B theo giấy phép này trước đây. Nếu bạn phục vụ mô hình, checkpoint NVFP4 và hướng NIM đáng để benchmark so với những gì bạn đang chạy cho các khối lượng công việc agent; toàn bộ điểm hấp dẫn nằm ở cấu hình 3B-active. Còn nếu bạn là nhà phát triển ứng dụng, câu trả lời thành thật là hãy chờ một chút: các mô hình tinh chỉnh vẫn chưa có trên các API lưu trữ dưới bất kỳ hình thức ổn định nào, các số liệu độc lập còn vài tuần nữa mới có, và bức tranh chi phí sẽ rõ ràng hơn khi thị trường định giá một MoE 30B mở.
Điều cần theo dõi tiếp theo: lần chạy độc lập đầu tiên trên Artificial Analysis, thứ sẽ xác nhận hoặc bác bỏ tuyên bố Index-24; mức giá mà các nhà cung cấp hosting đầu tiên đặt cho các checkpoint đã tinh chỉnh; và tần suất các con số Switchyard của chính Nvidia xuất hiện trong benchmark của người khác. Đây là một sự ra mắt về hiệu quả và định tuyến, không phải về một chân trời mới — và đó, chứ không phải bảng thông số kỹ thuật, mới là câu chuyện.
FAQ
Tôi có thể sử dụng checkpoint Base-BF16 để trò chuyện ngay lập tức không?
Không. NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16 là checkpoint tiền huấn luyện thô chưa áp dụng SFT hoặc RL — nó không được tinh chỉnh theo hướng dẫn. Tùy chọn có khả năng trò chuyện và suy luận là phiên bản anh em NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 bản phát hành tham chiếu, đã chạy toàn bộ quy trình bốn giai đoạn; bản gốc tồn tại để tiếp tục được hậu huấn luyện thêm, không triển khai trực tiếp.
Chỉ số Artificial Analysis Index 24 có phải là điểm số độc lập không?
Không — chưa đâu. Con số đó là Nvidia trích dẫn điểm số cho một mô hình mà, tính đến ngày 11 tháng 8 năm 2026, vẫn chưa xuất hiện trên bảng xếp hạng công khai của Artificial Analysis. Các phòng thí nghiệm độc lập vẫn chưa công bố kết quả của Nemotron 3.5 Lightning, vì vậy hãy coi mọi con số trong tài liệu ra mắt là số liệu do nhà cung cấp báo cáo cho đến khi có kết quả kiểm tra từ bên thứ ba.
