主視覺標題卡:NVIDIA Nemotron 3.5 Lightning 30B A3B——Nvidia 的開放式 AI 代理主力模型解析——數據晶片顯示:總參數 30B、啟用參數 3B、上下文 1M
Guides & Insights

NVIDIA Nemotron 3.5 Lightning 30B A3B:解析 Nvidia 的開放式智能代理主力

作者

jinhao.song

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

Nvidia 於 2026 年 8 月 11 日發表 Nemotron 3.5 Lightning,並隨附了一項多數模型發布都遺漏的東西:一個路由器。NeMo Switchyard 是一個開源函式庫,負責決定在代理迴圈中下一個呼叫應由哪個模型處理;它與一款僅有 30 億個啟用參數的 300 億參數混合專家模型同日問世——這正是重點所在。本篇說明文章聚焦於 Nvidia 最先發布的檢查點,NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16,即原始預訓練基底模型而非聊天調校的參考版本,並探討整個系列如何揭示開放模型服務的未來走向。

在列出數字之前,先說明資料來源:本文中的所有基準測試、效能宣稱與合作夥伴數據,皆出自 Nvidia 自家說法,且目前尚未有任何獨立機構重現驗證——該模型才剛發布數小時。請將這些效能數據視為廠商的宣傳資料:具有參考價值與方向性,但尚非可供比較的成績單。

Nemotron 3.5 Lightning 實際上是什麼

Nemotron 3.5 Lightning 是 Nvidia 開放式 Nemotron 3 系列中最新且最小的成員。它是一個擁有 300 億參數的 MoE 模型,每個 token 僅啟動 30 億參數,採用 Mamba-2 與 MoE 混合架構,並在專門的預訓練階段中整合了選定的注意力層與多 token 預測(MTP)頭。Nvidia 表示,該模型是從其前沿的 Nemotron 3 Ultra 模型蒸餾而來,並以超過 20 兆個 token 進行訓練,支援最高 100 萬個 token 的上下文視窗。

設計目標是大規模下的延遲與成本,而不是前沿通用性。Nvidia 將 Lightning 定位為常駐代理的「執行層」——也就是代理持續進行的高流量、低難度呼叫:工具呼叫、程式碼審查、安全警報分流、帳單問題、子代理委派。這類工作你不會希望每一步都動用前沿模型;你要的是一個便宜、快速且足夠好的模型。速度聲稱源於其架構:根據 Nvidia 的測量,輸出速度比同級模型最多快 4 倍,代理任務完成速度快約 30%。兩個草案模型 DSpark 和 DFlash 提供針對中等到高並發服務最佳化的推測解碼。

三個檢查點 — 以及你想要哪一個

這次發布其實包含三個下載項目,而將「Nemotron 3.5 Lightning」視為單一模型的報導,忽略了對開發者而言最重要的區別。

本文的主題,NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16,是原始的預訓練檢查點——未套用監督式微調、RL 或蒸餾。它嚴格來說是基礎模型:無法開箱即用地進行對話,其存在目的是作為繼續預訓練、自訂 SFT、RL 或蒸餾的起點。如果你打算在 Nvidia 的預訓練基礎上建置自己的模型,這就是你需要的檔案。

作為兄弟版本,NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16是執行完整管線(預訓練、MTP 延續、SFT 與 RL)的參考權重。它是一款通用推理與聊天模型,但 Nvidia 仍將其定位為客製化起點,而非生產部署成品。就部署而言,NVFP4 檢查點(隨之發布,共用 Nvidia 用於 Nemotron 3 Ultra 的量化核心)才是針對延遲與吞吐量所設計的版本。

實用指引,每個檢查點一行:

• Base-BF16——繼續預訓練、領域後訓練、從零開始的蒸餾。接下來交給你了。

• BF16 參考 — 具備聊天與推理能力,但旨在作為您自行進行 SFT 或 RL 的基礎,而非託管端點。

• NVFP4 — 專為在 Nvidia GPU 上部署而最佳化的服務檢查點。

大多數想使用生產環境 API 的讀者,要的是微調後的模型,而不是基礎模型。不過基礎模型依然重要,因為 Nvidia 以開放授權(OpenMDW-1.1)釋出,涵蓋權重、訓練資料與配方——原始預訓練正是你無法從封閉式供應商取得的部分,也正是讓整個模型家族歸你所有的關鍵。

Screenshot of the Hugging Face model card for NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16, showing the Text Generation task, Transformers, Safetensors and the OpenMDW-1.1 license

基準帳本,誠實標示

以下是Nvidia在其自身評估中針對基礎檢查點(base checkpoint)所報告的結果:MMLU 78.59、MMLU-Pro(5-shot)67.94、GSM8K 91.28、HumanEval 77.44、MBPP 78.59、ARC-Challenge 92.66、HellaSwag 85.55、WinoGrande 79.95,以及在100萬個token下的長上下文RULER評分69.62。經過調校的參考模型在預期之處帶來了顯著改善:MMLU-Pro 81.94、GPQA Diamond(無工具)75.44、SWE-bench Verified 51.56、Terminal-Bench 2.1 24.58。

這些頭條速度數據也是由廠商自行報告的:與同級模型相比,輸出速度最高提升 4 倍,代理式任務完成速度提升 30%;此外,在 PinchBench 的 10,000 項任務測試中取得了 86% 的準確率,在相近準確率下比 Qwen3.6-35B 快約 30%。Nvidia 也引用了 24 分的 Artificial Analysis Intelligence Index,與 gpt-oss-120b 並列——但請注意其來源:這是 Nvidia 引用的一個分數,而該模型截至 8 月 11 日尚未出現在 Artificial Analysis 的公開排行榜上。獨立實驗室尚未公布 Lightning 的相關數據。

為了了解 24 在整個家族中的位置,Nvidia 其他開放模型的 AA 量測指數分別為:Nemotron 3 Ultra 與 Nemotron 3 Super 皆為 25.4,Nemotron 3 Nano 則為 14.2。Lightning 不是前沿模型,Nvidia 也沒有如此宣稱;它押注的是帕累托前沿中速度與成本的那一側。

Scoreboard for NVIDIA Nemotron 3.5 Lightning 30B A3B: Active params 3B, Total params 30B, Context up to 1M tokens, MMLU 78.6 (vendor), Output speed up to 4x vs class (vendor), AA Index 24 (Nvidia-cited); footer reads 'Vendor-reported as of Aug 11, 2026 — no independent run yet.'

用途:代理的執行層

Nvidia的主張是分工合作:一個前沿模型負責規劃與推理,而一個廉價的執行器則處理數千個例行呼叫,讓代理程式真正能全天候運作。這正是為何同一份公告中包含了路由庫——Lightning被定位為更大系統中的一個層級,而非整個系統。

這些合作夥伴案例研究是由 Nvidia 提供的,所以不妨把它們當作{{1}}附上數字的行銷內容{{/1}}。其中最能彰顯這個模型用途的是 CodeRabbit——它表示自己在不到三小時內、以不到 100 美元的成本,對 Lightning 進行了程式碼審查的後訓練,在推論成本約為一半的情況下,比 GPT 等級的基準提升了約 4% 的準確度。無論你是否相信這些確切數字,整體樣態才是重點:一個 3B 活躍參數的模型,便宜到足以用你自己的資料微調,並以大規模方式部署,而這就是整個{{2}}價值主張{{/2}}。

成本計算

Nemotron 3.5 Lightning 沒有定價,因為沒有什麼好買的——權重是免費的,採用 OpenMDW-1.1 授權,連同訓練資料和配方。價格取決於託管服務供應商的收費,而一旦第三方 API 開始提供這個系列,這個數字的差異將比品質的差異更大。在原型開發階段,Nvidia 在其自家的 build.nvidia.com 平台上以 NIM 微服務的形式提供服務,可免費試用,但有速率限制,且不需信用卡。

在評估之前,有兩個成本現實需要考量。首先,「30B total, 3B active」表示每次 token 的推論成本低廉,但完整的 30B 仍須常駐在每顆 GPU 的記憶體中——提供服務並非免費,而且批次並行度決定實際運作速度。其次,當一個開放權重模型出現在多個託管 API 上時,不同供應商之間的每 token 價格可能相差數倍,而這種差異並非品質訊號。這就是直通閘道發揮價值之處:OrcaRouter 以 0% 加成直接傳遞供應商的表列價格,因此供應商降價當日即生效,價格波動則由市場承擔。Nemotron 3.5 Lightning 尚未加入 OrcaRouter——權重在數小時前才釋出——但安全採用一日新模型的做法,是將其路由至自動容錯轉移後方,如此一來,單一主機的冷啟動問題就不會拖垮正式環境的運行路徑。

隨附於它的路由器

{{1}}NeMo Switchyard 值得深入了解{{/1}},因為 {{2}}這是 Nvidia 對開放式代理 AI 應如何運作的押注{{/2}}:{{3}}不是單一的大型模型,而是一個能將每個步驟分配給最強大且最有效率之可用模型的系統{{/3}}。{{4}}這是一個可整合到你的測試框架中的開源函式庫,提供可調整品質、延遲或成本的設定選項{{/4}}。{{5}}Nvidia 自身的基準測試聲稱,能以接近單獨運行尖端模型三分之一成本,達到頂尖水準的準確度{{/5}}。

合作夥伴的結果,同樣是 Nvidia 所報導的,方向性一致:Boomi 表示其將 59% 的流量路由到一個速度快 5 倍、後續回合延遲低 21% 的專用模型;Cognition 報告平均成本降低 28%;Ramp 表示在其自身的 SWE-bench 上以降低 58% 的成本達到了前沿模型的效能。最誠實的數據點是 LangChain:在 145 個多步驟代理任務中成本降低 74%,且只有 7% 的呼叫進入前沿模型——但準確率有 6% 的取捨。路由並非免費;它是一個刻意的取捨。

Switchyard 是一個函式庫,代表這是一條自行建置的路徑:你定義政策、整合它、操作它。受管理的替代方案是託管式路由 API,一組金鑰就能涵蓋 200 多種模型的目錄,容錯移轉是預設功能而不是需要你自行接線設定的東西,而路由 DSL 讓你能將多個模型組合成單一呼叫。Nvidia 自家的測試數據——59%、74%、58%——是支持該模式的最有力論據,無論你在哪一層執行它。

今天如何執行它

Day-one 支援範圍廣泛。檢查點可在 RTX PC、DGX Spark、DGX Station 和 Jetson 硬體上本機執行,並可在資料中心內的 Hopper 和 Blackwell GPU 上執行。已公布的生態系統涵蓋 vLLM、SGLang、llama.cpp、Ollama、LM Studio、Unsloth 和 TensorRT-LLM,以及用於 Nvidia 基礎架構的 NIM 容器。在後訓練方面,Nvidia 也發布了開源 RL 資料集 Nemotron-RL-Agentic-Terminal-Pivot,旨在強化編碼代理能力——如果你打算在基礎模型之上自行執行 RL 步驟,這會很有用。

Screenshot of the NVIDIA developer blog post announcing Nemotron 3.5 Lightning for long-running agent workloads, dated August 11, 2026

誰應該現在就行動?

三個群體會從這次發布中獲得各自所需的東西,而他們應該採取不同的行動。如果你在建構模型——持續預訓練、領域後訓練、蒸餾——Base-BF16 檢查點就是那個值得下載的檔案,而且它確實是全新的:Nvidia 此前從未以這個授權開放過原始 30B 級別的預訓練模型。如果你在部署模型,NVFP4 檢查點和 NIM 路徑值得拿來與你目前為 agent 工作負載所運行的方案進行基準測試;3B 活躍參數的設定就是整個賣點。而如果你是一位應用程式開發者,老實說應該稍等片刻:調校後的模型還沒有以任何穩定形式登上託管 API,獨立測試數據還要幾週才會出爐,而成本全貌要等市場為開放的 30B MoE 定價後才會更加明朗。

接下來值得關注的重點:Artificial Analysis 上的首次獨立測試,這將證實或戳破 Index-24 的宣稱;首批託管供應商為調校後檢查點設定的價格;以及 Nvidia 自家 Switchyard 數據出現在他人基準測試中的頻率。這次發布關乎效率與路由,而非開拓新前沿——而這,才是重點,並非規格表。

常見問題

我可以直接使用 Base-BF16 檢查點來進行聊天嗎?

不是。NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16是沒有應用 SFT 或 RL 的原始預訓練檢查點——它未經指令微調。具備對話與推理能力的選項是兄弟版本NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16參考發行版,其執行了完整的四階段流程;基礎模型是為了進一步後訓練而存在,而非直接部署。

Artificial Analysis Index 的 24 分是獨立評分嗎?

不——還沒。那個數字是 Nvidia 引用某個模型的分數,而截至 2026 年 8 月 11 日,該模型尚未出現在 Artificial Analysis 的公開排行榜上。獨立實驗室尚未公布 Nemotron 3.5 Lightning 的結果,因此在第三方評測出現之前,請把發布資料中的每個數字都視為廠商自行回報的數據。