Nemotron 3.5 Super VL 的開放後訓練資料集：你實際上能微調什麼

NVIDIA Nemotron 3.5 Super VL 於 2026 年 10 月 12 日將其權重放上 Hugging Face，並於 10 月 15 日發布。那次發布中，大多數報導都略過的那一半，才是你真正能據以建構的部分：在 10 月 12 日至 15 日之間，nvidia 組織發布了十一個新的後訓練資料集——也就是模型卡自身六階段訓練描述背後的監督式微調與強化學習語料庫。這十一個資料集每一個都指定 OpenMDW-1.1 作為其規範條款，但一致性也就僅止於此。其中兩個在 Hub 上顯示為 license: other；另外兩個則因為其內容而帶有第二種授權；而兩張從未寫著「可供商業或非商業用途」的卡片，並不是你會猜到的那兩張。以下說明每一組資料集裡有什麼、這些卡片對其公布與未公布哪些內容，以及這整批發布如何對應到一個 99.62% 的準確率恢復中位數數字——這個數字會因為你打開的是哪一份 NVIDIA 文件而讀起來大不相同。

什麼已經上線，以及何時上線

Hugging Face 會記錄建立時間戳記，所以這是讀取而來，而非推估。全部十一個儲存庫都出現在 61 小時的時間窗內：

• Nemotron-RL-litmus-bench-v0.2 — 10月12日 16:37 UTC。化學推理，47,118 道訓練題與 2,056 道測試題，64 MB，建構自 ChEMBL、OpenADMET ExpansionRx 挑戰賽資料及一組 Biogen ADME 資料集。採用 CC-BY-SA-4.0 與 OpenMDW-1.1 雙重授權，因為源自 ChEMBL 的題目帶有相同方式分享條款。

• Nemotron-SFT-Agentic-v4 — 10月14日 17:54 UTC。單輪與多輪的工具使用軌跡，涵蓋 634,664 筆對話記錄，分為 tool_calling 分割的 549,707 筆與 knowledge_agent 分割的 84,957 筆，共 18.88 GB。以 Qwen3.5-397B-A17B 與 GLM-5.2 生成。

• Nemotron-SFT-Instruction-Following-Chat-v4 — 10 月 14 日 17:55 UTC。聊天、多輪指令遵循與回應長度控制，3,850,582 筆對話紀錄，80.74 GB。以 Kimi-K2.6、Gemma4-E4B-it 與 Qwen3.5-397B-A17B 生成。

• Nemotron-SFT-Agentic-Finance-v1 — 10月14日 18:54 UTC。7,878 個多輪工具呼叫範例，涵蓋數值推理、財務建模、市場分析、調整，以及關於公開 SEC 申報文件的優於或未達預期問題，28 MB。

• Nemotron-RL-Agentic-Finance-v1 — 10 月 14 日，18:55 UTC。10,185 項 RL 任務，同樣的五個任務家族，166 MB，並刻意不提供申報文件內容，因此代理必須透過 sec_filing_search、parse_html_page 和 retrieve_information 自行檢索。

• Nemotron-SFT-Long-Context-Transduction-v1 — 10 月 14 日，19:47 UTC。10,000 組指令與答案配對，1.22 GB，用於位置追蹤與序列轉換。這些都不是由模型生成的：卡片明確聲明，沒有任何語言模型會產生這些範例或答案，而四個任務類別分別為算術求值、十六進位權杖排序、變數展開與 CSV 轉換。

• Nemotron-SFT-Long-Context-Translation-PG19-v1 — 10月14日 20:14 UTC。4,335 個英譯多語翻譯範例，2.22 GB，來源文本取自 PG-19 語料庫中的公有領域書籍，並以 DeepSeek V4 Flash 翻譯。

• Nemotron-RL-Finance-Tool-Calling-v1 — 10月14日 22:46 UTC。90,307 筆金融紀錄 — 81,397 個核心推理樣本，加上 8,910 個更廣泛的金融代理樣本 — 共 1.23 GB，於 NeMo Gym 的 Finance SEC Search 環境中執行。

• Nemotron-SFT-Finance-Document-Grounded-Reasoning-v1 — 10月14日 22:46 UTC。共 63,056 個範例，總計 1.01 GB，以 S&P 500 公司在 2017–2024 年間的 10-K、10-Q 與 8-K 申報文件為依據。

• Nemotron-RL-Agentic-Conversational-Tool-Use-Seed-v1 — 10 月 14 日 23:45 UTC。100,000 筆記錄，3.86 GB：conversation_tool_use_simulation 資源伺服器的種子策略、工具定義與情境，涵蓋餐旅、電子商務、銀行與保險業，用於 RL 期間的模擬代理式對話。

• Nemotron-SFT-BBQ-v1 — 10 月 15 日 05:22 UTC。涵蓋年齡、外表與身心障礙的英文公平性資料——各 2,000 筆記錄，總計 6,000 筆，8.0 MB——依 Bias Benchmark for QA 分類體系建構，內含虛構參與者之間的對話，旨在獎勵以證據為依據的答案，而非憑空假設。

關於那份清單，有兩件事比列數更重要。第一，授權面貌並不像標題標籤所暗示的那麼一致；第二，這些輸出究竟是誰的。

授權標籤並非完整的授權條款。

所有十一個儲存庫都將 OpenMDW-1.1 列為其適用條款。不同之處在於它如何傳達到你這裡，而這些差異值得在你於其之上打造任何商業產品之前閱讀。

• 標籤與具名授權條款 —— 十一個中有九個以純標籤形式帶有 license: openmdw-1.1，可直接從 API 讀取。Nemotron-SFT-Agentic-Finance-v1 與 Nemotron-RL-Agentic-Finance-v1 則呈現為 license: other，並帶有 license_name: openmdw-1.1 以及一份協議連結。條款內容相同；但若某個工具是依授權標籤來篩選儲存庫，就會看到兩種不同的值。

• 因上游資料而有的第二項授權條款——Nemotron-SFT-Long-Context-Translation-PG19-v1 除了 OpenMDW-1.1 之外，還採用 Apache-2.0，因為來源語料庫是 PG-19，而其模型卡補充說明，底層英文作品在美國屬於公共領域，但在其他司法管轄區的著作權狀態可能不同，因此使用者在重新散布前應查閱當地法律。Nemotron-RL-litmus-bench-v0.2 除了 OpenMDW-1.1 之外，還採用 CC-BY-SA-4.0，其中相同方式分享條款特別適用於衍生自 ChEMBL 的題目。

• 商業使用聲明——有九張卡片載明「此資料集可供商業或非商業用途使用」。唯二未如此記載的是 Nemotron-SFT-Long-Context-Transduction-v1 與 Nemotron-SFT-Long-Context-Translation-PG19-v1——即長上下文那一對，而非金融資料集。

• 內容排除範圍的記載位置——金融。該份以文件為依據的資訊卡指出，本次發布僅保留取自 10-K、10-Q 及 8-K 表格正文、經許可的有限上下文摘錄，而完整 SEC 語料庫、所有附件，以及任何帶有第三方著作權聲明的內容均予以排除，並點名顧問報告、簡報、公允意見書及分析師研究。內容亦指出，摘錄內容仍由各自的發行人負責。

所以，實務上的解讀與直覺解讀相反。金融類資料集是授權徽章最顯眼的那一批——在文件依據與工具呼叫資料集上有乾淨的 openmdw-1.1——也是內部內容有最多明文記錄限制的一批。長上下文資料集則是其 Hub 中繼資料與文字說明彼此最不一致的一批。這兩者都不是讓人放棄的理由；兩者都是要閱讀四張卡片，而不是只看一個授權欄位的理由。

NVIDIA 的旗艦是由誰的輸出訓練的？

橫跨這次發布的另一件事是生成模型，而模型卡都直接點名，毫不含糊。旗艦級 agentic SFT 集是以 Qwen3.5-397B-A17B 和 GLM-5.2 產生的。指令遵循集則加入 Kimi-K2.6 和 Gemma4-E4B-it。以文件為依據的金融集點名 Qwen3.5-397B-A17B 負責問題生成，DeepSeek-V4-Pro 負責答案，而 gpt-oss-120b 負責過濾與挑選。RL 金融工具呼叫集列出上游的 Qwen3.5-397B-A17B 和 Qwen3-235B-A22B-Instruct-2507，DeepSeek-V4-Pro 負責答案，gpt-oss-120b 負責過濾，而 NVIDIA Nemotron 本身則負責在八次 rollout 上進行 RL 難度剖析。PG-19 翻譯是以 DeepSeek V4 Flash 產生的。

那是發布決策，不是意外，而對任何試圖推斷品質的人來說，它是這次釋出中最有用的東西。它告訴你，你正在微調進入的行為先驗在很大程度上不是 NVIDIA 的——它是兩個中國前沿開放權重家族、一個 OpenAI 開放權重模型和一個 Google 小型模型的混合。如果你對其中任何一個在金融文本或工具選擇上的表現有意見，那個意見適用於你這裡的起點，而且你現在有來源出處可以查證，而不必猜測。

為什麼資料才是你能採取行動的部分

資料集發布之所以是這次發布中有趣的那一半，原因從廠商自家數字就看得出來。NVIDIA 的新聞室貼文點名了對該模型進行後訓練的組織，並引用其結果：Scale AI 為 Skydance 的供應商名單作業，達到「推論成本降低 40 倍」與「延遲降低 5 倍」；Ramp 在將收據影像轉換為結構化 JSON 方面，預期「吞吐量提升最高 50% 且延遲降低 10 倍」；AI21 與 Alice 在威脅情報方面，達到「準確率提升 41%」。把開發者部落格與新聞室貼文並讀，同一批客戶結果就化約為「推論成本降低 40 倍、延遲降低 10 倍，以及準確率提升 40%」——新聞室說 41 的地方變成 40，說 5 倍的地方變成 10 倍，而這看起來是同樣的兩個部署。這些是客戶對自身工作負載的期望，不是基準測試，而且這兩種版本你都無法重現。

可重現的是收據。新聞室表示，該模型經過後訓練，使用了大約 380 萬個樣本，並在數十個環境中進行強化學習；開放資料集涵蓋代理式工具使用、金融、指令遵循、長上下文、公平性與視覺語言理解。上述十一個儲存庫就是那個語料庫，而模型卡所指的 NeMo Gym 環境就是其框架。想要打造文件智慧代理的團隊，現在可以在同一處取得模型、服務部署配方、微調函式庫與訓練資料。「這個模型可以被特化」與「這裡有一個你今天就能下載的特化版本」之間的落差，正是這些儲存庫所填補的。

關於那份類別清單，有一點要注意：NVIDIA 的新聞中心將視覺－語言理解納入已發布的資料集之中，而在這個期間建立的十一個新 NVIDIA 資料集儲存庫，則是文字與工具使用語料庫。這批發布中，以文件為基礎的金融資料集是最接近視覺資料集的一項，而且它的格式僅限文字。如果你是為了圖像與影片方面的資料而來，這裡並沒有那些資料——Hub 上最新的 NVIDIA 視覺資料集，比這個期間早了五天。

這些卡片不公開的事，以及那會讓你付出什麼代價

這裡有個沒有人會放進發布貼文的數字，而在這次發布中，它是一個缺席的數字。十一張資料集卡中，沒有任何一張公布 token 數量。它們只公布記錄筆數和儲存大小，就這樣。因此，規模估算的問題——在指令遵循資料集上跑一個 epoch 需要多少 GPU 小時——無法從這次發布中得到解答，只能靠將位元組數除以假設的每 token 位元組比率來估算；而這正是那種會流入報導、彷彿它是實測數據的數字。

你可以著手的是已公布的儲存空間：Nemotron-SFT-Instruction-Following-Chat-v4 為 80.74 GB，Nemotron-SFT-Agentic-v4 為 18.88 GB，對話式工具使用種子集為 3.86 GB，接著是一條長尾——2.22 GB、1.23 GB、1.22 GB、1.01 GB、166 MB、28 MB、8.0 MB、64 MB。最大的兩個集合比這批釋出資料中其他所有項目大一到兩個數量級，這就告訴你後訓練的份量實際上落在哪裡，完全不需要 token 數量。

• Nemotron-SFT-Instruction-Following-Chat-v4 — 80.74 GB 與 3,850,582 筆紀錄。這套資料集讓全參數訓練成為一項專案，而不是一個下午就能完成的事。

• Nemotron-SFT-Agentic-v4 — 18.88 GB、634,664 筆記錄。規模約為四分之一，讓它得以透過單一節點執行。

• Nemotron-SFT-BBQ-v1 — 8.0 MB 與 6,000 筆記錄。規模小到能在幾分鐘內反覆迭代，因此這是最省成本的方式，可以先證明你的微調迴圈已正確接好，再把一整個 GPU 週投入你真正在乎的任務。

• Nemotron-SFT-Long-Context-Transduction-v1 — 1.22 GB，但只有 10,000 個範例，且公開的每範例範圍為 2,048 至 131,072 個目標詞元。這裡的成本是由序列長度而非資料量所驅動，而模型卡指出這些預算是以 cl100k_base 估算的生成目標，並非訓練後實際測得的計數。

就模型規模而言，模型卡公布了各階段預算：以 1000 億個 token 對凍結主幹進行 MTP 暖身、從次大一級的 Nemotron 蒸餾 1 兆個 token、1000 億個 token 的 Indic 持續預訓練、以 350 億個 token 延伸至 1M 上下文、在 256K 下進行 670 億個 token 的軟體工程中期訓練，以及 90 億個 token 的長上下文恢復階段。這些是 NVIDIA 在整個發布中唯一說明的 token 預算，而且它們適用於訓練基礎模型，而非在這些資料集上進行微調。

這也是為什麼 LoRA 路徑在這裡至關重要，而不是附帶一提。NVIDIA 指引開發者使用 NVIDIA NeMo AutoModel 進行監督式微調與低秩調適，而適配器正是「改動模型少數行為」與「重新推導 249 GB 權重」之間的差別。兩條路徑都真實可行，而兩者之間的選擇，是在決定你打算改變多少基礎模型的行為。追求狹窄結構定義或遵循政策行為的金融團隊，屬於 LoRA 的範疇。想讓模型在每一次互動中都遵循新作業程序的團隊，則不然。

兩份文件，同一個基準，截然不同的答案

本發布隨附的技術報告日期為10月14日，並載有那個脫離脈絡後流傳最廣的數字。NVIDIA報告指出，所發布的NVFP4檢查點達到99.62%的中位數準確率恢復，此數據相對於BF16、涵蓋36項基準測試，是在採用激進的訓練後量化方案、接著進行200次基於SFT的量化感知蒸餾之後所獲得——依據報告的逐模組表格，C-RADIO視覺編碼器、VL連接器、Mamba卷積與嵌入均維持在BF16，而路由器運算則維持在FP32。

「準確度恢復中位數」是比值的中位數，不是最小值。為了得出 99.62%，報告會計算每個基準測試的分數比值，再取 36 項中的中間值，所以這個標題數字告訴你的是：典型基準測試大約比全精度低 0.4 個百分點，而完全沒有透露尾部情況。報告自己的表格顯示了尾部：Tau3 Banking 為 94.20%，SciCode 的問題解決子項為 93.63%，MMLU-ProX 為 95.90%——而反方向則是 GDPVal 為 111.53%，Terminal-Bench v2.1 為 103.47%，因為量化在單次執行中可能落在 BF16 參考值之上。

接著對照模型卡，整個故事就比尾巴還精采。NVIDIA 自家的 NVFP4 模型卡針對同一個檢查點公布了 BF16 對 NVFP4 的比較表，而在那張表上，Terminal-Bench 2.1 的讀數是 66.70 對 60.80——量化版本低了百分之九。在技術報告的完整套件表中，同一項基準測試的讀數是 60.67 對 62.78，這回是量化版本領先。同一個模型、同一項基準測試、同一系列的評估框架，兩份 NVIDIA 文件，方向卻相反。這張卡也顯示 WebVoyager 從 77.72 掉到 66.31，以及 DeepSWE 從 24.65 掉到 18.2；而這兩者都不是 99.62% 標題所帶出的故事版本。

那並不是醜聞——不同的表可以採用不同的測試框架設定，而報告中的表會在每一列旁列出恢復百分比——但這確實意味著，對於「NVFP4 會不會讓我損失準確度」這個問題，誠實的答案是：在大多數已公布的列上，幾乎不會；在確實會的那些列上，損失比中位數所暗示的更大；而且供應商的兩份文件對於哪些是那些列並不一致。如果你的工作負載是代理式終端工作，請自行重新測量，而不是挑一張表。

相較之下，部署的算術則明確無疑，也是支持量化版本最有力的論據。BF16 儲存庫的檢查點檔案合計 248.9 GB，其自身的快速入門指引便以 4× H100 提供服務。NVFP4 儲存庫合計 75.06 GB，報告指出這相當於每個參數 4.82 位元（含縮放值），可裝入單張 H200、單張 GB200 或單台 DGX Spark。在單張 GB200 上，報告引述最高可達4,856 輸出 token/s/GPU，在 20 輪的代理式代理工作負載下，同時維持每位使用者至少 50 token/s，而 NVFP4 為2.43× BF16 在同一工作負載下的輸送量，而該模型則達到2.34×及1.90× Qwen3.5-122B-A10B 與 Qwen3.8 Flash-Next 的輸送量。以上數據全由 NVIDIA 實測，在 NVIDIA 自家的服務堆疊上，於該配方所選定的任何並行度下皆是如此。

發布內容中還有另一個四分之一很容易被忽略，而如果你的微調日後會被人拿來爭論，這一點就很重要。報告描述了對訓練後資料進行的一次污染檢查，移除了 20,671 個樣本——約 0.09%，其中分為 14,793 個 SFT 與 5,878 個 RL 樣本——在受檢的 30 個基準測試中，有 22 個出現相符情形，共對應 1,808 道基準題目，也就是 6.0%，而被判定為候選配對的樣本中約有 3% 被標記為嚴重污染。多數開放權重釋出完全不公布任何清理方法。當客戶問起為什麼你的微調評估數字看起來是這樣時，有一套可以引用的方法，比聽起來更有價值。

這會如何改變你這週能做的事

現在有三件具體的事情成為可能，而在10月12日之前這些事是不可能的。

第一個是你可以不必進行資料授權洽談就能打造的財務申報代理——但附帶一項但書。這些財務儲存庫涵蓋了完整流程：涵蓋七年 S&P 500 申報資料的 63,056 個以文件為依據的 SFT 範例、針對即時 SEC 搜尋環境的 90,307 筆 RL 工具呼叫記錄、用於行為層的 7,878 個多輪工具呼叫範例，以及 10,185 個隱去申報脈絡的 RL 任務，讓檢索成為任務的一部分。但書就是上文記載的除外條款：僅限摘錄、排除附件、移除第三方著作權素材，而問題仍由發行人負責。這是有充分文件記載的立場，而非乾淨無虞的立場；而這個資料集就是你應該先讀資料卡、再讀程式碼的那一個。

第二個是代理式工具使用，而這是這次發布中支援最完善的垂直領域。從 Nemotron-SFT-Agentic-v4 的 634,664 筆記錄、內含餐旅、電子商務、銀行與保險情境的 100,000 筆對話式工具使用種子集，到模型卡所指向的 NeMo Gym 環境，整條流程都被從頭到尾描述清楚：產生軌跡、執行模擬對話、以可驗證的獎勵進行訓練、在供應商自身所用的測試框架中評估。無論你怎麼看待這個模型，那都是一套完整的公開配方，能將通用的視覺語言模型轉變成會呼叫工具的代理，而這正是過去僅靠行家口耳相傳的那部分。

第三個是你確實能反覆迭代的公平性基準。Nemotron-SFT-BBQ-v1 有 6,000 筆記錄、8.0 MB，在年齡、外貌與身心障礙三個類別上以 2,000/2,000/2,000 均衡分布，而且其對話的撰寫方式，讓基於證據的答案與基於假設的答案都同樣合理。這樣的規模，你可以在一個下午內跑完、評分並重跑，這讓「你是怎麼測試這個的」從採購難題變成一項實驗。

試用它，但不把正式環境路徑押注在它身上

這次發布最棘手的地方是部署，不是資料。BF16 檢查點需要四張 H100，量化版本則需要單張 H200 或 GB200；開放權重放在 Hugging Face，而廠商自家通往託管端點的路線是 NVIDIA NIM，新聞稿也點名了第三方平台。我們不提供這個模型的服務，所以如果你想要受管理的端點，該找的是廠商自家的 API 和幾個第三方平台；在這裡，路由器能幫上忙的是其餘的決策部分。

一把金鑰即可使用 200 多個模型，採用供應商定價且零加成，意味著要拿 NVFP4 版本與你目前使用的任何文字模型相比，只需改一行程式碼，而不必再簽一份供應商合約；而跨供應商自動容錯移轉則意味著你還在測試階段的工作負載可以與正式環境流量並存，而兩者互不依賴。這就是一個你可以逆轉的決策樣貌——而這正是你對一個文件才發布兩天、自家基準測試表卻彼此矛盾的模型所會期望的。

實務上的做法順序是：拿 Nemotron-SFT-BBQ-v1，或 agentic 集合中的一個切片，在租來的 H200 上跑一次 LoRA 來驗證你的流程，再用你自己的評估標準替它打分，然後才決定 249 GB 的全精度版本和四張 GPU 是否值得。這些資料集都能免費下載，小型的也能免費執行。這個計畫完全不需要你相信什麼 99.62% 的中位數。

還缺少什麼

有三個落差值得關注，因為它們改變的是根本盤算，而非行銷包裝。

首先是對微調結果的獨立評估。本發布中的每一個後訓練數字——來自平行代理執行與自我驗證的 Terminal-Bench 從 62.7 提升至 71.9、同一實驗中 DeepSWE 從 24.6 提升至 34.5、AI21 的準確率提升 41%、Scale AI 的成本降低 40 倍——都來自 NVIDIA 的評估框架，或來自客戶自身的量測。目前沒有第三方在這些資料集上重現 Nemotron 3.5 Super VL 的微調並公布結果。在有第三方做到之前，請將效應量視為上限。

第二個是影片路徑。模型接受最長兩分鐘的 MP4，採用 2 FPS、256 幀，或針對 1080p 採用 1 FPS、128 幀，剪枝率為 0.5——而且這次發布中沒有公開的影片後訓練資料集。上述每個儲存庫都是文字，而翻譯與轉導資料集是長上下文文字，而非任何視覺內容。如果你的使用情境是模型卡所宣傳的影片理解，那麼 NVIDIA 已經推出了這項能力，卻沒有能讓它特化的資料。

第三點是，沒有人發表過這些資料集對非 Nemotron 模型會造成什麼影響。這十一套資料集全都是為了產出某一個模型的後訓練混合資料而建立的——資料卡明確指出，有些集合整合了較早的 Nemotron 專用版本，而對話種子集則被描述為某個樞軸集的種子資料，而非全新生成的資料。這個代理式語料庫是否能遷移到不同的 120B 主幹模型仍是未解的問題，而這正是已有微調技術堆疊的團隊會最想先獲得解答的問題。

這三個缺口都屬於那種會靠別人的成果、而非 NVIDIA 自己的成果來填補的缺口，而這是開放發布一貫的發展軌跡。權重今天就能下載，資料今天就能下載，而第一個可信的獨立微調成果，才是能告訴你這一切是否值得花 GPU 時間的關鍵。