
Nemotron 3.5 Super VLのオープンなポストトレーニングデータセット:実際に何でファインチューニングできるのか
- OrcaNEWOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 100万トークンあたり · 71 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2952知能
- anthropicAnthropic: Claude Sonnet 5.52026-09-2856知能
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 100万トークンあたり · 741 tok/s
- OpenAIOpenAI: GPT-6 Luna2026-09-2238知能
- OpenAIOpenAI: GPT-6 Sol2026-09-2248知能
- AnthropicAnthropic: Claude Opus 5.52026-09-2258知能
- xAIGrok 4.72026-09-2146知能
- OrcaOrca: OrcaCyber Zero 1.02026-09-17$3.00 / $7.50 100万トークンあたり · 35 tok/s
- OrcaOrca: OrcaVerify Text 1.02026-09-16$2.00 / $0.00 100万トークンあたり · 821 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-09-1040知能
- OpenAIOpenAI: GPT-6 Astra2026-09-0453知能77コーディング
- GoogleGoogle: Gemini 3.8 Flash2026-09-0241知能76コーディング
- AlibabaQwen: Qwen3.8 Max (0902)2026-09-0245知能76コーディング
- AnthropicAnthropic: Claude Fable 5.12026-09-0153知能82コーディング
- TencentTencent: Hy4 preview2026-08-28$0.83 / $2.50 100万トークンあたり · 52 tok/s
- AlibabaQwen: Qwen3.8 Flash2026-08-26$0.15 / $0.47 100万トークンあたり · 110 tok/s
- z-aiZ.ai: GLM 5.3 Flash2026-08-2642知能72コーディング
- DeepSeekDeepSeek: DeepSeek V4 Flash Vision (Exp)2026-08-21$0.22 / $0.66 100万トークンあたり · 184 tok/s
- z-aiZ.ai: GLM 5.32026-08-1845知能75コーディング
NVIDIA Nemotron 3.5 Super VLは2026年10月12日にHugging Faceで重みを公開し、10月15日に発表された。そのリリースでほとんどの報道が素通りした半分は、実際に構築の土台にできる部分だ。すなわち、10月12日から15日の間に、nvidia組織は11件の新しいポストトレーニングデータセットを公開した。モデルカード自身が記す6段階のトレーニング説明の背後にある、教師ありファインチューニングと強化学習のコーパスである。11件すべてが統治条件としてOpenMDW-1.1を明記しているが、均一性が崩れるのはそこからだ。そのうち2件はHub上でlicense: otherとして提示され、別の2件は中身の都合で2つ目のライセンスを伴い、「商用または非商用での利用が可能」と一度も書いていない2枚のカードは、想像するものとは違う。以下では、各データセットの中身、カードが公開していることとしていないこと、そしてこの一連の公開全体が、どのNVIDIA文書を開くかによってまったく異なって読める99.62%という精度回復中央値とどう整合するかを示す。
何が届いたのか、そしてそれはいつなのか
Hugging Face は作成タイムスタンプを記録しているため、これは推定ではなく記録から読み取ったものです。11 個のリポジトリはすべて、61 時間の範囲内に現れました:
• Nemotron-RL-litmus-bench-v0.2 — 10月12日 16:37 UTC。化学的推論、訓練用47,118問とテスト用2,056問、64 MB。ChEMBL、OpenADMET ExpansionRxチャレンジデータ、およびBiogen ADMEセットから構築。CC-BY-SA-4.0とOpenMDW-1.1のデュアルライセンス。ChEMBL由来の問題に継承(share-alike)条項が適用されるためです。
• Nemotron-SFT-Agentic-v4 — 10月14日 17:54 UTC。シングルターンおよびマルチターンのツール使用トラジェクトリ。tool_calling スプリットの 549,707 件と knowledge_agent スプリットの 84,957 件にわたる計 634,664 件の会話レコード、18.88 GB。Qwen3.5-397B-A17B と GLM-5.2 を用いて生成。
• Nemotron-SFT-Instruction-Following-Chat-v4 — 10月14日 17:55 UTC。チャット、マルチターンの指示追従と応答長の制御、3,850,582件の会話レコード、80.74 GB。Kimi-K2.6、Gemma4-E4B-it、Qwen3.5-397B-A17Bを用いて生成。
• Nemotron-SFT-Agentic-Finance-v1 — 10月14日 18:54 UTC。公開SEC提出書類を対象とした、数値推論、財務モデリング、市場分析、調整、およびビート・オア・ミス(予想超過・未達)に関する問題にわたる7,878件のマルチターン・ツール呼び出し例、28 MB。
• Nemotron-RL-Agentic-Finance-v1 — 10月14日 18:55 UTC。10,185件のRLタスク、同じ5つのタスクファミリー、166 MB。提出書類のコンテキストは意図的に伏せられており、エージェントは sec_filing_search、parse_html_page、retrieve_information を使って取得する必要があります。
• Nemotron-SFT-Long-Context-Transduction-v1 — 10月14日 19:47 UTC。10,000件の指示と回答のペア、1.22 GB、位置追跡と系列変換用。これらを生成したモデルは存在しない。カードには、いかなる言語モデルも例や回答を生成したものではないと明記されており、4つのタスクファミリーは算術評価、16進数トークンの並べ替え、変数展開、CSV変換である。
• Nemotron-SFT-Long-Context-Translation-PG19-v1 — 10月14日 20:14 UTC。英語から多言語への翻訳例4,335件、2.22 GB、ソーステキストはPG-19コーパスのパブリックドメイン書籍から取得し、DeepSeek V4 Flashで翻訳。
• Nemotron-RL-Finance-Tool-Calling-v1 — 10月14日 22:46 UTC。1.23 GBの90,307件の金融レコード — 81,397件のコア推論サンプルと8,910件のより広範な金融エージェントサンプル — が、NeMo Gym内のFinance SEC Search環境に対して実行されました。
• Nemotron-SFT-Finance-Document-Grounded-Reasoning-v1 — 10月14日 22:46 UTC。1.01 GBに63,056件の例を収録。2017~2024年を対象とするS&P 500企業による10-K、10-Q、8-K提出書類に基づく。
• Nemotron-RL-Agentic-Conversational-Tool-Use-Seed-v1 — 10月14日 23:45 UTC。100,000 レコード、3.86 GB:conversation_tool_use_simulation リソースサーバー用のシードポリシー、ツール定義、シナリオで、ホスピタリティ、Eコマース、銀行、保険を対象とし、RL 中の模擬エージェント型会話に使用されます。
• Nemotron-SFT-BBQ-v1 — 10月15日 05:22 UTC。年齢、外見、障害を対象とした英語の公平性データ — 各2,000件、合計6,000件、8.0 MB — QA用バイアスベンチマーク(Bias Benchmark for QA)の分類体系に基づいて構築され、推測よりも根拠に基づく回答が評価されるよう設計された、架空の参加者同士の会話を収録しています。
そのリストについて重要なのは、行数よりも2つの点です。1つ目は、ライセンスの範囲が、見出しのタグが示唆するほど一律ではないこと。2つ目は、これらが誰の出力なのかということです。

ライセンスタグはライセンス全体ではありません
11のリポジトリはすべて、適用条件としてOpenMDW-1.1を挙げています。異なるのは、それがどのようにあなたに届くかであり、その上に商用のものを構築する前に、その違いは読む価値があります。
• タグ対名前付きライセンス — 11件のうち9件は、APIからそのまま読み取れるプレーンなタグとして license: openmdw-1.1 を持っています。Nemotron-SFT-Agentic-Finance-v1 と Nemotron-RL-Agentic-Finance-v1 は、license: other および license_name: openmdw-1.1 と、契約へのリンクとして提示されています。条件は同じですが、ライセンスタグでリポジトリをフィルタリングするツールには、2つの異なる値が見えることになります。
• 上流データに起因する2つ目のライセンス — Nemotron-SFT-Long-Context-Translation-PG19-v1 は、ソースコーパスが PG-19 であるため、OpenMDW-1.1 と併せて Apache-2.0 も採用しています。また、そのモデルカードには、基となる英語作品は米国ではパブリックドメインであるが、著作権の状況は他の法域では異なる場合があるため、ユーザーは再配布の前に現地の法律を確認すべきであると追記されています。Nemotron-RL-litmus-bench-v0.2 は、OpenMDW-1.1 と併せて CC-BY-SA-4.0 を採用しており、シェアアライク条項は特に ChEMBL 由来の質問に適用されます。
• 商用の定型文 — 9枚のカードには「このデータセットは商用・非商用を問わず利用可能です」と記載されている。そう記載されていない2枚は Nemotron-SFT-Long-Context-Transduction-v1 と Nemotron-SFT-Long-Context-Translation-PG19-v1 であり、金融のデータセットではなく、長文脈のペアである。
• コンテンツのカーブアウトが文書化されている場所 — ファイナンス。文書に基づくカードは、リリースが様式10-K、10-Q、8-Kの本文からの許可された限定コンテキストの抜粋のみを保持し、SECの全コーパス、すべての別紙、および第三者の著作権表示を有するあらゆるコンテンツは除外されると述べており、コンサルタントレポート、プレゼンテーション、公正意見書、アナリストリサーチを挙げている。また、抜粋は依然としてそれぞれの発行体の責任であるとも注記している。
つまり、実践的な読み方は直感的な読み方とは正反対だ。金融系のセットは、最も目立つライセンスバッジを掲げている——文書グラウンディングとツール呼び出しのセットにはクリーンなopenmdw-1.1が付いている——そして同時に、中身に最も多くの制限が明文化されているセットでもある。ロングコンテキスト系のセットは、Hubのメタデータと説明文が最も互いに食い違っているセットだ。どちらも手を引く理由にはならない。どちらも、ライセンス欄ひとつではなくカードを4枚読むべき理由なのである。

誰の出力がNVIDIAのフラッグシップを訓練したのか
今回のリリース全体に共通してもう一つ見られるのは生成モデルであり、モデルカードはそれを曖昧にせず明記している。主力のエージェント型SFTセットはQwen3.5-397B-A17BとGLM-5.2で作成された。指示追従セットにはKimi-K2.6とGemma4-E4B-itが追加されている。文書に基づく金融セットでは、質問生成にQwen3.5-397B-A17B、回答にDeepSeek-V4-Pro、フィルタリングと選別にgpt-oss-120bが挙げられている。RL金融ツール呼び出しセットでは、上流にQwen3.5-397B-A17BとQwen3-235B-A22B-Instruct-2507、回答にDeepSeek-V4-Pro、フィルタリングにgpt-oss-120b、そして8回のロールアウトにわたるRL難易度プロファイリングにNVIDIA Nemotron自体が挙げられている。PG-19の翻訳はDeepSeek V4 Flashで作成された。
それは公開に関する判断であり、偶然ではない。そして、品質について推論しようとする誰にとっても、このリリースで最も役立つものだ。これは、あなたがファインチューニングで植え込んでいる行動上の事前分布が、大部分はNVIDIAのものではないことを教えてくれる。それは、中国のフロンティアなオープンウェイト系2つ、OpenAIのオープンウェイトモデル1つ、Googleの小型モデル1つのブレンドだ。それらのどれかが金融テキストやツール選択でどう振る舞うかについて何らかの意見があるなら、その意見はここでのあなたの出発点に当てはまる。そして今や、推測するのではなく確認するための来歴がある。
なぜデータが、あなたが行動を起こせる部分なのか
データセットの公開がこのローンチの興味深い半分である理由は、ベンダー自身の数字を見れば明らかだ。NVIDIA のニュースルーム投稿は、このモデルを事後学習した組織の名を挙げ、その結果を引用している。Scale AI は Skydance のベンダークレジット業務で、「推論コストが 40分の1」かつ「レイテンシが 5分の1」、Ramp はレシート画像を構造化 JSON に変換する取り組みで、「最大 50% 高いスループットと 10分の1のレイテンシ」を見込み、AI21 と Alice は脅威インテリジェンスで、「精度が 41% 向上」した。開発者ブログをニュースルームと併せて読むと、同じ顧客の結果が「推論コストが 40分の1、レイテンシが 10分の1、精度が 40% 向上」に集約される — ニュースルームが 41 と言っている箇所が 40 になり、5x と言っている箇所が 10x になり、しかもそれは同じ 2 つのデプロイメントと思われるものについてだ。これらはベンチマークではなく、顧客自身のワークロードに対する期待値であり、どちらのバージョンもあなたには再現できない。
再現可能なのはレシートだ。ニュースルームによれば、モデルは約380万サンプルでポストトレーニングされ、数十の環境にわたる強化学習が行われた。また、オープンデータセットはエージェント的ツール使用、金融、指示追従、長文コンテキスト、公平性、視覚言語理解に及ぶ。上記の11リポジトリがそのコーパスであり、カードが指し示すNeMo Gym環境がハーネスである。ドキュメントインテリジェンスエージェントを求めるチームは今や、モデル、サービングレシピ、ファインチューニングライブラリ、トレーニングデータを一箇所で手に入れられる。「このモデルは専門化できる」と「今日ダウンロードできる専門化がここにある」の間のギャップを、これらのリポジトリが埋めるのだ。
そのカテゴリ一覧に関する注意点が一つあります。NVIDIAのニュースルームには、公開されたデータセットの中に視覚言語理解が含まれており、この期間に作成された11件の新しいNVIDIAデータセットリポジトリは、テキストとツール利用のコーパスです。文書に基づく金融セットは、今回の公開の中でビジョンセットに最も近いものですが、形式はテキストのみです。画像や動画の側面を目当てに来たのであれば、データはここにはありません — Hub上で最新のNVIDIAビジョンデータセットは、この期間より5日前のものです。
カードが公表していないこと、そしてそれがあなたにいくらの負担をかけるか
これは誰もローンチ記事には載せない数字であり、今回のリリースでは欠けている数字だ。11枚のデータセットカードはいずれもトークン数を公表していない。公表しているのはレコード数とストレージサイズだけだ。つまり、サイジングの問い——instruction-followingセットを1エポック回すのに何GPU時間かかるか——は、リリースからは答えられず、バイト数を想定のbytes-per-token比率で割って推定するしかない。そしてそれはまさに、測定されたかのように報道に流れ込む類の数字なのだ。
手がかりにできるのは公開されているストレージ容量です。Nemotron-SFT-Instruction-Following-Chat-v4 が 80.74 GB、Nemotron-SFT-Agentic-v4 が 18.88 GB、会話型ツール使用のシードセットが 3.86 GB、そしてその後はロングテール——2.22 GB、1.23 GB、1.22 GB、1.01 GB、166 MB、28 MB、8.0 MB、64 MB。最大の2つのセットは、このドロップ内の他のすべてより1~2桁大きい。このことは、トークン数を数えるまでもなく、ポストトレーニングの重みが実際にどこにあるのかを教えてくれます。
• Nemotron-SFT-Instruction-Following-Chat-v4 — 80.74 GB、3,850,582 レコード。これは、全パラメータ実行を午後の作業ではなくプロジェクトにするデータセットです。
• Nemotron-SFT-Agentic-v4 — 18.88 GB、634,664件のレコード。サイズはおよそ4分の1で、単一ノードでの実行が可能な範囲に収まります。
• Nemotron-SFT-BBQ-v1 — 8.0 MB、6,000 レコード。数分で反復できるほど小規模なので、本当に注力したいジョブに GPU を 1 週間分投入する前に、ファインチューニングのループが正しく接続されていることを証明する最も安価な方法になります。
• Nemotron-SFT-Long-Context-Transduction-v1 — 1.22 GB だが、サンプルはわずか 10,000 件で、公表されているサンプルあたりの範囲はターゲットトークン 2,048~131,072 である。ここではコストは量ではなく系列長によって左右され、カードには、これらの予算は cl100k_base で推定された生成ターゲットであり、トレーニング後に測定されたカウントではないと記されている。
モデル側の規模については、モデルカードがステージごとの予算を公開している。凍結されたバックボーンに対する1,000億トークンのMTPウォームアップ、次に大きいNemotronからの1兆トークンの蒸留、1,000億トークンのインド諸語の継続的事前学習、1Mコンテキストへの350億トークンの拡張、256Kでの670億トークンのソフトウェアエンジニアリング中間訓練、そして90億トークンの長コンテキスト回復ステージである。これらはNVIDIAがリリース内のどこかで示している唯一のトークン予算であり、それらはベースモデルの訓練に適用されるもので、これらのデータセットでのファインチューニングには適用されない。
それがまた、ここで LoRA の道筋が脚注ではなく重要となる理由でもあります。NVIDIA は、教師ありファインチューニングと低ランク適応のために NVIDIA NeMo AutoModel を開発者に示しています。そしてアダプターは、モデルの挙動のごく一部を動かすことと、249 GB の重みを再導出することの違いを生みます。どちらの道筋も現実のものであり、そのどちらを選ぶかは、ベースモデルの挙動をどれだけ動かすつもりかという判断です。狭いスキーマやポリシー追従の挙動を追い求めるファイナンスチームは、LoRA の領域にいます。モデルに、あらゆるやり取りを通じて新しい運用手順を保持させたいチームは、そうではありません。
2つの文書、1つのベンチマーク、正反対の回答
本リリースに付属する技術レポートは10月14日付で、文脈を欠いたまま最も遠くまで独り歩きした数値を掲載している。NVIDIAは、公開されたNVFP4チェックポイントが中央値99.62%の精度回復を、36のベンチマーク全体でBF16と比較して達成すると報告している。これは、積極的なポストトレーニング量子化レシピに続いて、SFTベースの量子化対応蒸留を200イテレーション実施した後のもので、レポートのモジュール別表によれば、C-RADIOビジョンエンコーダー、VLコネクタ、Mamba畳み込み、および埋め込みはBF16のまま、ルーター計算はFP32のままにされている。
「Median accuracy recovery」は比率の中央値であり、最小値ではない。99.62%を出すために、レポートはベンチマークごとにスコア比を計算し、36個の中で中央のものを取っている。つまり、見出しの数値が示すのは、典型的なベンチマークが完全精度を約0.4パーセント下回るということであり、裾についてはまったく何も語っていない。レポート自身の表は裾を示している。Tau3 Bankingは94.20%、SciCodeの問題解決スプリットは93.63%、MMLU-ProXは95.90%——そして逆方向ではGDPValが111.53%、Terminal-Bench v2.1が103.47%である。量子化は単一の実行でBF16参照を上回ることがあるからだ。
次にモデルカードを比較すると、話はしっぽよりも面白くなる。NVIDIA自身のNVFP4モデルカードは、同じチェックポイントについてBF16対NVFP4の表を公開しており、それによればTerminal-Bench 2.1は66.70対60.80——量子化ビルドは9パーセント低い。技術レポートのフルスイート表では、同じベンチマークは60.67対62.78で、量子化ビルドが上回っている。同じモデル、同じベンチマーク、同じ評価ハーネス系統、2つのNVIDIA文書、正反対の方向。カードはまた、WebVoyagerが77.72から66.31へ、DeepSWEが24.65から18.2へ低下することも示しており、どちらも99.62%という見出しから得られる話のバージョンではない。
それはスキャンダルではない——異なる表は異なるハーネス構成を載せ得るし、報告書の表は各行と並べて回復率を報告している——が、それはつまり「NVFP4は自分の精度を犠牲にするのか」に対する正直な答えが次のようになることを意味する。大半の公開行では、ごくわずかしか犠牲にしない。犠牲にする行では、中央値が示唆するより大きく犠牲にする。そしてベンダーの2つの文書は、どの行がそれに当たるかについて食い違っている。あなたのワークロードがエージェント的なターミナル作業なら、表を選ぶのではなく、自分で再測定すべきだ。
対照的に、デプロイメントの計算は曖昧さがなく、量子化ビルドを支持する最も強い論拠である。BF16リポジトリはチェックポイントファイルの合計が248.9 GBで、独自のクイックスタートは4× H100上でこれを提供する。NVFP4リポジトリは合計75.06 GBで、レポートではスケールを含めてパラメータあたり4.82ビットとされており、これは1台のH200、1台のGB200、または単一のDGX Sparkに収まる。1台のGB200では、レポートは最大4,856出力トークン/秒/GPUを、20ターンのエージェント型プロキシワークロードで、少なくとも50トークン/秒/ユーザーを維持しながら、NVFP4では、2.43×同一ワークロードでのBF16のスループットとなり、モデルは2.34×および1.90×、それぞれQwen3.5-122B-A10BとQwen3.8 Flash-Nextのスループットであると報告している。これらはすべてNVIDIAが測定したもので、NVIDIA自身のサービングスタック上で、レシピが選択した同時実行数で得られたものである。
リリースのさらにもう四分の一は見落とされやすく、あなたのファインチューニングが後で議論の的になるなら重要になる。レポートは、ポストトレーニングデータに対するコンタミネーション検査について述べており、それによって20,671サンプル——約0.09%で、SFT 14,793件とRL 5,878件に分かれる——が削除され、確認された30のベンチマークのうち22において1,808問、つまり6.0%のベンチマーク問題と一致し、判定された候補ペアのおよそ3%が深刻なコンタミネーションとしてフラグ付けされた。ほとんどのオープンウェイトのリリースは、クリーニング手法を一切公開していない。引用できる手法を持っていることは、顧客からなぜあなたのファインチューニングの評価数値がそうなるのかと尋ねられたとき、言葉の印象以上に価値がある。

これによって今週できることがどう変わるか
10月12日以前にはなかった3つの具体的なことが、今では可能になった。
最初のものは、データライセンスの交渉なしに構築できる金融ファイリングエージェントです — ただし、注意点が1つ付きます。金融リポジトリは全体のループをカバーしています。S&P 500 の提出書類7年分に基づく文書グラウンディング付き SFT 例 63,056 件、ライブの SEC 検索環境に対する RL ツール呼び出し記録 90,307 件、行動層向けのマルチターン・ツール呼び出し例 7,878 件、そしてファイリング文脈を伏せて検索自体をタスクの一部とした RL タスク 10,185 件です。注意点は上記で文書化されている除外規定です。抜粋のみ、展示物は除外、第三者の著作権資料は削除、そして問題は発行体の責任のままです。これはクリーンな立場というより、十分に文書化された立場であり、コードの前にカードを読むべきデータセットです。
2つ目はエージェント型ツール使用であり、これは今回のリリースで最も手厚く支えられている領域だ。Nemotron-SFT-Agentic-v4の634,664件のレコード、ホスピタリティ、eコマース、銀行、保険のシナリオを伴う10万件の会話型ツール使用シードセット、そしてカードが示すNeMo Gym環境を合わせれば、パイプライン全体が端から端まで説明されている。軌道を生成し、シミュレーション会話を実行し、検証可能な報酬で訓練し、ベンダー自身が使用したハーネスで評価する。このモデルをどう評価するにせよ、それは汎用視覚言語モデルをツール呼び出しエージェントに変えるための完全な公開レシピであり、かつては属人的な知識だった部分である。
三つ目は、実際に反復改善できる公平性ベースラインです。Nemotron-SFT-BBQ-v1 は 6,000 レコード、8.0 MB で、年齢、身体的容貌、障害について 2,000/2,000/2,000 で均衡しており、その会話は、証拠に基づく回答と想定に基づく回答の両方がもっともらしくなるように書かれています。その規模なら、午後ひとつで実行し、採点し、再実行できます。これにより、「これをどうテストしたのか」が調達上の問題から実験へと変わります。
本番パスをそれに賭けずに試す
このリリースで厄介なのは、データではなくデプロイメントだ。BF16チェックポイントはH100を4基要求し、量子化版は単一のH200またはGB200を要求する。オープンウェイトはHugging Faceにあり、ベンダー自身がホスト型エンドポイントへ至るルートはNVIDIA NIMで、ニュースルームはサードパーティのプラットフォームも挙げている。当社はこのモデルを提供していないので、マネージドエンドポイントを求めるなら、ベンダー自身のAPIと複数のサードパーティプラットフォームが探すべき場所だ。ここでルーターが役立つのは、意思決定の残りの部分だ。
プロバイダー定価でマークアップ0%、200以上のモデルを1つのキーでとは、NVFP4ビルドを、今日あなたが使っているテキストモデルと比較するのに、2社目とのベンダー契約ではなく1行の変更で済むということであり、プロバイダー間の自動フェイルオーバーとは、テストしているだけのワークロードを本番トラフィックの隣に置いても、どちらかが他方に依存しないということを意味します。それこそが、覆せる決定のかたちです — ドキュメントができて2日しか経っておらず、自身のベンチマーク表同士が矛盾しているモデルに求めるのは、まさにそういうことです。
実用的な順序はこうだ。Nemotron-SFT-BBQ-v1 か、エージェント向けデータセットの一部を取り、借りた H200 上で LoRA を実行して自分のループを検証し、それを自前の評価で採点し、それからようやく、249 GB のフル精度ビルドと4台の GPU に見合う価値があるかを判断する。データセットは無料でダウンロードでき、小規模なものは無料で実行できる。その計画のどこにも、99.62% という中央値を信じる必要はない。
まだ足りないものは何か
3つのギャップは、マーケティングではなく計算根拠を変えるため、注視する価値がある。
第一に挙げられるのは、ファインチューニング結果の独立評価です。このリリースにおけるあらゆるポストトレーニング数値 — 並列エージェント実行と自己検証による Terminal-Bench の 62.7 から 71.9 への移動、同じ実験における DeepSWE の 24.6 から 34.5 への移動、AI21 での 41% の精度改善、Scale AI での 40 倍のコスト削減 — は、NVIDIA のハーネスか、顧客自身の測定によるものです。これらのデータセットで Nemotron 3.5 Super VL のファインチューニングを再現し、その結果を公開した第三者はいません。それが存在するまでは、効果量を上限として扱ってください。
2つ目は動画パスです。モデルは、2 FPS・256フレームで最長2分のMP4、または1080pでは1 FPS・128フレームのMP4を受け付け、プルーニング率は0.5です。また、今回のリリースには公開の動画ポストトレーニングデータセットがありません。上記のすべてのリポジトリはテキストで、翻訳セットとトランスダクションセットも、視覚的なものではなくロングコンテキストのテキストです。あなたのユースケースが、モデルカードで宣伝されている動画理解であるなら、NVIDIAはその機能を出荷していますが、それを特化させるためのデータはありません。
第三は、これらのデータセットがNemotronではないモデルに何をもたらすのかを誰も公表していないことだ。11件すべては、ある1つのモデルのポストトレーニング混合物を生み出すために作られており、カードには、一部のセットが以前のNemotron固有のバージョンを統合したものであることが明記され、会話シードセットは新規生成ではなくピボットセットのシードデータとして説明されている。エージェント的コーパスが別の120Bバックボーンに転移するかどうかは未解決の問いであり、それは既存のファインチューニングスタックを持つチームが最初に答えを知りたい問いである。
3つすべてのギャップは、NVIDIA自身の仕事ではなく誰か他の人の仕事によって埋まる類のものであり、これはオープンリリースにおけるいつもの展開だ。重みは今日ダウンロードでき、データも今日ダウンロードできる。そして、それらがGPU時間を費やす価値があるかどうかを教えてくれるのは、最初の信頼に足る独立系のファインチューニングだ。
この記事で比較したモデル2
この記事から検出 · ベンチマーク:Artificial Analysis · 毎日更新
