生成されたタイトルカードには「Nemotron-Labs-Sigma-distill-8B-nfe4 対 Nemotron-Labs-Sigma」と表示され、サブタイトルは「同じ系譜、2つのデコード契約」で、4つの統計タイルを備える。ベースは8.49BパラメータでDDIMステップを設定可能、蒸留版は9.03Bでブロックごとに固定4回のノイズ除去評価を行う。ベースのダウンロード数は106に対し、蒸留版は5。フッターには、すべての数値はNVIDIAのモデルカードによるもので、どちらにも独立したベンチマークは存在しないと注記されている。
Guides & Insights

Nemotron-Labs-Sigma-distill-8B-nfe4 対 Nemotron-Labs-Sigma:同じ重みの系譜、2つのデコーディング契約

著者

jinhao.song

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

Nemotron-Labs-Sigma-distill-8B-nfe4 について混乱しやすいのは、それが Nemotron-Labs-Sigma-8B の上位版ではないという点です。これは別の契約を持つ別のファイルで、同じ系統の教師モデルから生成されており、両者の違いは精度ではありません — 単語を出力するためにネットワークが何回実行されるかです。ベースの 8B は 2026年10月5日に事前学習済みの研究用モデルとして公開されました。8.49B パラメータ、設定可能なノイズ除去ステップ数、手動で調整する必要がある classifier-free guidance、そしてスコアを一切公開せず、代わりに arXiv:2610.02665 を参照するモデルカードを備えています。蒸留版の nfe4 は 2026年11月12日に、9.03B パラメータ、チェックポイントに組み込まれたステップ数、そして NVIDIA が Sigma のカードに掲載した唯一のベンチマーク別表とともに登場しました。どちらも英語のみで、どちらも最大 4,096 トークン、どちらも同じライセンスの下にあります。両者のどちらを選ぶかは、モデルに計算資源をどう使わせたいかという選択です。

ファイルごとに実際に何が異なるのか

両方のリポジトリは同じ model_type — nemotron_labs_sigma — を提供しており、どちらも trust_remote_code とリポジトリからの 40 KB の modelling ファイルを使って同じ方法で読み込まれます。設定は、推論時に重要となる点では異なりますが、バックボーンではほとんど違いがありません:

• バックボーン — 両者とも同一形状:34層、隠れサイズ4,096、FFN 14,336、クエリヘッド32、キーバリューヘッド8、SwiGLU、RoPE、語彙数131,072トークン。

• パラメータ — ベースは{{1}}8.49B(8,489,947,136 BF16+2,097,186 F32){{/1}}、蒸留版は{{2}}9.03B(9,026,818,048 BF16+同じF32数){{/2}}です。追加の537Mは、蒸留版が拡散ヘッドと併せて保持する補助的な自己回帰読み出しヘッドです。

• ディスク上の重み — 16.99 GB 対 18.06 GB、各4シャード。

• コンテキスト — ベースと蒸留版の両方で4,096トークン。同じコレクションのinstruct版ではこれが8,192に引き上げられ、チャットテンプレートが追加されます。ここにあるどちらのモデルにもチャットテンプレートはありません。

• Steps — ベースは呼び出し時に steps と block_length を公開し、そのカードは予算別の表を公開します。蒸留版はオーバーライドを一切受け付けません。

• ガイダンス — ベースモデルには分類器なしガイダンス(32ステップと16ステップでは3.0、4ステップでは2.0)と調整済みのスコア温度が必要だ。蒸留モデルはCFG 1、スコア温度1で動作する。つまりガイダンスなし、調整なしということだ。

• サンプラー — ベースはデフォルトで64トークンブロックのlog_snrグリッド上でDDIM向けに文書化されている;蒸留版はステップ間で自己条件付けを引き継ぐfresh_x0と32トークンブロックを使用する。

蒸留モデルでは、ステップ数は設定項目ではありません

「ノイズ除去ステップ数は学習によって固定されています。このバリアントはNFE=4のみで学習されており、同梱の推論コードは意図的に任意のステップ数の上書きを公開していません(他のステップ数では未学習のフェーズ端点が評価されることになります)。」

Phased DMDは軌道を蒸留し、蒸留された軌道は特定のノイズレベルにフェーズ端点を持つ。4ステップの生徒モデルに8ステップを踏ませるのは、品質を高めるために遅く実行しているのではない。訓練時に経験したことのないノイズレベルで評価させているのだ。カードには出力が劣化すると書かれている。調整ダイヤルは存在しない。

ベースは逆です。そのカードには表が示されています——DDIM-32はCFG 3とscore temperature 0.3、DDIM-16はCFG 3と0.4、DDIM-8はCFG 3と0.6、DDIM-4はCFG 2と0.8——さらに、およそ16ステップを下回ると事前学習済みモデルの品質が目に見えて低下すること、少数ステップ生成には代わりに蒸留版を使うべきであるという警告が加えられています。

同じ組織によるこれら二つの声明は、合わせて読むと分業になっている。base は調整するもの、distill は調整しないものだ。ノブが欲しいなら base を選べ。定数が欲しいなら distill を選べ。

A generated diagram comparing the decoding contracts of the two models: the base Nemotron-Labs-Sigma-8B shown as a configurable path of 32, 16, 8 or 4 denoising steps per 64-token block with classifier-free guidance of 3, 3, 3 or 2 and score temperatures of 0.3, 0.4, 0.6 and 0.8, against the distilled nfe4 shown as a single fixed path of 4 denoising evaluations plus one readout per 32-token block at guidance 1 and temperature 1.

両者を分かつ算術

二つの契約を同じ単位に揃えれば、蒸留ファイルが存在する理由は明白になる。

• Baseは推奨設定で — 64トークンブロックあたり33回のデノイザー呼び出し(32ステップ+読み出し1回)となり、フォワードパスあたり1.9トークンです。

• 基本は4ステップ — 64トークンのブロックあたり5回の呼び出し、1パスあたり12.8トークンだが、カードには16ステップを下回ると品質が明らかに低下すると警告されている。

• Distill nfe4 — 32トークンのブロックあたり5回の呼び出し、1パスあたり6.4トークン、カードが公表する品質で。

• nfe8 を蒸留 — 32トークンブロックあたり9回の呼び出し、1パスあたり3.6トークン、6タスク平均で4ポイント改善。

つまり、蒸留された nfe4 は、ベースの安全な動作点と安全でない動作点の間に位置する。推奨されるベース構成よりもトークンあたりの順伝播回数が3分の1で、しかもモデルが実際に学習されたステップ数になっている。それがこのリリースの前提のすべてであり、知能ではなく計算資源に関する前提だ。

これは実測されたスループットではない。ベースカードは、1台のH100上でDDPMを64トークンブロックあたり32ステップで用いた場合に、256トークンを生成する際のおよそ毎秒120~140トークンを報告している。蒸留カードには、毎秒トークン数の数値は公表されていない。上記の呼び出し回数の比率は、公表されたステップ数に基づく算術計算である。その前提で扱うこと。

どれに数字が入っていて、それがどれくらいの価値があるのか

ここで2枚のカードは大きく方向を異にし、しかもそれはベースにとって居心地の悪い方向である。

Nemotron-Labs-Sigma-8Bはベンチマーク表を一切公開していない。その評価セクションは、結果は「技術レポートで報告されている」とする2文だけだ。その精度について知り得ることはすべて、arXiv:2610.02665から得るしかない——3Bと8Bのファミリー(ベースモデルと蒸留モデルの両方)を扱い、その要旨では、これらのモデルがマスク拡散言語モデルや自己回帰ベースラインを上回り、コーディングで最大の一貫した改善を示すと主張している論文である。

蒸留された nfe4 カードは実際に数値を公開しており、10 個のシードで 2 標準誤差付きです。GSM8K 86.86 ± 0.28、MATH 61.52 ± 0.20、HumanEval 60.61 ± 1.43、HumanEval+ 57.99 ± 1.20、MBPP 57.50 ± 0.61、MBPP+ 73.70 ± 1.07、6 タスク平均 66.36 ± 0.46。10 個のシード値のうち 9 個は 42 から 51 の範囲にあるため、プロトコルは再現できる程度に正確に記述されています。

したがって、この2枚のカードを組み合わせても、蒸留にいくらコストがかかったのかは分かりません。これはこの比較で最も有用な数値ですが、教師側のカードには差し引く元になる表がないため、欠けています。この主張が存在するのは論文だけであり、その表現は方向性を示すものです。分布マッチング蒸留により、数学では約8倍、コーディングでは約4倍の高速化が得られ、「精度低下は軽微」とされています。これらの倍率はカードではなく論文で報告されたものであり、今日ハブ上にあるまさにその2つのチェックポイントを対象とした対照比較ではなく、ファミリー自身の実験を指しています。

蒸留ライン自体にもう一つ微妙な点があります。nfe16 の同系列モデルは pending_ten_seed_six_task_validation と記されています。その3タスク平均74.50は seed-42 の単一実行によるもので、カードには他の変種の10シード平均と比較しないよう記載されています。したがって「最大のものが最良」というのは、カードが明確に支持しない解釈です。

誰も口にしない第三の選択肢

コレクションには、この比較対象である2つのモデルのどちらでもなく、おそらくその中で最も興味深いファイルであるバリアントが含まれています。Nemotron-Labs-Sigma-distill-spec-8Bです。これは同じMS-SUSReg-8B教師モデルを、追加の受理目的関数で蒸留したものであり、純粋な数ステップサンプラーとして動作するのではなく、拡散ヘッドで32トークンのブロックをドラフトし、自身の自己回帰ヘッドで検証します。各ラウンドのコストは拡散呼び出し1回分で、受理されたトークンはさらなる順伝播なしで出力されます。カードには、返されるテキストはまさに貪欲な自己回帰出力であると記載されています。つまり、受理はスループットを変えるだけで、内容は決して変わりません。

公表されているアクセプタンス数値は単一のスナップショットであり、平均受理長はHumanEvalで7.91、GSM8Kで11.86、MBPPで13.37です(ボーナストークンを含み、ブートストラップラウンドは除外)。これらはスループットの指標であり、精度の指標ではなく、nfe4の精度表とは比較できません。これはカードが太字で示している区別です。

実用的には、「拡散ヘッドはモデルの出力内容を変えずに高速化できるのか」という問いなら、注目すべきはこのバリアントです。これはこの比較のどちらのモデルにもそのまま差し替えられるものではありません。generate_speculative と両方のヘッドが必要で、自己条件付けはオフにする必要があります。

Screenshot of the Hugging Face model card for nvidia/Nemotron-Labs-Sigma-8B, showing the description of an 8-billion-parameter continuous diffusion language model that denoises in a 16-dimensional continuous token-embedding space and decodes in parallel blocks using DDPM or DDIM samplers, the note that this is the base pretrained model rather than an instruction follower, and the NVIDIA Nemotron Open Model License.

実際にどう選ぶか

この判断は4つの確認事項に帰着し、ほとんどの読者にとっては最初の確認事項が一方の側を完全に排除する:

• サンプリングプロセスそのもの——ガイダンススケジュール、ステップ数、トラジェクトリ誘導、classifier-free guidance の挙動——を研究していますか? ベースとなるのはモデルです。調整用のつまみと予算別の表を持っているのは、モデルだからです。

• トークンあたり固定コストでテキストを生成するものを構築していて、チューニング用の調整項目を望まない場合は? そのモデルは nfe4 distill です。CFG 1 と score temperature 1 が完全な構成だからです。

• {{1}}アシスタントは必要ですか?どちらも不要です。{{/1}} どちらのリポジトリにもチャットテンプレートはなく、システムプロンプトもツール呼び出しもなく、ベースカードには指示に従うものではないと明記されています。その用途に合うのは、コンテキスト8,192トークンのinstructバリアントです。

• 引用できるベンチマークが必要ですか?それを備えているのはdistillだけで、しかもそれはNVIDIA自身のものです。

その4つのどれもパラメータ数について尋ねておらず、それがこれがサイズ比較ではないことを示す手がかりだ。537Mパラメータの差は、自己回帰ヘッドをファイル内に残しておくことの代償であり、nfe4の純粋な拡散経路には何の利益ももたらさない——同じアーキテクチャがspecバリアントの基盤にもなっているから、そこに存在しているのだ。

ペアの要点

NVIDIAは1つのバックボーンを作り、それを2回リリースした。1回は研究対象として、もう1回は実行するものとして。これは一貫した戦略であり、2つのカードの記述がこれほど大きく異なる理由でもある。ベース版のカードはサンプラーを変更する研究者に向けて書かれ、蒸留版のカードは変更しない開発者に向けて書かれている。

このペアにまだ欠けているのは、そのトレードオフを正直に検証できるようにするもの、つまり教師スコアだ。ベースの8Bカードが、蒸留版のカードが持つのと同じ6タスク表を備えるまでは、蒸留によって何が得られたかに関するあらゆる主張は、これら2つのファイルについての主張ではなく、論文のファミリーレベルの実験についての主張である。NVIDIAがその表を追加すれば——ベースカードの最後の編集が11月16日であることは、リポジトリがまだ保守されていることを示唆している——この比較は再構成ではなく引き算になる。

現時点での実用的な解釈は限定的ですが有用です。異なるステップ予算の下で連続拡散LMがどう振る舞うかを探りたいならbaseを、公表されている精度で1回のフォワードパスあたり6.4トークンに固定したいならnfe4を選び、チャットモデルや長いメモより長いコンテキストウィンドウが必要ならどちらも見送ってください。どちらも現在OrcaRouterのカタログにはなく、ブロック拡散アーキテクチャ向けのサービング経路が存在するまで掲載されることもありません。OrcaRouterが実際に提供しているのは、200以上の自己回帰モデルであり、どちらをベンチマークする際の比較対象として、1つのキーでプロバイダー定価でマークアップなしに利用でき、実験を本番経路から切り離したい場合には自動フェイルオーバーも使えます。

A generated two-column scoreboard titled Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma, contrasting the distill at 9.03B parameters and 18.06 gigabytes, a fixed 4 denoising evaluations per 32-token block, guidance 1 and no tuning, a published six-task mean of 66.36, five downloads and a 12 November 2026 release, against the base at 8.49B and 16.99 gigabytes, configurable steps from 4 to 32, guidance 3 and tuned score temperature, no published benchmark table, 106 downloads and a 5 October 2026 release, with a footer noting all figures are NVIDIA-reported.