生成されたタイトルカードには「Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron 3.5 Lightning 30B A3B」と表示され、サブタイトルには、一方がダウンロード数5の拡散研究チェックポイントで、もう一方がダウンロード数962,098の本番用MoEであると記され、フッターには、両方の数値はベンダー報告であり、両者間で共有されるベンチマークはないと記されている。
Guides & Insights

Nemotron-Labs-Sigma-distill-8B-nfe4 対 Nemotron 3.5 Lightning 30B A3B:決して競合しない2つのNVIDIAリリース

著者

Gideon Frost

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

Nemotron-Labs-Sigma-distill-8B-nfe4 と Nemotron 3.5 Lightning 30B A3B を同じ文に入れると、どちらが賢いのかと問いたくなる。その問いに答えはない。データが乏しいからではなく、両モデルがベンチマークもコンテキスト長もサービングスタックもリリースプロセスも共有していないからだ。Nemotron-Labs-Sigma-distill-8B-nfe4 は、NVIDIA が 2026年11月12日に告知なしで公開した 8B の連続拡散モデルで、ダウンロード数は5回。Nemotron 3.5 Lightning 30B A3B は、総パラメータ30B・アクティブ3Bのハイブリッド Mamba-2 とアテンションの Mixture-of-Experts で、8月にモデルカードと build.nvidia.com のエンドポイント付きで出荷され、先月のダウンロード数は962,098回だった。有用な比較はスコアの比較ではない。どちらを実際にユーザーの前に出せるのか、そして何のために出せるのか、だ。

2枚のカードは異なる製品を説明しており、異なる階層ではありません。

ユースケースのセクションを並べて読むと、その差はもはや能力の問題ではなくなる。Sigma-distill のカードには、同モデルが「レイテンシに敏感な生成研究、投機的デコーディングおよび並列デコーディングの研究、デプロイ指向の実験」向けであると記され、さらにモデルは「ユーザー自身のハードウェア上でオフライン動作し、NVIDIA はサービスをホストしない」と明記されている。Lightning のカードは、integrate.api.nvidia.com にある OpenAI 互換エンドポイント、vLLM コンテナタグ、temperature 1.0 と top_p 0.95 という推奨サンプリングの組み合わせ、チャットテンプレート内の思考モード切り替え、および3つの別個の投機的デコーディング用ドラフトチェックポイントを指している。

一方はファイルです。もう一方は、その背後にファイルを伴うサービスです。この違いが、この記事のほぼすべての内容を方向づけています:

• パラメータ — 8B dense(補助読み出しヘッドを含めて数えると、safetensors の集計では9.03B)対 合計30Bで、トークンあたり3Bがアクティブ。

• アーキテクチャ — 16次元の連続拡散ヘッドを備えたMinistralスタイルのデコーダ 対 マルチトークン予測ヘッドを備えた、インターリーブされたMamba-2、MoE、選択的アテンション層

コンテキスト — プロンプトと出力を合わせて4,096トークンに対し、最大1,000,000トークン。ただし、単一のH100では約256,000にしか達せず、100万トークン全体には8台のH100、GB200、またはB200が必要という注意点があります。

• 言語 — 英語のみ vs 英語に加えてコーディング言語、スペイン語、フランス語、ドイツ語、イタリア語、日本語、および事後学習での中国語

• リリース形態 — カードと重みのみ、ベンダーエンドポイントなし、ホスト型エンドポイントに対するアナウンスもなし、BF16リファレンスビルド、NVFP4ビルド、そして投機的デコーディング用の3つのドラフトモデル。

• 過去30日間のダウンロード数 — BF16リポジトリだけで5回に対し962,098回、NVFP4ビルドの901,381回を数える前の時点で。

• ライセンス — 両方とも NVIDIA Nemotron Open Model License ですが、Lightning のモデルカードでは OpenMDW-1.1 と記載されています。

共通のベンチマークが存在しないため、スコアラインも存在しません

ここが、ほとんどの比較ページならうやむやにしてしまう部分だ。Sigma-distill のモデルカードは、GSM8K、MATH (Minerva)、HumanEval、HumanEval+、MBPP、MBPP+ を10シード・標準誤差2つ付きで報告し、さらに6タスク平均66.36も報告している。Lightning のモデルカードは、MMLU Pro、GPQA Diamond、HLE、SciCode、SWE-bench Verified、SWE-bench Multilingual、Terminal-Bench 2.1、PinchBench、BrowseComp、τ³-bench Banking、GDPval-AA-V2、IFBench、AA-LCR、AA-Omniscience を報告している。両者の共通集合は空集合だ。両方のカードに登場するベンチマークは一つもない。

それは報道上の偶然ではない。二つの評価は意図的に異なるものを測っている。Sigmaの6つのタスクは数百トークンでの短答推論とコード補完であり、Lightningのタスクはエージェント型ソフトウェアエンジニアリング、長文脈検索、専門知識である。4,096トークンのウィンドウを持ちチャットテンプレートがないモデルはSWE-benchのハーネスで評価を受けることはできず、関数本体を完成させるように訓練されたモデルにGPQAの質問が出されることはない。

だから引ける唯一の正直な線はこれだ:Sigma-distill nfe4 は自身の6タスクで10シード平均66.36であり、これは実際のプロトコル下での実数だが、Lightning が測定されたどの対象でどう振る舞うかについては何も語らない。一方が他方に勝つと言う人は、何も比較していない。

A generated chart showing that the two model cards share no benchmark: on the left, the six Nemotron-Labs-Sigma-distill-8B-nfe4 tasks with ten-seed accuracies of GSM8K 86.86, MATH 61.52, HumanEval 60.61, HumanEval+ 57.99, MBPP 57.50 and MBPP+ 73.70, mean 66.36; on the right, the Nemotron 3.5 Lightning 30B A3B evaluations including MMLU Pro 81.94, GPQA Diamond 75.44, SWE-bench Verified 51.56 and Terminal-Bench 2.1 24.58, with a divider marking that no task appears on both sides.

速度の面で比較は興味深くなり、そして決着がつかないままでもある

両モデルとも、単一の軸では捉えにくい形で高速であり、この対決に実質的な内容があるのはまさにこの点だ。

Sigma-distill は、1ブロックあたり32トークンを、ちょうど4回のノイズ除去評価と1回の読み出しで生成する。5回のフォワードパスで32トークン、つまりフォワードパス1回あたり6.4トークン。ステップ数はトレーニングによって固定されているため、この比率はプロンプト長や出力長によって変化しない。これは定数であり、モデルカードの推論コードはそれを上書きできないようにしている。親モデルのモデルカードには、64トークンのブロックあたり32ステップで、H100 1台あたり毎秒120~140トークンと報告されている。蒸留版は毎秒トークン数の数値を一切公表していないため、6.4倍少ないパス数という算術は、実測スループットではない。

Lightningはもう一方の道を取る。3BアクティブのMoEなので、各フォワードパスは安価であり、NVIDIAは推奨の投機的デコーディングのデフォルトとしてDSparkを提供し、代替としてDFlashと自社のマルチトークン予測ヘッドも用意している。そのスループット数値もスペック表にトークン毎秒で載っているわけではないが、ダウンロード数とサービングレシピを見れば、Sigmaとは違い本番環境で稼働してきたことが分かる。

重要な違いは、Sigmaの高速化が構造的でトークンあたり一定であるのに対し、Lightningのそれは投機的でワークロードに依存するという点だ。32トークンあたり5回呼び出しという固定の契約は、ドラフトの受け入れ率には決してない予測可能性を備えている。また現時点では測定不能でもある。nfe4チェックポイントのスループット数値が一つも公開されていないからだ。

それぞれの運用にかかるコスト

Sigma-distillは、4つのシャードに分かれた18.06 GBのbfloat16重みで、リポジトリ自体からPyTorchのeagerコードを通じてtrust_remote_codeを用いてCUDA GPU上に読み込まれ、ページドアテンションも継続的バッチングもなく、コレクション内に量子化ビルドもありません。エンドポイントが存在しないため、トークンあたりの価格はありません。NVIDIAのカードには、モデルはユーザーのハードウェア上で動作し、NVIDIAはサービスをホストしていないと記載されています。

Lightningは逆の形です。BF16の重みは316億パラメータです。NVIDIA自身の本番環境向け推奨は、代わりにNVFP4ビルドを使用することであり、同社のカードにはvLLMレシピ(コンテナタグ vllm/vllm-openai:v0.27.1)が付属し、FlashInfer Mambaバックエンド、FP16 SSMキャッシュ、プレフィックスキャッシングを備え、さらにHopperおよびBlackwell向けのSGLangイメージも用意されています。カード上にもbuild.nvidia.com上にも定価はありません——エンドポイントはNVIDIAのAPIトライアル条件の下にあります——が、サードパーティのプラットフォームでは、このモデルは入力100万トークンあたり約0.05ドル、出力100万トークンあたり約0.20ドルで掲載されています。この数字はマーケットプレイスでの観察であり、ベンダーの価格ではありません。

どちらのモデルも OrcaRouter のカタログにはなく、そうでないかのように示唆するのは不誠実です。OrcaRouter で利用できるのは、周辺の比較対象群です:200 以上のモデルが 1 つのキーで利用でき、プロバイダーの定価がマークアップなしでそのまま適用されるため、上流での値下げは四半期ごとの料金表改定ではなく当日に反映されます。これを読んでいる理由が、Sigma をテストするためのベースラインを選ぶ必要があるからなら、ベースラインはそこから得られます。

スコアではなくエンベロープで選ぶ

4つの質問でこれを1分以内に見極められます。しかも、そのどれもベンチマークの精度には関係しません:

• タスクは4,096トークンに収まるか?収まらないなら、Sigma-distillは選択肢から外れ、そこで話は終わりだ。Lightningの100万トークンのウィンドウ——単一のH100で256K——は3桁大きい。

• タスクに会話、ツール、構造化出力は必要ですか?Sigma-distill にはそのいずれもありません。チャットテンプレートもシステムプロンプトも JSON モードもなく、停止メカニズムとして使えるのは停止文字列とトークン予算だけです。Lightning には思考の切り替え付きのチャットテンプレートが搭載されています。

• 複数のリクエストを同時に処理する必要がありますか?Sigma にはサービングスタックがありません — サポートされている方法は、1 つの GPU 上で Python スクリプトを実行することです。Lightning には 2 つのエンジン統合と、公開された並列化レシピがあります。

• 関心がデコーディング機構そのもの——ブロック拡散、数ステップ蒸留、自己投機——にあるなら、2つのうち興味深いのはSigma-distillだけであり、Lightningはそもそも比較対象が完全に間違っている。

それ以外はすべてその4つから導かれる。製品のためにSigmaを評価しているチームが本当に問うているのは、研究用チェックポイントをサービスに変換できるかどうかであり、Lightningを評価しているチームは、3BアクティブのハイブリッドMoEが予算に収まるかどうかを問うている。それらは別の議論だ。

対戦が現実のものになる場面

このページを真の一騎打ちに変えるには2つの要素が必要だが、そのどちらもまだ存在しない。

最初のものは共通ベンチマークです。Sigma がいつか MMLU Pro や GPQA の数値を出すか、あるいは Lightning がいつか同等のプロンプト形式で GSM8K や HumanEval の数値を出せば、比較できる材料が生まれます。それまでは、正直な立場は上記のとおりです。同じベンダーが報告した、互いに相手のテストを受けられないモデルについての、重なりのない2つの評価スイートです。

2つ目はサービングパスです。Sigma-distill は現在、クローンするリポジトリであり、実行するスクリプトです。Nemotron diffusion に言及している SGLang のプルリクエストは、より古い Nemotron-Labs-Diffusion-8B 系を対象としており、11月17日時点でまだオープンのままです。また、vLLM のレジストリには nemotron_labs_sigma アーキテクチャがまったく存在しません。固定ステップ数のブロック拡散モデルがページドアテンションとバッチ処理を備えた瞬間、その 6.4トークン/パス の優位性は、投機的デコーディングの受理率と並べて示せる数値になります。そして、その比較は公表する価値があるでしょう。

Screenshot of the Hugging Face model card for NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, showing the model description as a hybrid Mamba-2, mixture-of-experts and attention model with 30B total and 3B active parameters, the release date of 08/11/2026, the OpenMDW-1.1 licence, and the evaluation table beginning with MMLU Pro at 81.94 and GPQA Diamond at 75.44.

それまでは、実用的な解釈としては、NVIDIAが同じ秋に2つの異なる対象向けに2つのモデルをリリースし、そのうち製品だったのは1つだけだということになる。Lightningは今日呼び出せるほうであり、サービスが意味するキャッシュ挙動、コンテキストウィンドウ、エンジンサポートを備えている。Sigma-distillは、8Bでの連続拡散が、32トークンあたり5回のフォワードパスで6つのタスクにおいて66.36を維持できるかどうかを気にするならダウンロードするほうだ——これはデコーディングに関する問いであり、能力に関する問いではなく、30B MoEとの比較をどれだけしても答えが出ない問いである。

A generated two-column scoreboard titled Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron 3.5 Lightning 30B A3B, contrasting context of 4,096 tokens against up to 1,000,000, English only against seven languages, five downloads against 962,098, no vendor endpoint against a hosted OpenAI-compatible endpoint, no engine support against vLLM and SGLang recipes, and a fixed 6.4 tokens per forward pass against speculative decoding, with a footer noting that no benchmark is shared between the two cards.