
Nemotron-Labs-Sigma-distill-8B-nfe4、告知なしで登場——ダウンロード数はわずか5件
- GoogleNEWGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 100万トークンあたり · 90 tok/s
- AnthropicNEWAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 100万トークンあたり · 97 tok/s
- orcaNEWOrca: OrcaC2 1.02026-11-0717 tok/s
- OrcaNEWOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 100万トークンあたり · 88 tok/s
- OrcaNEWOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 100万トークンあたり · 133 tok/s
- OrcaNEWOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 100万トークンあたり · 72 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 100万トークンあたり · 127 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 100万トークンあたり · 65 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 100万トークンあたり · 92 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 100万トークンあたり · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447知能
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 100万トークンあたり · 193 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929知能
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 100万トークンあたり · 146 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733知能
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740知能
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 100万トークンあたり · 124 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955知能
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855知能
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 100万トークンあたり · 218 tok/s
Hugging Face では、本稿執筆時点の2026年11月17日までに、nvidia/Nemotron-Labs-Sigma-distill-8B-nfe4 が過去30日間に5回ダウンロードされ、いいねは0件だった。NVIDIA が6日前に公開した80億パラメータの言語モデルに対する、これまでの反応はそれだけだ。ブログ記事も、build.nvidia.com の掲載も、ローンチスレッドも、プレスリリース内のベンチマーク表もなかった。チェックポイント自体のカードにはリリース日が 11/12/2026 と記されており、リポジトリの最初のコミットは11月9日05:47 UTC、最後の編集は11月16日で、fp32 のジオメトリテンソルを保持するために変換を書き直したものだった。以下の内容はすべて、そのリポジトリ、その設定ファイル群、およびそれが引用する技術レポートから読み取ったものであり、確認できていない部分は補足で埋めるのではなく、その旨を明記している。
リポジトリが唯一の一次情報源であり、しかも異例なほど明示的です
ほとんどの静かなリリースはスタブカードを残す。これはそうではない。来歴ファイル、SHA-256 付きのチェックポイント整合性マニフェスト、トークナイザーの整合性ハッシュ、4 つの Model Card++ サブカード、そしてサンプラーを固定する生成設定を同梱している。これほどの記録管理は、モデルが社内リリースプロセスを経たうえで、単に告知されなかったときに得られるものだ。ローンチ記事が要約するであろう成果物はすべて揃っており、記事だけがない。
その背後にある論文は実在し、日付も明記されている:arXiv:2610.02665、Large Language Continuous Diffusion Models。17名の著者によるNVIDIAの論文で、そのv2は11月12日に公開され、モデルカードが重みの公開日としている日と同じである。論文はNemotron-Labs-Sigmaを、3Bと8Bの大規模連続拡散言語モデルの最初のファミリーと説明している。モデルカードの評価セクションは、その数値を「11月10日の限定公開ハンドオフで検証された10シード、6タスクの統計」に帰している——この一文は、公開リポジトリが有効化される少なくとも2日前から、そのファイルが非公開で回覧されていたことを示している。

チェックポイントには実際に何が入っているのか
余計な文章を削れば、仕様書は短くなる。以下の各行は config.json、generation_config.json、またはカードからのものだ:
• Backbone — Ministral スタイルのデコーダ専用トランスフォーマー:34 層、隠れサイズ 4,096、FFN 14,336、ヘッド次元 128 で 32 個のクエリヘッドと 8 個のキー・バリューヘッド、SwiGLU、設定内に YaRN スケーリングブロックを備えた RoPE。
• 生成ヘッド — 16次元の連続トークン埋め込み拡散ヘッドであり、補助的な自己回帰読み出しヘッドはプルーニングせずチェックポイント内に保持される。
• パラメータ数 — カードの命名では8.0B、safetensorsの集計では9.03B(BF16テンソル9,026,818,048個とF32 2,097,186個)、4つのシャード全体で18.06 GB。2つの数値の差は補助ヘッドです。
• デコーディング契約 — 32トークン単位のブロックで、ノイズ除去関数の評価をちょうど4回に読み出し1回を加えるため、ブロックあたりデノイザ呼び出しは5回となり、フォワードパスあたり6.4トークンを生成します。
• サンプラー — ステップ間で自己条件付けを引き継ぐネイティブのfresh_x0パス、Classifier-Free Guidanceは1に固定、スコア温度は1に固定。
• コンテキスト — プロンプトと生成で4,096トークン。英語のみ。トークンIDによるEOS停止は行いません。文字列またはトークン予算で停止します。
• ランタイム — PyTorch 2.4 以降、Transformers 4.55 以降、trust_remote_code、bfloat16 の CUDA GPU。CPU は明示的にサポート対象外であり、カードにはその理由が示されています。サンプラーは CPU 上で数値的に劣化し、使用不能な出力を生成します。
• ライセンス — NVIDIA Nemotron Open Model License。モデルカードには、商用利用および非商用利用が認められていると記載されています。また、モデルカードのユースケースのセクションには、このモデルはユーザーのハードウェア上でオフライン動作し、NVIDIA はサービスをホストしないと記載されています。
最後の一文は、どこかにSigmaエンドポイントが存在すると想定した人にとって重要な意味を持つ。だが、存在しない。build.nvidia.comにNemotron-Labs-Sigmaの項目はなく、このモデルはNemotronシリーズの他のモデルと同様、OrcaRouterのカタログにも掲載されていない。つまり、今日呼び出せるものは何もなく、あるのはダウンロードできるものだけだ。
4つのチェックポイント、4つの異なるモデル
命名からは、4つの設定で動く1つのモデルのように見える。だがそうではない。各NFE値は個別に蒸留された生徒モデルであり、カードでもステップ数が組み込み済みであることははっきり述べられている。「このバリアントはNFE=4専用に訓練されており、同梱の推論コードは任意のステップ数オーバーライドを意図的に公開していない」——他のステップ数では、生徒モデルが訓練していないフェーズ端点を評価することになるからだ。したがって、推論時にnfe4を2ステップに調整するのではなく、nfe2をダウンロードする。
公表されている6タスクの平均値(すべて10シード、2標準誤差付き)によって、このファミリーで初めてトレードオフが明確に読み取れるようになる:
• NFE 2 — GSM8K 80.17、MATH 55.72、HumanEval 48.17、MBPP 37.52;6タスク平均53.02。ブロックごとにデノイザー呼び出し3回、呼び出しあたり10.7トークン。
• NFE 4 — GSM8K 86.86、MATH 61.52、HumanEval 60.61、MBPP 57.50、6タスク平均 66.36。ブロックあたり5回の呼び出し、呼び出しあたり6.4トークン。
• NFE 8 — GSM8K 88.44、MATH 64.40、HumanEval 65.18、MBPP 62.60。6タスク平均70.34。1ブロックあたり9回の呼び出し、1呼び出しあたり3.6トークン。
• NFE 16 — GSM8K 89.61、HumanEval 67.68、MBPP 66.20、3タスク平均 74.50。ブロックあたり17回の呼び出し、呼び出しあたり1.9トークン。さらに、他の3つにはない注意点として、このチェックポイントは pending_ten_seed_six_task_validation とマークされており、その数値はシード42での3タスクにおける単一実行によるもので、カードには暫定的なものとして扱い、直接比較しないよう記載されている。
そのラダーの形こそが興味深い部分だ。ステップ数を2から4へ倍にすると、6タスク平均で13.3ポイントを得られる。さらに8へ倍にすると4.0を得られる。16にすると、実行された3タスクでさらに約4を得られる——ただし、これは別のより弱い評価によるものだ。言い換えれば、蒸留曲線はモデルが競争力を持つまさにその地点で急激に平坦化し、nfe4チェックポイントはそのニーのすぐ先にある。

数字はどこから来て、どこで止まるのか
上記のすべての数値はNVIDIAのものであり、NVIDIAが自社の評価ハーネス上で生成し、実際よりも独立しているように見せるシード数で報告しています。2標準誤差を伴う10シードは本格的なプロトコルであり、nfe4 HumanEvalスコア60.61が±1.43の区間を持つことを示します。これは、何かと比較した2ポイントの差を実際の差として読むべきではないほど広いものです。しかし、同じハーネスの10シードは10の研究室ではありません。
11月17日時点で存在しないもの:SigmaモデルのArtificial Analysisページ、公開モデル価格カタログ内のいかなる掲載、vLLMまたはSGLangによるサポート、第三者の再現。確認はすぐに済み、結果は空だ。vLLMのmain上のモデルレジストリにはnemotron_labs_sigmaアーキテクチャがない。Nemotron diffusionに言及しているSGLangのプルリクエストは、より古いNemotron-Labs-Diffusion-8B系向けであり、まだオープンのままである。Transformersにはネイティブのnemotron_labs_sigmaモジュールがなく、そのためモデルカードはtrust_remote_codeで読み込み、リポジトリの40 KBのモデリングファイルを重みと一緒に同梱するよう指示している。
正直な現状はこうです。公開された評価プロトコルを備えたリリース済みチェックポイントであり、外部検証はゼロです。これは2026年11月時点の拡散言語モデルにとって通常の状態であり、モデルへの批判ではありません。モデルカードのどこまでを前提に計画を立てられるかを説明したものです。
実行するのはPythonスクリプトであり、サービングスタックではありません
カードのクイックスタートは11行です。リモートコードを使ってトークナイザーとモデルを読み込み、bfloat16にキャストし、最大トークン数と任意の停止文字列を指定してgenerateを呼び出し、モデルが報告するNFEカウントを読み戻します。このリポジトリにはチャットテンプレートも、システムプロンプトも、ツール呼び出しも、JSONモードもありません。カードには、これはベンチマーク形式のプロンプティングであり、モデルはベースチェックポイントの蒸留された生徒モデルであってアシスタントではないと明記されています。会話をしたい場合は、コレクションに親モデルのinstruct版があり、コンテキスト長は8,192トークンです。
運用上の2つの詳細は、ざっと流し読みする人を必ず痛い目に遭わせる。第一に、停止だ。トークンIDのEOSによる停止は存在しないため、ストップ文字列を一度も生成しないリクエストはトークン予算まで走り続ける。そしてその予算は、4,096トークンのウィンドウ内でプロンプトと共有される。第二に、メモリだ。KVキャッシュを除いても18 GBのbfloat16重みがあり、しかもそのモデルでサポートされる唯一の経路は、リポジトリ自体のPyTorch eagerコードである。コレクションにはページドアテンションも継続的バッチングも量子化ビルドもない。今日サポートされる構成は、1つのGPU上の単一リクエストである。
スループットは多くの人が求める数値だが、このチェックポイントについてカードには示されていない。親モデルのカードでは、H100 1台でDDPMサンプラーを64トークンブロックあたり32ステップで使った場合、256トークン生成時に毎秒およそ120~140トークンと報告されている。蒸留されたnfe4は、64トークンあたり33回ではなく32トークンあたり5回呼び出す。呼び出し回数で見れば、1トークンあたりのフォワードパスは4倍強少ないということになるが、それはステップ数に基づく算術であってこのチェックポイントの実測ではなく、カードにはそのトークン毎秒の数値は公開されていない。
何が確認されていないのですか
ローンチ投稿なら決着がついていたはずの3つの点——今回のリリースではそれが決着していない:
• NVIDIA がこれを製品として意図しているのか、それとも研究用の成果物として意図しているのか。ライセンスは商用利用を許可しており、カードは製品向けの文言で書かれているが、ホスト型エンドポイントはなく、サポートに関する表明もなく、11月16日までの NVIDIA のブログ投稿のいずれにも言及がない。
• 教師の価値。カードには、生徒モデルが同じアーキテクチャファミリーの「MS-SUSReg-8B」教師から蒸留されたと記されており、来歴ファイルには、生徒のステップ1200時点の実行 8b_ms_susreg_n4_20261109 が記載されている。公開されているベースモデル Nemotron-Labs-Sigma-8B は同じ系統と説明されているが、ベースカードには数値が一切公開されておらず、論文へのポインタがあるだけなので、蒸留損失を2つのカードから並べて読み取ることはできない。

• nfe16チェックポイントがこのファミリーの中で最良なのか、それとも未完了の評価による産物なのか。その数値はカード上で最も高く、最も信頼できないものであり、カード自身がそう述べている。これはほとんどのリリースノートが示せていない以上に率直だ。
なぜ静かなリリースが重要なのか
NVIDIAはこの秋、Bolt、Super VL、Transcribe、Doryラインと多くのものを投入しており、いずれもブログ記事とbuild.nvidia.comのページを備えている。Sigmaはそうしたものを一切伴わず、同じ組織から、論文、ライセンス、4つのModel Card++サブカード、そしてダウンロード数5件のカウンターとともに登場した。最もありそうな解釈は、これは製品面から意図的に外された研究リリースだというものだ。カードに記載された想定用途は「レイテンシに敏感な生成研究、投機的デコードおよび並列デコードの研究」であり、これは研究室の成果物の言葉遣いである。
気にする価値があるかどうかを判断しようとしている読者にとって、実用的な問いは、そのモデルが抽象的に優れているかどうかではなく、サービングスタックなしの4Kコンテキストにおける4-NFE連続拡散LMが、すでに自分のパイプラインにある自己回帰モデルを上回るかどうかだ。それに答えるには実際に動かす必要があり、GPU時間をかける価値があるとわかる計算は単純だ。1回のフォワードパスあたり6.4トークンで、標準的なデコーダの1トークンに対してである。それが自分のワークロードと実際に接したときに持ちこたえるかどうかこそ、欠けている独立ベンチマークが教えてくれたはずのまさにその点だ。
OrcaRouterはこのチェックポイントを提供しておらず、固定ステップ数のブロック拡散型アーキテクチャ向けの配信経路を誰かが構築するまで、トークン単位の価格で提供されることもありません——コストモデルは自己回帰型APIのように入力トークンと出力トークンへそのまま対応するわけではないからです。OrcaRouterで実際に利用できるのは比較セットです:200以上の自己回帰モデル1つのキーでプロバイダーの定価のままマークアップなしでアクセスでき、Sigmaに関する疑問もスペックカードではなく実際のベースラインと比較して答えを出せます。両方を1つのエンドポイント経由でルーティングすることは、判断を下す間、実験を本番経路から切り離しておく最も低コストな方法でもあります。
