SkyRLは8ノードでMistral Large 4のAIMEスコアを11ポイント向上させた：1T MoEにおけるDay-0 RLが証明すること

Mistral Large 4は2026年10月6日にAPIプレビューとして発表され、その重みがダウンロード可能になったのは10月29日14:51 UTCになってからだった——だからこそ、同じ日に公開された強化学習の報告は、著者たちが触れていない理由によって注目に値する。つまり、その午後より前には、Mistralの外に微調整の結果を公表できる者はいなかったのだ。このノートはNovaSkyのSkyRLチームによるものだ。NVIDIA GB200ノード8台、NVFP4チェックポイントに対するLoRA強化学習、ロールアウトを配信するvLLM、そしてAIME 2024のaverage@8が75トレーニングステップで約64%から約75%へと上昇した。通常は0.1ポイント単位で決着するベンチマークにおける11ポイントは、その四半期で最も有用なリリース当日の結果か、さもなければ最も再現性の低い結果のどちらかであり、書かれたままのノートはそのどちらなのかを教えてくれない。

それが実際に語っていることは本物であり、語っていないこととは切り分ける価値がある。ハードウェアは名指しされている。チェックポイントも名指しされている。ロールアウトエンジンも名指しされている。学習フレームワークは2つのうちの一方として名指しされている。欠けているのは、報酬関数、アダプターのランク、評価ハーネス、そして学習曲線だ。別のチームが同じ実行を試みるのに必要な4つである。つまりこれは、見出しとなる数字を添えたレシピの発表であり、再現パッケージではない。前者として読めば、2026年後半に1兆パラメータの専門家混合モデルをポストトレーニングするコストについて、実に有益な情報を与えてくれる。後者として読めば、あるタスク上の1つのベンチマークを過大評価することになる。

SkyRLのメモに実際に書かれていること

主張全体は5行に収まるので、前置きなしでそのまま示します：

• ハードウェア — NVIDIA GB200ノード8台。所有ではなくレンタルで、1ノードあたり4基のGPUという構成は、Blackwellが32基、GPUあたり192 GBで総計約6.1 TBのHBMに相当します。

• チェックポイント — オープンリリースのNVFP4量子化版にあたる同系モデルで、32シャードにわたる610.1 GBであり、1,060.6 GBのFP8親モデルではない。この選択が要となる：これにより1Tモデルが8ノードに収まり、アクティベーション、KVキャッシュ、およびロールアウトエンジンの重み2コピー分の余地が残る。

• 方法 — 全パラメータRLではなくLoRA。アダプタのみが勾配を受け取るため、オプティマイザの状態は小さく保たれ、凍結されたベースは量子化された形式のままでいられる。

• ループ — vLLM がロールアウトを生成し、FSDP2 または Megatron がトレーニング側を担います。注記がどちらでも可としているのは、結果がまとめられた時点でトレーニングバックエンドがまだ差し替え中だったことを示しています。

• 結果 — AIME 2024 の average@8 が、75 回のトレーニングステップで約 64% から約 75% になりました。

そのリストの中には、その実行の仕様が何もない。バッチサイズも、シーケンス長も、学習率も、方策勾配のためのグループサイズもなく、報酬が何だったかについても、暗黙の「AIMEの解答は検証可能である」以外に記述がない。75ステップという数字は正確だが、それを解釈するために必要なものはほとんど正確ではない。

なぜAIMEスコアではなくノード数が見出しになるのか

1兆パラメータという数字は、主に抑止力として機能する。FP8チェックポイントは1.06 TBで、データセンターがあれば問題ないが、ラックしかなければ問題になる。NVFP4チェックポイントはそれを半分の610 GBにし、610 GBは、メモリの節約以上に通信コストがかかるシャーディングの小細工なしで8ノードに分散できる量だ。

だからこそ、ノートの中で興味深い文は、割合が含まれている文ではない。Hugging Faceはすでに、このモデル向けの教師ありファインチューニングのレシピを公開していた——TRLのSFTトレーナーを使ったLoRAを、8台のB300 GPUからなる単一ノード上で、FP8の重みに対して行うものだ。したがって、単一ノードでのSFTは、重みが公開されてから1日も経たないうちに文書化されていた。文書化されていなかったのは強化学習であり、その理由は構造的なものだ。RLでは、トレーナーと並行して推論エンジンを動かし、訓練に費やすGPU時間がサンプリングに費やすGPU時間に圧倒されないほど十分高速にロールアウトを生成する必要がある。SFTは固定データセットを読み込む。RLは自らデータを生成しなければならない。

したがって、公開されている2つのレシピの差分は「8ノード対1ノード」ではない。8ノード＋サービングスタック対、サービングスタックなしの1ノードであり、しかもモデルが何かを学習する前に30の問題をそれぞれ8回ずつ試さなければならないタスクにおける比較だ。ロールアウトエンジンが新たなコストセンターであり、生成器としてvLLMを名指ししている点こそ、他のチームが今日から動ける注記の部分である。

誰もがしてしまう比較と、それがなぜどちらの側にとっても不公平なのか

Mistralは重みを出荷する前にこのモデルで独自のRLを実行しており、その内容について同社は具体的に説明している。10月6日のプレビュー後におよそ3週間を追加で、同社がGPUではなくメガワット単位で表現するフランスの計算資源上で実行した——約10MW——一方、他の報道ではより広範なRLインフラを3,000 GPU規模としている。その実行から公表された結果は次の通り：

• Terminal-Bench 4.0 — 追加のRL前は28.3%、後は41%。

• BrowseComp — 導入前は75%、導入後は84.5%。

• B3 agent-security suite — 変更前93.3%、変更後97.1%。

• 出力長 — RL後はタスクあたり約30%トークン数が少なく、これは精度のどの行よりも購入者にとって重要です。

それをAIMEの64から75への伸びと並べると、1ポイント当たりのGPU時間の比率を計算したくなる。だが、そこは堪えたい。2つの実行はほとんど変数を共有していないからだ。Mistralの改善はエージェント的なターミナル作業とブラウジングにおけるもので、報酬設計を自社で手がけ、実時間で3週間をかけたベンダーによって測定された。SkyRLの改善は競技数学におけるもので、レンタルクラスタを使い、スクリプトで検証できる報酬を設定したパートナーによって測定された。Terminal-Benchの13ポイントの伸びとAIMEの11ポイントの伸びは、同じ成果を異なる単位で表したものではない。たまたま大きさが似ている、別々の成果なのだ。

公正に読めば、より狭く、より有用だ。データセンター規模で3週間のRLを行ったことでMistralのターミナルスコアは13ポイント動き、8ノード規模で数時間のLoRA RLを行ったことでパートナーの数学スコアは11ポイント動いた。どちらの数値も同じことを示している——このチェックポイントは強化学習に容易に反応する——が、どちらも他方について何も語っていない。

AIME 2024での64～75が証明することと、証明しないこと

まず計算から始めます。これはGPUなしで確認できる、この話の一部分だからです。AIME 2024は30問です。Average@8は1問あたり8回のサンプリング試行を意味するため、報告された数値は240件のコンプリーションに基づいています。そのサンプルサイズで70%付近の比率における標本誤差は数パーセントポイントであり、これにより11ポイントの変化はノイズを余裕で超えています。もし二つの数値が同じハーネスから得られたのであれば、そのタスクにおける改善は実際のものです。

それが言える最も強いことだし、ほとんどの day-zero 主張はこれほど良くさえないのだから、はっきり言う価値がある。では、限界は：

• このモデルについてMistralが公表したAIMEスコアは存在しません。64%というベースラインは、SkyRLが自社のハーネス上でベースチェックポイントを独自に測定した値であるため、差分は内部的には整合していますが、外部の基準に紐づけられてはいません——ベンダーによる数値が存在しないため、それと突き合わせて確認することはできません。

• Average@8 は pass@1 ではありません。1問につき8回試行すると、サンプリング分布の広いモデルは実際以上に良く見えます。そして、この2つの指標の差は、競技数学では通常5〜15ポイントあります。モデルを本番環境に導入するかどうかを決めるのは、本番で与える1回の試行で得られる数値です。

• AIME 2024は2年半前のものであり、事後学習データで最も多く含まれる数学セットの一つです。2026年のモデルがこれで高スコアを出すことは、訓練可能なチェックポイントの証拠であり、推論に関する判定ではありません。このノートには、ホールドアウト評価やより新しい評価について何も報告されていません。

• 1つのタスク、1回の実行、1つの報酬。検証可能な数学に対するRLは、存在する中で最も簡単なケースだ。報酬には判定者も評価基準も人間も必要ない。この結果は、可能な限り最も安価なRL信号の下でこのモデルがどこまで進むかについての記述であり、それは確かに最初に行うべき実験であり、同時に最も転用しにくい実験でもある。

それを再現するために必要なものと、ライセンスが何を許可しているか

実用的な買い物リスト（公表されたものではなく、メモから再構成したもの）:

• NVFP4チェックポイント — 610 GB、32シャード、ゲートなし。Hugging Faceアカウントのゲートなしで本日ダウンロードできます。

• 8ノードに約32基のBlackwellクラスGPUを配置し、さらにアダプター同期がステップ時間を圧迫しないようにするためのインターコネクトも用意する。

• このアーキテクチャ向けに動作する NVFP4 パスを備えた vLLM ビルド。モデルカードでは、公式コンテナを使った vLLM とテンソル並列サイズ 8 が推奨されており、ベンダーが最大 1.9 倍のスループットに相当すると主張する組み込みの投機的デコーディングヘッドについても言及されています。そのヘッドは RL ループに必要なものではありませんが、コンテナは必要です。

• アダプターのランクと報酬は、注記に記載がないため、ご自身で選択する必要があります。

ライセンスの問いは、技術的な問いよりもすっきりと解決する。MistralはこれをMistral Ecosystem Open-Weight Licenseの下で公開した。これは修正MIT条文であり、商用利用、ファインチューニング、派生物を許可し、その上でモデル・アズ・ア・サービス事業を運営する場合にのみ別途商用ライセンスを要求する。内部でのファインチューニング、プライベートなアダプター、レンタルノードでの評価実行——それらはすべて許諾の範囲内にある。トークン単位のAPIを立ち上げ、自分のファインチューニングへのアクセスを販売することはそうではない。計画が前者なら、ライセンスは問題ではない。後者なら、それが問題のすべてであり、AIMEの改善がどれほどあってもそれは変わらない。

後でコストがかさむループの半分

AIMEが安上がりなケースであるのには、明言する価値のある理由がある。報酬は、スクリプトが比較する解答文字列だ。審査者もルーブリックも、ループ内の第二モデルも存在しないため、ロールアウトの限界費用は推論だけで、それ以外は何もない。同じ手法をエージェント的タスク、自由形式の執筆、あるいは選好によって評価されるものに移すと、報酬はモデル呼び出しになる——ロールアウト規模で、各ステップで数千回、実行全体を通じて発行される。これは訓練計算とは異なる調達上の問題であり、多くのチームがGPUを確保した後に初めて発見する問題だ。

Mistral Large 4自体は当社が提供するモデルではないため、この記事はそこへのルートではありません — セルフホストする場合は、Hugging Faceリポジトリとベンダー自身のAPIを利用することを意味します。ルーティング可能なのは、このループのもう半分です。検証器がスクリプトではなくジャッジモデルである場合、ロールアウト時の呼び出し量に耐えられなければなりません。つまり、200以上のモデルを1つのエンドポイントでカバーし、プロバイダーの定価を上乗せなしでそのまま通し、トレーニングステップの途中で単一のジャッジエンドポイントがレート制限に達した際のフェイルオーバーも備えています。ジャッジとして実際に使用するモデルは、コンテキストと価格とともにOrcaRouterモデルカタログに掲載されています。重要なのは、ルーティングによってRLが安価になるということではありません。報酬シグナルはRL実行においてスケジュールを調整できない部分であり、それこそが安定したインターフェースの背後に置く価値のある部分なのです。

次に見るもの

この有望なメモを成果に変えるには、3つのことが必要です。SkyRLチームがアダプターのランク、報酬の定義、学習曲線を公開することです。そうすれば別のグループが、ただ感心するのではなく、同じ実行を試みることができます。2つ目は、できれば報酬が文字列比較ではないタスクです。これにより、その効果が審査員との接触に耐えられるかどうかを示せます。3つ目は、公開されたチェックポイントに対する独立したAIMEまたはより難しい数学の評価です。なぜなら、64%という下限は現在パートナー自身による測定であり、その但し書きを撤回する唯一の方法は、別の誰かが測定することだからです。

それまでは、正直な要約は短い。重みは公開からまだ1日で、パートナーが8台のレンタルノード上でLoRAアダプターを使い、数学ベンチマークを11ポイント動かしたが、まだ誰もそれを再現していない。これは大半のオープンウェイト公開が最初の1週間で提供するものより多く、見出しが示唆するものより少ない。