Raon-1 mini：KRAFTONの28.8B MoEと、184秒しか続かなかったvLLM PR

10月28日06:34:19 UTCに、vllm-project/vllmに対して「[Model] Add Raon-1-mini support」というタイトルのプルリクエストが作成されました。それはスタブではありませんでした。27ファイル、3,971行の追加、22行の削除に加え、テストスイートとドキュメントページを含んでいました。06:37:23、つまり3分4秒後、それはクローズされ、マージされず、ドラフトとしてフラグが立ったままでした。PUBGの背後にある韓国のパブリッシャーKRAFTONは、新しい28.8Bのオープンウェイトモデルを世界で最も広く配備されている推論エンジンに投入することを提案し、その後、誰かが一行もレビューする前に取り下げました。

プルリクエストの対象となっているモデルは実在し、10月21日からダウンロード可能だ。Raon-1 miniはハイブリッドアテンションのMixture-of-Expertsモデルで、トークンあたり約43億パラメータを活性化し、Apache 2.0の下で提供され、10月28日時点で過去1か月間に2,208回ダウンロードされ、Hugging Faceリポジトリで221件のいいねを獲得していた。まだ存在しないのは、ごく普通の道筋だ。フォークしたwheelなしでこれを提供できる、標準のvLLMインストールである。インターネット上のチェックポイントと、デプロイメントマニフェストに載せられるモデルとの間にあるそのギャップこそが話のすべてであり、これまでの報道は主にベンチマーク表を優先して、そのギャップを飛ばしてきた。

KRAFTONが実際に公開したもの

アーティファクトは10月21日00:14 UTCにHugging Faceへ公開された。これが、韓国の業界媒体すべてが同日に用いた日付だ。メインリポジトリのsafetensorsインデックスは、BF16で28,783,218,402パラメータと報告している——プレスリリースの「30Bクラス」という数字は丸めたもので、容量計画に持ち込むべき数値は28.8Bだ。

• 総パラメータ数とアクティブパラメータ数 — 合計28.8B、トークンあたり約4.3Bがアクティブ。

• ライセンス — 重み、設定、コンポーネントには Apache 2.0 が適用され、商用利用も許可されています。

• アクセス — リポジトリは制限されていますが、アクセスはチェックボックスによる申請で付与され、ほとんどの申請では手動レビューは行われていないようです。

• バリアント — ベースとなるMXFP8チェックポイント、NVFP4ビルド、GGUFリポジトリ、Appleシリコン向けのMLXチェックポイント、そして投機的デコーディング用の独立したDFlash2ドラフトモデル。

• ホスティング — リポジトリのサイドバーには、モデルが「どのInference Providerにもデプロイされていません」と表示されます。カードにはKRAFTON自身のプレイグラウンドでの期間限定無料トライアルが宣伝されていますが、トークンあたりの価格はどこにも公開されていません。

• ライセンスの対象外となるもの — KRAFTONのトレーニングデータセット、そのトレーニング手法、未配布のソフトウェア、および別途の条件で運用されるホスト型APIとプレイグラウンド。

これはプレビューであり、KRAFTONもカードの冒頭行でそう位置づけている。同社によると、正式リリースは「トレーニングプロセスと最終性能」を扱う技術レポートとともに計画されている。日付は示されておらず、トレーニングトークン数もカードのどこにも開示されていない——これは、このモデルのトレーニング効率に関するあらゆる主張における最大の穴である。

KRAFTON側の構図はコストにある。最高AI責任者のKangwook Lee氏は、これを「5年以上にわたり蓄積されたAI R&D能力」の成果だと説明し、同社はより安価なLLMを用いて「さまざまな業界でAI活用の範囲を広げる」意向だと述べた。Raon-1 miniは、KRAFTONが4月以降、音声、TTS、ビジョンエンコーダーのリリースに使用してきたRaonブランドにおける最初の言語モデルである。

本当の賭けはアーキテクチャにある。

線形アテンション層とフルアテンション層の3:1という比率こそが、理解する価値のある部分です。というのも、このモデルのサービング経済性に関するその他すべては、そこから導き出されるからです。

• レイヤー — 合計25で、18のRaon Delta Attention（RDA）レイヤーと7のゲート付きMLAレイヤーに分割されています。

• エキスパート — 合計128、トークンごとに6つがルーティングされ、さらに1つが共有でアクティブ、エキスパートの中間サイズは1,088。

• 次元 — 隠れサイズ2,560、両方の層タイプにわたる40個のアテンションヘッド、RDAヘッド次元128、192 QK / 128 Vのゲート付きMLA、クエリおよびKV LoRAランク576 / 512。

• 位置エンコーディング — NoPE、スタック全体でロータリ埋め込みを一切使用しない。

• 語彙 — 259,840トークン、非結合のLMヘッド付き。

• 活性化と残差 — SiTU-GLU。4つのストリームにわたるRaon-mHC残差接続を備える。

RDAはKRAFTONによるKimi Delta Attentionの改変であり、そこで述べられている変更は具体的だ。消去ゲートと書き込みゲートを分離し、畳み込みの後に独立した書き込みゲートのスケーリングを適用することで、生の畳み込み履歴が上書きされるのではなく保持される。Raon-mHCはDeepSeekのmHCのより安価な実装として説明されている。どちらもゼロから発明されたものではなく、それは批判ではない。カード内の「trained from scratch」は、KRAFTONが自社データでモデルを設計し事前学習したことを指しており、その中のすべてのブロックを再発明したことを指しているわけではない。モデルの3つの主要技術のうち2つは公開済みのものを作り直したバージョンであり、3つ目は他のラボも同様に収斂しつつある3:1のハイブリッドスケジュールだ。

利点はKVキャッシュにある。ゲート付きMLA層のうち7層だけがKVキャッシュを保持するため、カードによればコストはBF16でトークンあたり約8 KiBになる。262,144トークンのフルコンテキストでは、1シーケンスあたり約2 GiBだ。これは32 GBカード1枚に余裕で収まる数値であり、25層すべてがキャッシュする場合はまったく収まらない。これこそがベンチマーク表の下に隠れた実際の製品主張だ。Raon-1 miniが競合より賢いということではなく、その長コンテキスト推論が、すでに手元にあるかもしれないハードウェアで実行できるほど安価だということである。

要約ではなく数え上げたベンチマーク表

以下の数値はすべてKRAFTONによるものです。10月28日時点で、Raon-1 miniに関するArtificial Analysisの掲載項目はありません。同モデルはサイトのモデル一覧に一切登場しておらず、アリーナでの順位も、第三者による再現もありません。このカードの評価では、judgeおよびユーザーシミュレーターとして一貫してgpt-5.6-lunaが使用されており、そのことは開示されていますが、独立したものではありません。これらの数値は、異例なほど詳細な付録が付いたベンダーによる主張として読んでください。

この表は18行5列です。Raon-1 mini previewを、MoEの同類であるQwen3.6-35B-A3BおよびGemma 4 26B-A4Bと対比させ、Qwen3.8-27BとMuse Glimmer 30Bをdense参照として示しています。KRAFTONの赤いハイライトは最高スコアを示しています（MoEグループ内で）。これは「最高」よりも狭い主張であり、それゆえ「同程度の規模の海外モデル」に勝ったというプレス向けの表現には注意が必要です。

正しく数えると、Raon-1 mini は4行において5列すべての中で断然最高です：

• AA-Omniscience — 3.5、Qwen3.6-35B-A3Bの−7.2、Qwen3.8-27Bの−0.5、Muse Glimmer 30Bの−34.7、Gemma 4 26B-A4Bの−46.6に対して。これはこの列で唯一の正のスコアであり、絶対値は小さいものの、キャリブレーションについて実質的な何かを示している。

• IFBench — 84.2、対してQwen3.8-27Bは82.4、Qwen3.6-35B-A3Bは66.6。指示追従において最も近いMoEの競合モデルに対して17.6ポイントの差は、この表の中で最も際立った単一の結果である。

• LiveCodeBench v6 — 81.6。81.2、83.4、79.3、77.4を上回る。僅差であり、Qwen3.6-35B-A3Bを0.4ポイント上回る勝利。

• Chatbot Korean — 92.9（比較対象は 90.6、90.1、87.0、74.5）。これは KRAFTON 独自の社内ベンチマークであり、明示的に一般公開されていないため、このページで最も検証が難しい数値であり、かつモデルの位置づけが依拠している数値です。

また、GPQA Diamond（84.3）とSWE-Verified（70.8、Qwen3.6-35B-A3Bに対する7.6ポイント差で、コーディングエージェント分野における最大の差）でMoEグループの首位に立つ一方、Qwen3.8-27Bには89.7と74.6でいずれも敗れている。このパターン——自分の階級を上回るが、一つ上のサイズのdenseモデルには敗れる——は表全体で繰り返されている。

損失は軽微ではなく、一箇所に集中している：

• Terminal-Bench Lite — 47.0。これは自身の比較行の中で最悪のスコアであり、Qwen3.6-35B-A3Bを16.3ポイント下回り、Muse Glimmer 30Bを23.7ポイント下回っています。

• MMLU Pro — 76.5、5つの中で最下位、Qwen3.6-35B-A3Bに9.4ポイント差。

• BFCL v4 — 59.8。Muse Glimmerを除くMoE型・dense型の競合3つすべてに後れを取っており、つまり関数呼び出しはこのモデルが得意とする分野ではない。

• AutomationBench — 29.7。Qwen3.6-35B-A3Bの24.9を上回っているだけであり、Qwen3.8-27Bには29ポイント及ばない。

• GDP.pdf — 5.8、Gemma 4 26B-A4Bの3.6をわずかに上回る程度。

まとめると、率直な要約はプレスリリースより狭く、しかも有用だ。Raon-1 mini は指示追従、韓国語会話、キャリブレーション、検索型ブラウジングでは競争力があるが、知識の想起、ターミナル作業、ツール呼び出しでは弱い。ワークロードが、関数呼び出しを確実に連鎖させる必要があるエージェントなら、この表はそれに否定的だ。指示に正確に従う長いコンテキストの韓国語アシスタントなら、この表はテストを勧めている。

vLLMのプルリクエストが提案したこと、そして撤回したこと

このプルリクエストはKRAFTONのフォーク（ブランチ feat/raon-public-candidate から vllm-project/vllm:main へ）から来ており、クローズの理由は作者自身のメモがどんな推測よりも雄弁に説明している：「コードをシンプルかつクリーンにすることに取り組んでいます。準備ができたら、このPRを再オープンします。」PR本文はまた、OpenAI Codexが実装を支援したこと、そして「人間による行ごとのレビューとエンドツーエンドの検証確認はまだ保留中である」ことも開示している。

それが着地しなかったとしても、それが含んでいたものは重要だ。なぜなら、それはこのアーキテクチャをアップストリーム化するために何が必要かを示す地図だからだ：

• モデルと設定の登録、および18個のRDA層と7個のNoPE MLA層のチェックポイント読み込み。

• raon_1 の推論およびツール呼び出しパーサーアダプター — モデルを生の補完 API ではなく、OpenAI 互換エンドポイントの背後で利用可能にする部分。

• アップストリームの ModelOpt MXFP8/NVFP4 パス、MLA、ハイブリッド状態処理、および DFlash2 インターフェースを再利用し、MoE バックエンドを強制しない。

• RDA および mHC 向けのオプションの raon_fast カーネルに加え、設定とパーサーのテスト、ドキュメント。

作業のおよそ半分は検証済みで半分は未検証であり、PRにもそのことが率直に記されています。合格項目は、11件のCPU設定およびパーサービステスト、pre-commitフック、exact-baseホイールのビルドとインストール、ネイティブモデル・トークナイザー・パーサーのインポート、ピン留めされたチェックポイントの整合性チェック、target/draft設定のペアリング、NVFP4混合精度設定の解決です。保留中について、PR自身の言葉では「実際のGPU生成、数値的/モデル品質の比較、バックエンド/カーネルの実行、共有KDAの回帰、DFlash2/キャッシュ/グラフの正確性、およびサービングベンチマーク」とされています。さらに「速度向上や本番環境との同等性に関する主張は行わない」と付け加えています。

カーネル制約は、「vLLM対応」を読んでスケールすると仮定するチームが最も痛い目に遭いやすい詳細です。オプションの高速カーネルには、SM10x（Blackwellクラスのハードウェア）に加えて、テンソル並列度が正確に1であること、BF16の畳み込み履歴、FP32の再帰状態、CUDA/C++ビルドツールチェーンが必要です。パイプライン並列、エキスパート並列、RecoverSSMはサポートされていません。実際には、これは高速パスが単一GPUパスであることを意味し、モデル全体の売り文句とは一致しますが、ほとんどの人が28.8Bモデルを実際に提供する方法とは相容れません。

今週実行できること

KRAFTONは、ref raon-1-mini-preview に固定した独自の vLLM フォークを提供しており、NVIDIA B300 を対象に文書化され、ツール呼び出しを伴う OpenAI 互換 API を通じて提供されます。文書化されている起動では --max-model-len 262144 を使用します。以下のすべてのルートは KRAFTON 独自のものであり、いずれもアップストリームではありません：

• vLLM — ピン留めされたrefで github.com/krafton-ai/vllm から VLLM_USE_PRECOMPILED=1 を指定してインストールします。フォークのパーサーアダプターとDFlash2サポートを利用できる唯一の方法です。

• Transformers — 5.16.1（accelerate 1.15.0 併用）、device_map="auto"、および CPU オフロードが 32 GB GPU で利用可能。

• RTX 5090 — NVFP4チェックポイント、32,768トークンのコンテキスト、2,048のバッチトークン、8シーケンス、3 GiBのFP8 KVキャッシュ。CUDA Toolkit 13が必要で、nvccが存在している必要があります。

• DGX Spark — ghcr.io/krafton-ai/raon-vllm-spark:sm121-4e09534 にある ARM64 コンテナ。最大 8 シーケンスで 128K コンテキストを実行します。

• llama.cpp — KRAFTON ブランチおよび GGUF Q4_K_M ビルドで、上流でのサポートは保留中として記載されています。

• MLX — 別個の MLX チェックポイントに対する mlx 0.32.4 および mlx-lm 0.32.2。

投機的デコーディングのドラフトモデルは一考に値する。引用される数字は2.18×になるからだ。KRAFTONは、MXFP8のターゲットモデルとvLLM 0.28.0、ブロックサイズ8を用いて単一のB300上で測定し、自己回帰デコーディングより「最大」2.18×高い出力スループットだと説明している（ハードウェアやワークロードによって変動する）。これは大多数の読者が持っていないハードウェアでのベンダーベンチマークだ。また、これはアクセプタンスレートに大きく依存する種類の主張であり、アクセプタンスレートはプロンプト分布に依存する。

サンプリング設定は通常のデフォルトではなく、そのまま正確にコピーする価値があります。temperature 1.0、top_p 0.95、top_k 20、repetition penalty と frequency penalty はなし、presence penalty はコーディングと数学では0、それ以外すべてでは1.5です。Thinkingモードはデフォルトでオンになっており、カードではオフにしないよう勧めています。presence penaltyを間違えると、モデルが実際より劣っていると結論づけてしまいます。

運用面の注意点が一つあり、これは品質とは無関係です。フォークのピン留めはサプライチェーン上の判断です。手に入るのは KRAFTON による vLLM のビルドであり、アップストリームのリリースサイクルではありません。あなたの構成に対してアップストリームの CI は実行されず、誰かがリベースするまでアップストリームのセキュリティパッチも入りません。さらに、vLLM のアップグレードはすべて、バージョンを上げるだけではなくマージ作業になります。評価中のプレビューモデルであれば、これは妥当なトレードオフです。本番依存であれば、モデル本体と並べてリスク登録簿に記載すべきものです。

それに賭けずにテストする方法

Raon-1 miniはOrcaRouterのカタログにはなく、ここでそう主張していると解釈すべきではありません。当社はそれを提供していません。当社が提供しているのは、たまたま適切な対照群となるその比較セットです：Gemma 4 26B-A4Bは100万入力トークンあたり$0.06、100万出力トークンあたり$0.33、Qwen3.6-35B-A3Bは$0.248と$1.485、Qwen3.8-27Bは$0.33と$2.40で、いずれもプロバイダーの定価でマークアップはありません。それらは比較対象となったモデルであり、1つのキーからアクセスできます。そのため、有用な実験を安価に行えます。KRAFTON自身のプロンプトをホストされているベースラインに対して実行し、同じプロンプトをローカルプレビューに対して実行して、ベンダーの表があなたのデータでも通用するか確認してください。

週の使い方としては、表をより熱心に読み込むよりも、そちらのほうが有意義だ。フォークのインストールは午後一で済む。大事なのは比較であり、それによって、IFBenchで17.6ポイントのリードがあり、Terminal-Benchでは16.3ポイント劣る4.3Bアクティブのモデルが自分のワークロードに合うかが分かる。ホスト型ベースラインがすでにトラフィックを処理しているなら、プレビューと並べて自動フェイルオーバー付きの単一エンドポイント経由でルーティングすれば、実績のないチェックポイントがクリティカルパス上に単独で置かれることはない。つまり、本番リスクを負わずに本番同等の形で評価を実行できる。

何がこの評価を変えるでしょうか

4つの事柄、ほぼ重要度の高い順に。

vLLM本体へのアップストリームマージです。なぜなら、フォークのピン留めをバージョン番号に変え、メインラインのサポートを前提とする下流のあらゆるパッケージング、量子化、サービングツールにモデルを取り込むからです。KRAFTONは、コードの準備が整い次第PRを再オープンすると述べています。クローズされたPRにある保留中のGPU検証リストは、「準備完了」が意味すべき内容を適切に示しています。

独立した評価だ。なぜなら、単一のモデルが判定した18社分のベンダー行は、規模を拡大した一人の著者の意見にすぎないからだ。AA-Omniscienceの結果は、独立した評価ハーネスが迅速に裏付けるか、あるいは打ち消す類のものだからこそ、表の中で最も興味深い数字なのだ。

完全版のリリースと技術レポートが必要だ。なぜなら、学習トークン数が開示されていないプレビューでは、学習効率に関するいかなる主張も裏付けられず、そして効率こそが議論のすべてだからだ。それが公表されるまでは、「ゼロから学習した」というのは出自についての記述であり、コストについての記述ではない。

そして、公開価格付きのホスト型エンドポイントも必要です。というのも、現時点でRaon-1 miniを使う唯一の方法は自分で実行することであり、その価格を算出する唯一の方法は自分のGPU時間を償却することだからです。

今のところ、正確な説明は短い。Raon-1 mini は、実際にダウンロード可能な Apache-2.0 の、総パラメータ28.8B/アクティブ4.3Bのモデルで、10月21日に公開された。KVキャッシュについて本当に興味深い話があり、ベンダーのベンチマーク表は4行では好意的に見せ、3行では恥をかかせ、サービングスタックはKRAFTONのフォークとしてしか存在せず、上流のプルリクエストは184秒しか続かなかった。これは、「KRAFTONが最先端モデルを無料で出した」とか「vLLMがマージするまで見るものはない」のどちらよりも有用だ。