タイトルがMiniCPM5-15B-A2.5B、サブタイトルが「4つのランタイムに移植済み、ダウンロード可能なものはなし」のカード。SGLang、llama.cpp、OpenVINO、InfiniLMのチェックマーク付きカードが「リポジトリなし」カードの横に並び、バッジには「15B total」「A2.5B active」「DSpark draft exists」と表示されている。
Engineering & Research

MiniCPM5-15B-A2.5B:4つのランタイムに移植済み、だがどれからもダウンロード不可

著者

Gideon Frost

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

2026-11-16に、llama.cppで「xcy/models: add MiniCPM5 MoE inference support」というタイトルのプルリクエストが現れた。これは丁寧な仕事だ——新しいアーキテクチャのエントリ、変換パス、テスト——そして、メンテナが目を止めた検証セクションの一行があった。著者はそれをH800上で「既存のMiniCPM5-15B-A2.5B GGUFs」に対して実行していた。CISCは当然の質問をした。私の知る限り、まだ公開されていない?tc-mbは、GitHubプロフィールにMiniCPM-VおよびMiniCPM-oプロジェクトのメンバーであると記されているが、一言「ok」と答えた。そのプルリクエストは2日後に未マージのままクローズされ、それらのGGUFが属するモデル——OpenBMBのMiniCPM5ラインにおけるスパースなMixture-of-ExpertsエントリであるMiniCPM5-15B-A2.5B——には、今なおリポジトリもモデルカードもライセンスファイルも、そしてどこにも見つけられなかった告知も存在しない。

つまりこれは現時点で分かっていることをまとめた記事であり、証拠の形はいつも以上に重要だ。読むべき製品ページも、議論すべきベンダーのベンチマークも存在しない。あるのは、チェックポイントを目の前にしていた人々によって書かれた、4つの別々の推論スタックからのエンジンパッチ一式と、そのテストログだ。これだけでもMiniCPM5 MoEのアーキテクチャをかなり正確に説明し、そのサポートがどれほど成熟しているかについて正直に語ることはできる。だが、モデルがどんなスコアを出すのか、いくらかかるのか、いつ実行できるのかまでは分からない。

名前があなたに伝えてもよいこと

チェックポイント名は、ModelBest外部で公開された唯一の仕様書です。MiniCPM5-15B-A2.5Bは、総パラメータ数15B、トークンあたり2.5Bアクティブと読めます。これはMixtral以降、このサイズクラスのすべてのスパースMoEが採用してきた総数とアクティブ数の表記慣習です。どのパッチにもこれと矛盾する点はなく、SGLang移植版自体のテストノートも「元の15Bチェックポイント設定」が変更なしで解決されると言及しており、整合しています。

そこから先はすべて推測であり、なぜそうなのかを率直に述べておく価値がある。SGLang のパッチはMiniCPM5Configクラスを追加しており、そのデフォルト値は、32層、隠れ次元4,096、32ヘッド、ルーテッドエキスパート64、共有エキスパート2、幅1,407のエキスパートFFNとなっている。これらはGLM-4テンプレートから継承されたクラスのデフォルト値であり、チェックポイントの値ではない。同じファイルではデフォルトの語彙数が32,000トークンになっており、2026年のフロンティア隣接モデルでこれを搭載して出荷されたものはない。これを仕様として読んではいけない。唯一本物かもしれないと思われる数値はルーティングのスケーリング係数3.66で、これはllama.cppのアーキテクチャテストと変換テストのフィクスチャに現れる。フィクスチャはやはりフィクスチャなので、3.66は確認済みの定数としてではなく、「テストがそれを前提に書かれた数値」として扱うべきだ。

4つのパッチから読み解くアーキテクチャ

4つの独立した移植実装が同じ説明に一致しており、これがこのリークで最も安心できる点だ。SGLangのパッチが最も明確で、モデルは「{{1}}GLM-4.5 MoE{{/1}}に従い、3つの違いがある」と述べている。すなわち、ゲート付きアテンション、q/k正規化なしの完全な回転埋め込み、そしてアップキャストではなくモデル自身のdtypeで計算されるルーターだ。

• ゲート付きアテンション — クエリ射影は、クエリと並んでヘッドごとのシグモイドゲートを出力し、それは各ヘッドの行内にインターリーブされている。llama.cpp の変換では、それらをテンソルごとに分離する必要があり、だからこそ両方の移植版がその点を明示している。

• 先頭は密(dense)で、その後がエキスパート — 最初の first_k_dense_replace 層は通常の FFN であり、ルーティングされるのはそれ以降の層だけです。tc-mb のフォークのパッチノートでは、既存の qwen35moe も minicpm アーキテクチャもその形状をモデル化していないことが指摘されており、そのため MiniCPM5 MoE は既存のアーキテクチャのフラグではなく、独自のアーキテクチャエントリを必要としました。

• ルーティングされたエキスパートに加えて共有エキスパート — シグモイドゲーティング、正規化されたtop-k重み、そしてルーティングされたエキスパートと並ぶ共有エキスパート分岐。llama.cppはMoEレイヤーごとにFP32のルーター補正バイアス(e_score_correction_bias)を読み込みます。これはDeepSeek方式のルーターがエキスパートの負荷を均衡に保つために用いるのと同じバイアス項です。

• 完全な rotary、q/k norm なし — ヘッド次元全体に単純な RoPE を適用し、変換ではヘッド次元を明示的に保持して、hidden size をヘッド数で割って導出しない。

optimum-intel pull request #2133 showing an optimum-cli export openvino command that names openbmb/MiniCPM5-15B-A2.5B as its input, followed by a WWB text-similarity table

DSparkはこの話の後半であり、このリークが単に整った話ではなく興味深いものになっている理由でもある。DSparkは学習済みのドラフトモデルを使う投機的デコーディングであり、OpenBMBがすでにMiniCPM5-2BとMiniCPM-V 4.7向けに出荷したのと同じアルゴリズムだ。そしてSGLangとllama.cppの両方のパッチが、MiniCPM5 MoEをDSparkのターゲットとして追加している。MiniCPM5-15B-A2.5B-DSparkという別個のドラフトチェックポイントがllama.cppのドキュメントの例で参照されており、つまりターゲットが置かれている何らかの非公開ストアの中に、ドラフトも存在するということだ。

4つのエンジン、1つの未公開チェックポイント

タイムラインこそが、これを書く価値のあるものにしている。移植がこれほど多くのスタックにわたって、これほどリリースより先行することは通常ない:

• 2026-09-17 — MUSAフォーク上のMegatron-LMパッチにより、MoEのキャパシティファクター処理とドロップレスルーティングが「minicpm5」のデフォルトとして有効になります。学習側の話であり、私たちが見つけた最も初期の痕跡です。

• 2026-10-14 — InfiniTensorのInfiniLMが、Denglin QYバックエンドでMiniCPM5 MoEを有効化するパッチを公開。FlashAttentionと長コンテキスト向けMoE/RoPEカーネルを備える。2026-11-12のフォローアップでは、CUDAグラフキャプチャの安全性とbf16デコードパスを追加。

• 2026-11-13 — tc-mb の llama.cpp-omni フォークが MiniCPM5 MoE アーキテクチャを追加し、同日の2つ目のパッチがエキスパート領域を量子化器に接続する。検証セクションは次を報告している:フランスの首都はに補完されるパリ、および 17×23 が 391 を返す。

• 2026-11-16 — 上流の llama.cpp プルリクエスト。2026-11-18 に未マージのままクローズされ、変換経路はスコープ外とされ、3日後にフォークで再検討された。

• 2026-11-19 — SGLang は 09:39 にポートを開き、それを閉じ、10:19 に名前を変更したブランチで再び開く。同じ朝、Intel のエンジニアが optimum-intel のパッチを公開する。その最初のコードブロックは、以下を指定する export コマンドである:openbmb/MiniCPM5-15B-A2.5B を入力として。

Scoreboard titled MiniCPM5-15B-A2.5B — what the patches measured, listing weights tested BF16 Q8_0 and Q4_K_M, drafts accepted on one H800 at TP=1, tokenizer match of 8 of 8 samples, CPU versus CUDA NMSE of 1.00e-06, OpenVINO int4 similarity of 0.8710, and no published benchmark score

最後のものは、決定的証拠に最も近いものだ。optimum-intelのパッチは仮想のモデルを説明しているのではない — 実際にoptimum-cli export openvino -m openbmb/MiniCPM5-15B-A2.5B --weight-format int4を実行し、元のモデルに対する精度を報告している。これを書いた人物は重みを入手していたのだ。そこに記されたHubパスは匿名リクエストには何も返さず、OpenBMB自身のMiniCPM READMEは依然として2026-09-07と2Bを最新リリースとして挙げており、モデル表のどこにもMoEの項目はない。

テストログが実際に示していること

ここはゆっくり読むべき部分です。なぜなら、これらのパッチに含まれる数値はベンチマークではなくエンジニアリング上のチェックであり、そのうち2つは失敗しているからです。

llama.cpp での実行は最も広範にわたる。BF16、Q8_0、Q4_K_M の重みはすべて、H800 上で DSpark のドラフトトークンを生成し、受理した。ドラフトを--spec-draft-n-max 2 に設定した状態で、8 個のトークナイザーサンプルは Hugging Face のトークナイザーと完全に一致した。合成アーキテクチャテストにおける CPU 対 CUDA の NMSE は 1.00e-06 だった。そして、著者自身の言葉による注意点がある。貪欲法による通常のデコーディングと DSpark デコーディングは「トークンレベルの差異を示し」、その原因は「十分に特徴付けられておらず」、出力の等価性は「確立されていない」。元のチェックポイントに対する logits パリティの実行はなく、品質評価も性能数値もない。著者は、速度向上の主張は行わないと明言している。

SGLangの実行は変数を切り分けているため、より多くの情報を与える。Tritonアテンションでは、DSparkは4回の64トークン生成にわたって93回の検証ステップを実行し、すべてのプロンプトで通常のデコーディングから逸脱した。FA3アテンションでは、同じ15Bチェックポイントとドラフトが、4回すべてで貪欲デコーディングのトークンIDと一致する結果を出した。Tritonの不一致は、書かれている通りのパッチではまだ未解決である。それは、あるがままに読むべきだ。誰かが見つけてまだ説明していないカーネルパスの違いであり、モデルについての主張ではない。

OpenVINOの数値は、この一連の結果全体で唯一の定量的な品質指標であり、しかも控えめなものだ。FP32の元モデルに対して、26個のプロンプトと128個の新規トークンで比較したところ、WWBのテキスト類似度スコアは、CPU上のbf16で0.9934、GenAI SDPAバックエンドではint8で0.9455、int4で0.8710だった。B70 GPU上では、int8で0.9498、int4で0.8646だった。int4変換が0.87に達するのは変換忠実性の結果であり、量子化されたグラフが参照からずれていることを示すのであって、参照が優れていることを示すのではない。MiniCPM5-15B-A2.5Bについては誰もベンチマークスコアを公開しておらず、誰かが公開するまでは、それを強いとか弱いと呼ぶ根拠はない。

llama.cpp pull request #32386 whose validation section begins Tested pre-existing MiniCPM5-15B-A2.5B GGUFs and lists Q8_0, Q4_K_M and DSpark results, with a Limitations note stating no speedup claim is made

出荷される場合、どこに配置されるか

OpenBMBのMiniCPM5シリーズは、これまでのところ「密度」をめぐる主張である。1Bは2026-05-19に、2Bは2026-09-07にリリースされ、いずれもdenseで、Apache-2.0、オンデバイス配備向けに構築されている。2Bはカスタムカーネルを持たない素のLlamaForCausalLMであり、まさにそのため数週間のうちにllama.cpp、MLX、ONNX、および6つほどのNPUツールチェーンへ移植された。総パラメータ15B、アクティブ2.5Bの同族モデルは、エッジモデルではない初のMiniCPM5となるだろう。2Bと同じアクティブ予算で、保存される重みは約6倍、そしてそのメモリに見合う価値を出すには適切に提供されなければならないルーティング層を備える。

その見方は、このリークの奇妙な形も説明する。MiniCPM5 MoE がスマートフォン向けではなく serving 向けであるなら、エンジン移植はローンチ後に提供される“あると便利”なものではなく、ローンチの前提条件であり、誰かが早い段階から進めている。同じ GitHub アカウントが llama.cpp と SGLang の両方の移植を立ち上げたこと、MiniCPM プロジェクトのメンバーがフォークのパッチを取り込んでいること、DSpark 用のドラフトチェックポイントがすでに存在することは、すべて同じ方向を指している。つまりこれは、変更履歴から組み立てられた噂ではなく、モデルにアクセスできる人々によってリリースに向けて準備されているモデルだ。

何がこの状況を変えるでしょうか

決着にどれだけ効くかの順に、3つのこと。

まずはリポジトリです。設定、ライセンス、カードを備えた Hub または ModelScope のページがあれば、上の段落の大半は推測から事実に変わり、私が警告した設定のデフォルト値についても、すぐに照合できる材料が得られるでしょう。

第二に、一次資料に基づくベンチマークです。MiniCPM5-2Bのモデルカードには、スイート平均53.9と、LiveCodeBench、AIME、SWE-benchのタスク別の数値が記載されていました。これに相当する表がない15B-A2.5Bは、価値提案の全体が未測定のモデルです。Artificial Analysisの項目があればそれを示せます。これはベンダーから独立しているからです。

第三に、マージ済みの移植版です。ここで説明するパッチはすべて、クローズ済み、ドラフト、またはプライベートフォーク上に置かれているかのいずれかです。未マージのプルリクエストにしか存在しないサポートは、インストールできないサポートであり、そして—TritonとFA3の差異が示すように—このアーキテクチャにおける正しさは、まだカーネルごとに確立されつつあります。

今日の読者にとっての実際的な帰結は単純です。ダウンロードするものも、呼び出すものも、移行するものもありません。このようなモデルが実際に登場したときに変わるのは、ワークロードをどこで実行するかという判断であり、その判断は通常、不完全な証拠のもとで時間に迫られて下されるものです——まさにルーティング層が存在する理由となる状況です。OrcaRouter は 200 以上のホスト型モデルを単一の API の背後に、プロバイダーの定価で追加料金なしで提供しているため、このチェックポイントと今日呼び出しているものとの比較を実行したいと思っても、誰かがホストさえすれば、その立ち上げに費用はかかりません。自動フェイルオーバーにより、登場から間もないモデルが本番経路を単独で担う必要は決してありません。そのいずれも MiniCPM5-15B-A2.5B が利用可能であることを必要とせず、当社はそれを提供していません——それは、未リリースのモデルが自らを証明する間、すでに依存しているモデルの周囲にある安全網です。

それまでは、正直な要約は llama.cpp のスレッドが我々に与えたものだ。GGUF は存在するが、公開はされていない。4 つのランタイムはすでにそれらを読み込むコードを書いている。OpenBMB の組織ページと 2 つのオープンなプルリクエストを、この順で注視せよ — リポジトリが現れることがシグナルであり、マージされた移植は、アーキテクチャがこれらのパッチの言うとおりであることの確認だ。