Kimi K3.1 Proは自らのサイバー能力を9.5ポイント引き下げた。他の2つのラボは異なる選択をした

Moonshotは10月24日、ラボが通常はしないことをした。本来なら出せたはずのモデルより弱いモデルを出荷し、その正確なコストを公表したのだ。xdev-bench-hardのpass@3では、同社のサイバーリスク低減策を用いずに訓練したチェックポイントが90.5%を記録する。呼び出せるモデルであるKimi K3.1 Proは81.0%だ。この9.5ポイントの差は、サイバー関連データをミッドトレーニングと強化学習から除去した代償であり、3つのフロンティアラボのいずれかが今年、能力のために何を犠牲にする用意があるかについて示した最も明快な声明である。

主要なラボは今やどこもサイバーポリシーを備えている。違いは意図ではなく仕組みにあり、その仕組みがAPIを呼び出したときに実際に何が得られるかを決める。Moonshotは重みからその能力を差し引く。Anthropicはリクエストを別のモデルへ振り向ける。OpenAIはリスク評価の背後でアクセスを制限する。セキュリティチームにとって——あるいは攻撃的なツールに業務がかすかに触れる誰にとっても——この三つのアプローチは三種類の異なる不意打ちを生む。

Moonshotが削除したもの、そして残したもの

ローンチ資料は異例なほど具体的だ。サイバー関連のデータは中間トレーニングと強化学習の両段階から削除された一方、一般的なコーディングタスクは保持された。同社が掲げる原則は、サイバー能力の絶対的なフロンティアを拡張するようなオープンウェイトを公開しないことであり、出荷済みモデルの攻撃的能力について「設計上、当社のパイプラインが生み出し得る水準を下回る」ものであり、少なくとも3か月間、最先端のプロプライエタリモデルが公開で提供してきた水準を下回っていると説明している。

その政策では、見出しの数字よりも重要な詳細が2つある。

第一点は、その低下が市場ではなくMoonshot自身のパイプラインに対する相対的なものであるということだ。81.0%に上限を設けられたモデルでも、同じベンチマークでKimi K3の33.3%を大きく上回り、GLM-5.3の57.1%も上回る。この上限はフロンティアモデルを下位に移動させるものであり、カテゴリーから外すものではない。

2点目は、Moonshotがオープンウェイトで利用可能なサイバー能力を「段階的に引き上げる」と述べていることだ。これは固定された線ではなくスケジュールである。今日の上限を前提とした評価は次のリリースでは通用しない可能性があり、セルフホストされたコピーはそのリリース日時点で存在した上限を引き継ぐ。

ベンチマークが実際に求めているもの

Moonshotのドキュメントは、評価を判断するのに十分な詳細さでその評価を説明している。xdev-bench-hardは、Linuxカーネル、Node.js、JavaScriptCore、Exim、VirGLを含むソフトウェアで最近公開された脆弱性から構築されており、緩和策は有効になっている。各タスクでは、脆弱なソースコード、短いバグのヒント、コンパイル済みバイナリが提供される。エージェントはエクスプロイトを開発し、別のサンドボックス内で任意コード実行を達成し、秘密文字列を取得する必要があり、これにより結果を自動的に検証できる。スコアリングはランダムな部分集合に対するpass@3で、ハードタイムアウトや出力トークン制限はない。

それは厳しく限定的なテストだ。モデルが既知の脆弱性を含むバイナリを実際に機能するエクスプロイトへ変換できるかどうかを測るもので、スキャナを書けるかやアラートをトリアージできるかを測るものではない。したがって、未対策のチェックポイントと出荷済みモデルの間の9.5ポイントの差は、実在する能力差を測った確かな指標であり、その数値が、ほとんどのチームが実際にモデルで行う防御作業についてほとんど何も語らないという注意喚起でもある。

Anthropicの代替策：能力はそのままに、答えを変える

AnthropicのClaude Opus 5.5に対するアプローチは、サービング側でのルーティングです。同社のドキュメントによると、サイバー関連タスクの大半はClaude Opus 4.8に再ルーティングされる可能性があり、生物学およびフロンティアモデル開発の作業はClaude Opus 5にフォールバックする可能性があります。呼び出し元にはエラーが返らず、応答は単に別のモデルから返されます。最高能力層のClaude Mythos 5.1は、Cyber Verification Programなどのプログラムを通じて検証された組織のみが利用できます。

このトレードオフはMoonshotのそれとは正反対だ。最先端の能力は存在し、別のモデルIDで検証済みの顧客に提供される一方、未検証の呼び出し元は古いモデルの回答を黙って受け取る。検証済み組織内のセキュリティチームにとって、これは3つのうち最も高性能な選択肢だ。組織の外にいる誰かにとっては、まさに最先端を最も切望していたタスクで、黙って別の何かで答えるモデルである。

OpenAIのアプローチ：リリース前に決める

GPT-6 Astraは、独自に新種のセキュリティ上の欠陥を発見できるため、同社のPreparedness Frameworkの下で「クリティカル」と評価された初のOpenAIモデルでした。展開は段階的に行われ、まず早期アクセスパートナー、次にサブスクリプションの各プラン、そしてAPIという順序で進み、最高リスクの能力はプロンプトのフィルタリングではなく評価格付けによって制限されています。アクセスは、リクエストが行われる前のアカウント単位で決定されます。

それは、無言のルート変更よりクリーンで、どちらの代替案よりも遅い。また、「このモデルを自分のセキュリティ業務に使えるか」という答えが事前に分かるということでもあり、調達文書を作成しなければならない購入者にとっては価値がある。

3つの戦略が評価に何をもたらすか

セキュリティタスクでモデルをベンチマークすると、各メカニズムは測定をそれぞれ異なる仕方で歪め、その歪みは相殺されない。

• Moonshotの上限は重みの中にある。API上でのベンチマーク実行とセルフホストしたコピー上でのベンチマーク実行は一致するはずであり、どちらもそのカテゴリで意図的に性能を低くしたモデルを測定している。その数値は正直かつ再現可能だ。

• Anthropicのルーティングはサービングスタックの内部に組み込まれている。同じリクエストでも、セーフガードに引っかかるかどうかで品質が変わり得るし、ベンダーが公表しているベンチマークの数値は、あなたのアカウントが実際に受けるルーティングを反映していない可能性がある。Opus 5.5のベンチマーク表を扱った当社自身の記事でも、逆方向から同じ問題を指摘していた。Terminal-Benchにおける独立系のArtificial Analysisの数値は59.6%で、Anthropicの66.4%とは開きがあり、しかもそれはサーバー側のセーフガードルーティングを含む構成での話だ。

• OpenAIのゲーティングはモデルの外側にある。アクセスを取得すれば、モデルはベンチマークどおりに動作する。アクセスできなければ、比較を実行すること自体できない。

セキュリティチームはこれから何を学ぶべきか

確信度の高い順に、実践的な結論を3つ。

まず、「サイバー能力」はもはやモデルカードから読み取れる特性ではない。それは、あなたが受け取る重み、あなたのアカウントが引き起こすルーティング、そしてあなたが所属する検証プログラムの関数である。この三つすべてを明示しない評価は、別の何かを測定している。

第二に、あなたの仕事が防御的——トリアージ、パッチ作成、検出エンジニアリング——であれば、その能力上限は聞こえるほど高くつかない。9.5ポイントは敵対的でエクスプロイトに近い挙動に集中しており、防御作業が主に必要とするモデルの一般的なコーディングとツール使用こそ、ポストトレーニングで改善に費やされた部分なのだ。Moonshotは、同じリリースでKimi Code Bench 3.0のロングホライズンが55.95%から61.2%へ上昇したと報告している。

第三に、上限は動いている。Moonshotは天井を引き上げると述べている。Anthropicの検証プログラムは拡大している。OpenAIの評価はモデル間で変わる。10月に展開判断を導いた方針が1月には誤っている可能性があり、それはアクセスに関するドキュメントを一度きりの関門として扱うのではなく、モデル更新のたびに読み直すべきだという論拠になる。

Kimi K3.1 ProはOrcaRouter経由で、入力100万トークンあたり2.00ドル、出力100万トークンあたり10.00ドルで呼び出せます。最終的な状態はどこでも同じです。上限は重みの中にあり、特定のプロバイダーがあなたのリクエストをどう扱うかの中にあるのではありません。実際にどのモデルが応答したかを知ることにワークロードが依存しているなら、それは仕様です。フロンティアの攻撃能力の上限に依存しているなら、市場のどのAPIも、検証プログラムなしにそれを提供することはありません。