Kimi K3.1 Proベンチマーク：全スコア、その作成者、そして表が依然として空白の箇所

Kimi K3.1 Proの発表で最も有用な数字は、Moonshot自身のチャートには載っていない。ベンダーの表を引用するのではなく独自の評価を実施するArtificial Analysisは、Kimi K3.1 Proを自社のIntelligence Indexで55と測定している。同クラス215モデル中4位で、53のGPT-6 Astraを2ポイント上回り、58のClaude Opus 5.5を3ポイント下回る。Moonshotの発表資料は異なり、より好都合な物語を語っている。Terminal-Bench 4.0で65.7%、Astraに帰している58.2%を7.5ポイント上回るというものだ。どちらの数字も実在し、どちらも誠実に算出されているが、どちらが先行しているかについて食い違っている。この食い違いこそ、このモデルにワークロードを移す前に理解する価値があることだ。

以下に示すのは、Kimi K3.1 Pro について公開されているすべての数値であり、各行には出典と設定を付し、空欄の箇所には注記を添えています。これは本ブログが Anthropic や OpenAI のモデルに対して行っているのと同じ扱いであり、理由も同じです。ベンチマークの表は、モデルについての主張であると同時に、ハーネスについての主張でもあるからです。

独立した番号、最初

Artificial Analysisは、10個の評価を単一の数値にまとめる自社インデックスのバージョン4.3.2でこのモデルを評価しました。購入者にとって重要な4つの数値は次のとおりです。

• インテリジェンス指数 — 55、215モデル中4位。参考までに、同クラスの中央値は27で、GPT-6 Astra（Max）は同じバージョンの指数で53、Claude Opus 5.5は58を記録しています。

• タスクあたりのコスト — Intelligence Index タスク1件あたり $2.11 で、コスト面では113モデル中85位。GPT-6 Astra の同等値は $3.26。これはトークンあたりの価格をワークロードコストに換算する指標であり、このモデルの低いトークン単価は、その一部が冗長さによって相殺されています。

• 冗長性 — インデックス実行中に生成された出力トークンは1億5,000万で、中央値の8,700万に対して多くなっています。評価者はこのモデルを「非常に冗長」と評しており、これは直接重要な点です。出力は、このモデル自身の料金表において100万トークンあたり10ドルという高コストな項目だからです。

• 速度 — 評価者のプロバイダー上では毎秒73.5出力トークンで、平均の82より遅い。私たち自身のルートでは、最初のトークンまでの時間の中央値は7.15秒であり、これがインタラクティブなコーディングセッションにおけるモデルの体感を決める数値だ。

そのページには一つ、指摘しておく価値のあるラベルがある。Artificial Analysis は Kimi K3.1 Pro をプロプライエタリ（独自）モデルとして分類している。10月24日時点で、重みは公開が約束されているものの未公開だからだ。Moonshot が予定通りに進めば、この分類は11月4日までに変わるはずだ。

ベンダーテーブルを、設定を添えて1行ずつ

Moonshotは発表に合わせて自社評価の広範な一覧表を公開し、いくつかの箇所ではKimi K3.1 ProをClaude Opus 5.5やGPT-6 Astraと同じ行で比較している。以下の数値は、その行に別段の記載がない限り、すべてベンダー報告によるものだ。

• Terminal-Bench 4.0 — Kimi K3.1 Proは65.7%、Claude Opus 5.5は66.4%、GPT-6 Astraは58.2%。これが見出しとなる数字だ。同時に、最も多くの但し書きが付く行でもある。Anthropicの66.4%は、デフォルトより1段階上のxhigh effortで出されたものだ。Kimi自身の実行は、モデルのデフォルトであるmaxで行われている。この2つの数値は異なるハーネスに由来する。

• Kimi Code Bench 3.0、ロングホライズン — Kimi K3の55.95%に対して61.2%。これは今回のローンチで最も明快な前世代比較であり、最もベンダー管理下にある比較でもある。ベンチマークとハーネスの両方がMoonshotに属している。

• ツールありのBenchCAD — Kimi K3.1 Proは92.7%で、Claude Opus 5.5の96.2%、GPT-6 Astraの95.9%に対して。ツールなしでは72.8%で、Opusの73.0%に対して。Astraはツールなしの数値を報告していない。これは挑戦者が明らかに負ける行であり、ローンチ自身の3D制作の訴求の中心に位置している。

• Kimi Hallu Bench Hard — ツール使用時で主張レベルのハルシネーション率は 8.3%、ツールなしでは 5.4%。同じベンチマークで、GPT-6 Astra はツール使用時により優れ（5.5 対 8.3）、ツールなしでも優れている（4.2 対 5.4）。Claude Opus 5.5 は両方で劣る（15.0 と 6.8）。Moonshot はまた、この率が Kimi K3 の 23.4% から低下したこと、および少なくとも 1 つの事実誤認を含む回答が現在では前世代の率の 42.4% であることも報告している。

• 財務・ビジネス評価（社内） — Financial Modelingは57.6（K3は50.4）、Financial Researchは70.4（58.8）、Business Operationは37（8.9）。最後の項目は、旧モデルがほぼ機能しない状態だったタスクにおける4倍の改善です。数値の大きさは方向性の目安として扱ってください。これらはMoonshot独自のスイートです。

• OfficeQA Pro v2 — 64.4。Moonshotはこれを最先端と説明している。その行に2社目のベンダーの数値は記載されていない。

• {{1}}xdev-bench-hard, pass@3{{/1}} — 出荷済みモデルは81.0%、同社のサイバーリスク低減策なしで訓練したチェックポイントは90.5%、Kimi K3は33.3%。この9.5ポイントの差は、攻撃的サイバー能力を閾値以下に保つためにMoonshotが支払った代償だと同社は述べている。

テーブルがまだ空白の場合

今回のローンチの報道ではこれらの点がほとんど取り上げられてこなかったため、指摘しておく価値のある3つの欠落がある。

一つ目はMoonshot自身のAPIドキュメントにある。ローンチ当日、Kimi K3.1 Proのクイックスタートページには、Terminal-Bench 4.0、Terminal-Bench-Science 0.1、および社内コーディングスコアが入るべき箇所に、リテラルのプレースホルダー文字列「[xx.x%]」がまだ残っていた一方、マーケティング投稿には完成した数値が載っていた。これは捏造ではなく、原稿より先にドキュメントのパイプラインが出荷されたということだが、数値はドキュメントではなくブログページから読むべき理由にはなる。

2つ目はTerminal-Bench-Science 0.1で、AnthropicはClaude Opus 5.5について58.7%を公表しており、Moonshotの資料はKimi K3.1 Proが「K3を上回る」とだけ述べていて、数値はありません。比較のどちら側にも数値がない行は、行とは言えません。

3つ目はSWE-benchです。これはコーディングエージェントについて語る際に多くのチームが今なお引用するベンチマークであり、ローンチ記事では脚注にDeepSWE v1.1とSWE-Marathon v1.1の名前が挙げられているものの、スコアは公開されていません。理由が何であれ、最も求められている数値が欠けているのです。

65.7の読み方

Terminal-Benchのスコアをモデルそのものよりも大きく動かす要因が2つある。それは、モデルの周囲にあるスキャフォールディングと推論エフォートの設定だ。Anthropic自身のOpus 5.5の表は、単一モデル内でこの両方の効果を示している。CursorBench 4.0はxhighエフォートの57.8%からmediumの52.5%へと動く一方、FrontierCodeは同じ2つの設定間で0.2ポイントしか変動しない。Kimi K3.1 Proには3つの設定があり、最も高コストな設定がデフォルトだ。そのため、エフォートレベルを明記していないベンダーによる実行は、明記されているかどうかにかかわらず、最大設定での実行である可能性が高い。

だからこそ、独立系インデックスとベンダー表ではこれら3モデルの順位が異なる。MoonshotのTerminal-Bench行では、KimiはAstraを7.5ポイント上回る。Artificial Analysisの10評価インデックスでは、KimiはAstraを2ポイントリードし、Opusに3ポイント遅れを取る。どちらの順位も間違いではない。異なるハーネスで異なる問いに答えているのであり、唯一擁護できる要約は、一般能力では3モデルすべてが数ポイント以内に収まり、最安モデルと最高額モデルの間で価格が5倍異なるということだ。

数字をどうするか

出力量が支配的なワークロード——長いコード生成、文書作成、読む量よりはるかに多く書くエージェントループ——では、計画の基準にすべきは冗長性の数値です。インデックス実行あたり1億5,000万トークン対Astraの6,000万トークンで、Kimi K3.1 Proはタスクあたり約2.5倍の出力を生成し、出力価格が5分の1であってもコスト優位性はかなり縮まります。タスクあたり$2.11という数値はすでにそれを織り込んでいるため、料金表よりも計画用の数値として優れています。

精度の1ポイントが成否を分けるワークロードでは、独立系インデックスにおけるClaude Opus 5.5との3ポイント差こそが重要な数字であり、ベンダーが示す表に惑わされてその差を軽視すべきではありません。

Kimi K3.1 ProはOrcaRouter経由で呼び出せ、入力トークン100万あたり$2.00、出力トークン100万あたり$10.00、コンテキストは1,048,576トークン、最大943,718出力トークン、3つのエンドポイント形式（Chat Completions、Responses、Messages）を、スタックの他の部分と同じキーで利用できます。ベンダーの定価がそのまま支払額で、上乗せはありません。つまり、上記の計算がそのまま実際の計算になります。このページが提供できない唯一のものは、あなた自身のベンチマークです。デフォルトを選ぶ前に、実際のトラフィックのサンプルを低・高・最大エフォートで実行してください。というのも、コストをより大きく動かすのはモデル選択よりもこの設定だからです。