Claude Fable 5.2 ベンチマーク：65 がウォールクロック時間で何を犠牲にするか

Claude Fable 5.2はArtificial Analysis Intelligence Index v5.0.1で65点を記録し、78モデル中首位、Gemini 4 Carbonに5点差をつけています。その5点差には、最初のトークンまで267秒、タスクあたり46.8分の実時間、インデックス実行あたり26.54ドルの支出が伴い、そのどれもがこのスコアの実用的な姿を表しています。これがハーネスの測定結果であり、それをどう扱うべきかでもあります。Claude Fable 5.2 APIページにはエンドポイントと価格が掲載されています。本記事はベンチマークについてです。

9つの評価

AA-Briefcase v1.1、AutomationBench-AA、Terminal-Bench 4.0、FrontierCode-AA 2.0、AA-Omniscience v1.1、GDP.pdf、HLE-Diamond、CritPt v2 Hard Subset、Terminal-Bench-Science 0.1。3つのターミナルおよび自動化タスク、長い入力に対する2つの文書根拠推論タスク、2つの難度の高い科学・数学評価、1つのフロンティアコード評価。Webエージェントハーネスなし、マルチターンサポートシミュレーションなし、脆弱性検出なし。

スコアとそのスケール

65、順位78中1位、v5.0.1の場合。同じ表に入れるべきなのは、v5.0.1で再スコアされたモデルだけです。v4.3およびv4.3.2のスコアは別の評価セットであり、それらを混在させたグラフはすべて無効です。現在のコホート内では、上位の順序はFable 5.2が65、Gemini 4 Carbonが60で、残りのモデルはさらに下位にあるか、まだ再スコアされていません。

9項目評価の指標における5ポイントの差は、実在するものの小さい。有用な解釈は「5％優れている」ではなく「難しいスイート上での控えめな優位」であり、それにコストを払う理由は素の能力ではなく分散にある。誤答が実行全体を無効にしてしまうタスクでは、成功率における小さな優位がステップをまたいで複利的に効いてくる。

壁掛け時計

267秒で最初のトークンに到達し、レイテンシデータがある77モデル中76位です。46.8分がタスクあたりの合計時間です。1秒あたり97トークンの出力を開始後に生成し、これはCarbonの72より35パーセント高速ですが、経過時間のほとんどを占めていません。

重要なのは分布のほうだ。OrcaRouterのライブトラフィックを通すと、同じモデルが最初のトークンまでp50で8.09秒、7日間で3560万トークンにおいてp95は10.00秒だと報告している。ハーネスとゲートウェイは異なる母集団を測定している。一方はHLE-Diamondでモデルに最大努力で考えさせ、もう一方は呼び出し側が設定した努力値における中央値のリクエストだ。Fable 5.2を最大努力で実行すればAAの数値を再現できる。低努力ならゲートウェイに近い値になるだろう。

そのお金

インデックス実行1回あたり26.54ドル（入力100万あたり8.00ドル、出力100万あたり40.00ドル）— 77件中77位で、ボード上で最も高額です。Gemini 4 Carbonは同じ9回の評価で5.48ドルかかります。これは5インデックスポイントに対して4.8倍の支出であり、この比較で最も有用な比率です。

AAは、冗長性が0.97パーセントの実行について、出力トークン数が2億7500万であると報告している。このパーセントと件数は、Carbonの2.69パーセントおよび2億500万トークンと比べて逆方向を指しているため、このパーセントを簡潔性の主張として引用すべきではないことに注意されたい。

比較を成立させる比率は、指数1ポイントあたりのベンチマーク支出が$0.41、それに対してCarbonが$0.09だ。ここから何を結論づけるにせよ、この算術が迫るのは単一モデルの選択ではなくルーティングの判断である。この価格では、このモデルは一つのティアであって、デフォルトではない。

スコアでは分からないこと

このセットにはサイバー評価が含まれていないため、脆弱性の想起やパッチの品質についてここで語れることは何もない——もしフロンティアモデルを検討している理由がそこにあるなら、これは重要な点だ。複数ターンにわたるツール呼び出しを伴う長時間実行エージェントの評価も含まれていない。それこそが Fable 5.2 が実際に売りにしているワークロードであり、ターミナルタスクはそれに近いものの、再現はしていない。

信頼性の測定もありません。OrcaRouter 上の実トラフィックでは、7日間にわたり全上流プロバイダーを通じた非2xx率が10.8%でしたが、Carbon は39.7%でした。ベンチマークハーネスはリトライによってそれを吸収しますが、あなたのアプリケーションは自分で実装しない限り吸収できません。

それを決断として読み解く

タスクがその9つの評価に似ていて、非同期で実行できるなら、1回26.54ドルで65回というのは、難しいケースでは正当化でき、簡単なケースでは無駄です。難易度でルーティングし、大多数にはより安価なモデルを使ってください。タスクが対話型なら、ハーネスの数値はあなたの数値ではありません。設計の基準にすべきはゲートウェイのp50 8.09秒であり、8秒前後に着地するか4分前後に着地するかを決める変数はエフォートレベルです。

直接対決については、Claude Fable 5.2 vs Claude Fable 5.1が前世代をより高い価格でカバーしており、Gemini 4 Carbon vs Claude Fable 5.1がベンダー横断のペアをカバーしています。LLM models listには、IDと価格を含むv5.0.1コホートの残りが掲載されています。再利用するグラフではインデックスのバージョンを再確認してください。同じ表内のv4.3スコアは比較を無効にするからです。