Obsidian 3：隠されたベンチマークの1行、3.6倍の請求額、そしてFable 5.5の問い

今週のCognitionの新しいコーディングリーダーボードで最も興味深い数字は、誰も名前を特定できないモデルのものだ。FrontierCode 2.0の背後にあるデータファイルにObsidian 3と記された非公開エントリが現れ、ハイエフォートでのスコアは46.77%で、Cognition自身の表で1位に挙げられているClaude Opus 5.5の45.5%を上回った。この行はclaude-codeハーネスで実行されており、そのボードでAnthropicのモデルだけが使うものだ。そして憶測はすぐに、Anthropicが出荷していないフラッグシップのClaude Fable 5.5と、ある投稿者が「Opus 5.6」と呼んだ中間サイクルの刷新版との間で割れた。いずれも確認されていない。Anthropicは何も公表しておらず、モデルカードもAPI IDも存在せず、本記事のObsidian 3に関する数値はすべて、再現できた結果ではなくXの投稿による未検証の主張である。

検証できる範囲はより狭く、より有用だ。リークが指し示した公開ファイル、隠れた行に帰属されるエフォート曲線、そして「3.6× のコスト」という主張の背後にある計算である。これらを突き合わせると、物語は「Anthropicの次期モデルが現行モデルを上回る」ではなくなる。より具体的なものになる——高いエフォートでピークに達した後に後退する行、両側で異なるエフォート水準を保つ場合にのみ成立する比較、そしてその行をまったく含まないデータファイルである。

何が漏洩し、それはいつだったのか

Cognitionは10月27日にFrontierCode 2.0を公開した。このベンチマークは意図的にゲーム化しにくく作られている。20人以上のメンテナーが実際のオープンソースリポジトリから構築した132のタスクで、各タスクには約40時間かかり、テストに合格するかどうかではなく、パッチが実際にマージされるかどうかで採点される。すべての実行は3回繰り返され、タスクは非公開で、ブロッキング基準が1つでも失敗するとゼロ点になる。Cognition自身の表では、Claude Opus 5.5が最大エフォートで45.5%で1位、GPT-6 Astraが42.8%で2位、Claude Sonnet 5.5が41.0%で3位となり、50%を超えるモデルはなかった。Artificial Analysisはこのベンチマークを新しいIntelligence Index v5の15%として採用し、同じ首位を独立に報告した。四捨五入するとClaude Opus 5.5が46%だった。

その日の夜、10月27日21:10 UTCに、@tensorsonはCognitionのデータファイルに表には表示されていないモデルが含まれていたと投稿した。それは46.8%の「Obsidian 3」で、「#1のOpus 5.5（45.5%）を上回る」ものだった。この投稿はclaude-codeハーネスに言及し、Fable 5.5ではないかと推測していた。12時間後、linux.doのスレッドはその行について5つの個別のエフォートスコア——low 39.19%、medium 39.84%、high 46.77%、xHigh 45.90%、max 45.53%——を列挙し、データのコピーを添付した。10月28日09:12 UTCに、@teortaxesTexはコストの数値を添えて引用投稿した。Opus 5.5はhighで34.5%、ロールアウトあたり$2.42、Opus 5.5はmaxで45.5%、$12.82、そしてObsidian 3はhighで46.7%、「どうやら$8.62で」、maxで$47をかけてもそれ以上には達しなかった。「FrontierCodeはすでに壊れているのか？」とその投稿は問うた。「それともFable 5.5は失敗作なのか？」16:18 UTCに、@CodexResets1は同じ数字を拡散し、モデルはFable 5.5なのかOpus 5.6なのかと問うた。

ファイルのLast-Modifiedヘッダーは10月28日17:44 UTCを示しています。1日後にダウンロードしたバージョンは32,055バイトで、24モデルを一覧に含み、その構造内のどこにもObsidian 3という行はありません。キャッシュバスティングしたリクエストでも同じファイルハッシュが返されました。公式リーダーボードの表にその行は一度も表示されず、BenchLMの20行のミラーにも表示されず、Anthropicは何も公表していません。

1行、5段階の努力レベル、3つの異なるストーリー

この比較の公開されている半分は堅牢です。なぜなら、それはCognitionのダウンロード可能なデータから直接得られているからです。Claude Opus 5.5のマージ可能性調整済みスコアは、各段階で上昇します。lowでは14.7%、mediumでは30.1%、highでは34.5%、xHighでは43.4%、maxでは45.5%です。平均タスクコストはhighの$2.42からmaxの$12.82へ上昇します。これは、より長く考えさせるために対価を払うと性能が向上するモデルの曲線です。

主張されている Obsidian 3 の曲線はそのようには振る舞いません：

• 低エフォート — 39.19% を主張、すでに Claude Opus 5.5 の高エフォート 34.5% を上回っています。

• 中程度の労力 — 39.84% を主張、0.65 ポイントの増加。

• 高負荷 — 申告率46.77%、ピーク、タスクあたり申告額8.62ドル。

• xHigh エフォート — 主張値 45.90%、0.87 ポイント低下。

• 最大エフォート — 45.53%と主張、さらに0.37低下、主張コストは約47ドル。

エフォート設定は5段階あり、最高スコアは3番目に来る。高エフォートの予算の約5.5倍を費やして最大に到達しても、スコアは1.24ポイント低くなる。Cognition自身もこうなり得ると警告している。推論設定を高くするとスコアが下がることがあり、それはモデルがより多くのコードを書き、より多くのファイルに触れるためだ。また、ベンチマーク自体の例には、競合状態を修正する際に公開APIクラスを削除してしまった最大エフォートの実行が含まれている。しかし、低下の大きさは重要だ。最高値で頭打ちになるモデルは、完成したフラッグシップであるよりも、初期チェックポイントや蒸留のアーティファクトであることの方がはるかに多い。

では比較です。見出しの数字は、どれを選ぶかによって完全に決まるからです：

• 最良対最良 — Obsidian 3 の high 設定での 46.77% 対 Claude Opus 5.5 の max 設定での 45.5% は +1.32 ポイント、価格は $8.62 対 $12.82 で、約 33% 安い。この読み方では、隠された行が両方の軸で勝利する。

• 高 対 高 — 46.77% 対 34.5% は +12.24 ポイント、$8.62 対 $2.42、つまり 3.56 倍のコスト。この解釈では、大きな品質向上を大きな価格で得ている。

• Max 対 Max — 45.53% 対 45.45% は +0.08 ポイント、価格は約 47 ドル 対 12.82 ドル、つまりコストは 3.67 倍。この解釈では、破滅的な価格での引き分けだ。

3つとも算数的には正しい。だからこそXのスレッドは噛み合わずに終わった。@tensorson は high を max と比べて「1.3ポイントの勝利」と呼び、@teortaxesTex は high を high と比べてベンチマークが壊れていないかと問うた。「同じ努力量で3.6倍のコスト」という数字は正確であり、「Opus 5.5の最良ランより安い」もまた正確だ。両者は異なるラン同士の組を説明しているのである。

その根底には、さらに大きな注意点がある。Cognitionのデータは実行ごとに2つの数値を保存している。生の正解率と、マージ可能性で調整したスコアだ。Claude Opus 5.5について公表されている45.5%は調整後の数値であり、maxでの生の正解率は49.7%、highでは37.9%だ。この調整により、公開されているClaudeの行は3〜4ポイント損をしている。流出したObsidian 3の数値がどちらの列に由来するのかは分かっていない。もし46.77%が生の正解率なら、調整後のスコアは43%近辺になり、Claude Opus 5.5を下回る。すると「#1超え」という主張全体が消える。この単一の不明点は、誰もが議論していた1.3ポイントの差よりも大きい。

なぜclaude-codeというラベルがAnthropicの主張のすべてなのか

ハーネスは足場であって、指紋ではない。FrontierCodeは各モデルをエージェントループ内で実行し、データファイルはモデルをそれらが使用したループに対応付けている。OpenAIの行はcodexで、Googleの行はdevin-cliで、xAIの行はgrok-buildで、MetaのMuse Wonderはmuseで、Cognition自身のSWEモデルはdevin-cli-swe1で、Claudeの6行すべてはclaude-codeで実行される。Claudeハーネスに置かれた匿名の行は、その背後のモデルがAnthropicのツール群で動作するように作られたという強い示唆になる。それはAnthropicがそのモデルを開発した証拠ではない。ベンチマーク運営者は、適合するハーネスであれば何であれ使ってパートナーのリリース前モデルをテストできる。また、ラボは自社モデルを非公開の名称でテストできる。

その名前だけではほとんど何も分かりません。Anthropicの公開ラインナップは、10月29日に同社自身のモデル概要で確認したところ、Claude Fable 5.1、Claude Opus 5.5、Claude Sonnet 5.5、Claude Haiku 5.5です。Fable 5.5もOpus 5.6も存在せず、Obsidianという製品もありません。「Obsidian 3」はラボが内部で使うような宝石風のコードネームですが、それを照合できる公開レジストリはなく、末尾の「3」はAnthropicがこれまで提供してきたどの系列にも対応しません。

そうなると解釈は三通り残り、証拠はそのどれを選ぶわけでもない：

• Fable ティアのビルド。Claude Fable 5.1 は、要求の厳しい推論向けの $10 / $50 のフラッグシップで、9月1日にリリースされた。そして Fable ラインは、現在のラインナップにおける明らかな空白だ。@tensorson の推測、およびこの投稿へのいくつかの返信がここに落ち着いたのは、コスト構成がバリュー層ではなくプレミアム層のように見えるからだ。

• サイクル途中のOpusリフレッシュ。@teortaxesTexの事前予想は「Obsidian 3はOpus 5.6だ」というもので、Anthropicが以前、推論能力の向上がごくわずかな中間サイクルモデルを出荷してきたという論拠に基づく。主張されている曲線の平坦な頂点はその筋書きに合うが、低エフォートのスコア——Claude Opus 5.5の14.7%に対して39.19%——は、小規模なリフレッシュではなく別のトレーニング実行のように見える。

• 蒸留によるアーティファクト、または初期チェックポイント。@teortaxesTex のもう一つの仮説であり、曲線の形状が最もよく支持するもの：低・中程度のエフォートでは強く、高でピークに達し、さらに余地を与えると後退する。完成したフロンティアモデルは、予算を増やすたびに悪化するはずがない。

IPOのタイミングが何を加えるのか — そして何を加えないのか

このスレッドのきっかけとなったシグナルは、タイミングに関する疑問だった。なぜFableはIPO前にリリースされていないのか？ Anthropicは10月26日、FrontierCode 2.0のローンチ前日にS-1を公開提出した。ナスダックでティッカーANTとして、推定750億ドルの調達を目指す。Renaissance Capitalによると、ロードショーは11月9日の週、価格設定は11月16日の週に予定されている。価格設定前に登場する次期フラッグシップは上場に製品ストーリーを与え、価格設定後に登場するものはロードマップストーリーを与える。

しかし、隠れたベンチマーク行はローンチの合図ではない。ラボは発売前のモデルをベンチマーク運営者と日常的にテストしており、通常は embargo の下にある。運営者の仕事は、ベンダーが別段の指示をするまでモデルを匿名に保つことだ。もし Cognition が Anthropic のビルドをテストしていたなら、正しい解釈は Anthropic がまだ反復を続けているということであり、リリースが数日後という意味ではない。唯一の公式データポイントは依然として Anthropic のドキュメントで、そこには現行モデルが4つ記載されており、そのいずれも Obsidian ではない。IPO は、人々が Fable ティアをなぜそこまで注視しているかを説明する。それがその行を現実にするわけではない。

読者が現在実際にできること

Obsidian 3 については、呼び出し可能・価格設定済み・文書化済みのいずれでもないため、今週の意思決定は何も変わりません。現時点で利用可能な最高のマージ可能性スコアが必要なら、Claude Opus 5.5 が公開されています。100万トークンあたり入力 $4、出力 $20、100万トークンのコンテキストウィンドウ、最大出力 128K、API ID は claude-opus-5-5、9月22日リリースです。コストが制約なら、GPT-6.1 Sol は同じボードでタスクあたり約 $1.03 で 39.0% を記録しました。これはどちらの Claude の実行よりもはるかに優れたスコア対ドルのトレードオフであり、表の最上位だけが有用な行だと決めつける前に確認する価値のある数字です。

Claude Opus 5.5 はAnthropic の定価でマークアップなしに OrcaRouter 経由でルーティングでき、自動フェイルオーバーを備えた単一の API 上の 200 を超える他のモデルと並んで利用できます。このリークが実際に促す 1 つの実験にとって、これは重要です。それは、自分のワークロードで Claude Opus 5.5 を high と max で実行し、受け入れられたパッチあたりのコストを測定することです。FrontierCode 自身の曲線によれば、最後の 2 つのエフォート段階では 11 ポイントのためにタスクあたり 10.40 ドル多くかかります。あなたのリポジトリでは同じようには価格付けされないかもしれません。エフォート設定とトークンあたりの価格は Anthropic 自身のもので、そのまま渡されるため、比較は 2 つ目の契約ではなくパラメーターの変更です。そして、Anthropic が定価を引き下げれば、その値下げは同じ日にルート上で有効になります。

Obsidian 3 を事実にするには何が必要だろうか

• その行はダウンロード可能なデータファイルとして返され、モデルキーと5つすべてのエフォート項目が含まれているので、スクリーンショットなしで数値を読み取ることができます。

• Cognition は、リリース前のモデルをテストしたかどうか、またどのような取り決めの下でテストしたかを述べている。ベンチマークの運営者が、公開禁止下での実行を確認すれば、ベンダー名を明かさなくてもその由来は確定するだろう。

• Anthropicがモデルカード、API ID、またはドキュメントの項目を公開する。それがベンチマークの1行を製品へと変える唯一の出来事だ。

• 価格が表示される。価格のないモデルはベンチマークの項目であり、読者が選べる選択肢ではない。

・別の運用主体がそれを測定する。Artificial Analysis は異なる外部設定で独自の FrontierCode 2.0 ハーネスを実行しており、そこに Obsidian の行があれば、同じスクリーンショットの再投稿ではなく裏付けとなる。

この行はリリースではなく、レシートだ。それがレシートとして示す内容は、見出しよりも興味深い。低エフォートでは強く、高エフォートでピークに達し、その後は5倍の予算を費やしてかえって悪化するモデルだ。この曲線がAnthropicの次期フラッグシップのものなら、同社はローンチの前に推論スケーリングの問題を解決しなければならない。初期チェックポイントのものなら、名前が変わる前に数値は動くだろう。いずれにせよ、注目すべき数字は46.8ではない。注目すべきは、この曲線がいつか単調になるかどうかだ。

よくある質問

Obsidian 3 はリリースされましたか？

いいえ。Obsidian 3 というモデルは、Anthropic のドキュメントにも、Cognition が公開した FrontierCode 2.0 の表にも記載されておらず、API カタログにも掲載が見つかりませんでした。唯一の根拠は、10月27日と28日の X の投稿で報告された非表示の行と、5つのエフォートスコアを再現したフォーラムスレッドです。Anthropic はコメントを出しておらず、10月29日にダウンロードした公開データファイルにもその行は含まれていません。

Obsidian 3はClaude Fable 5.5ですか、それともClaude Opus 5.6ですか？

不明。どちらも何らかの識別子からではなく、claude-code ハーネスのラベルに基づく推測だ。Fable 5.5 は、Anthropic のラインナップで Claude Fable 5.1 の上にある空き枠に当てはまる。Opus 5.6 は、Anthropic が低ゲインのミッドサイクル刷新を投入するという説に当てはまる。どちらの名前も Anthropic のドキュメントには登場せず、コストプロファイルはバリュー志向の Opus ティアよりもプレミアムな Fable ティアに合致する。

なぜ今、FrontierCode 2.0 から Obsidian 3 が見当たらないのですか？

理由は確認できません。元の投稿でリンクされていたファイルは10月28日17:44 UTCに最終更新されており、10月29日にダウンロードしたコピーにはObsidian 3の項目がない24モデルが記載されています。投稿が広まった後に削除されたのか、公開ビルドにそもそも含まれていなかったのかは分かりません。Xの投稿とフォーラムのアーカイブが、当方が見つけられた唯一の記録であり、いずれも一次情報ではありません。

3.6×のコスト主張は成り立つのか？

Cognitionが公表したClaude Opus 5.5のコストと照らし合わせると、計算は合っている。$8.62は$2.42の高負荷実行の3.56倍で、約$47の最大額を$12.82の最大実行と比べると約3.67倍になる。確認できないのは台帳のObsidian 3側だ。というのも、そのコスト数値はXの投稿にしか存在せず、ダウンロード可能なファイルには一切ないからだ。