Obsidian 3: скрытая строка бенчмарка, счёт в 3,6× и вопрос Fable 5.5

Самое интересное число в новом рейтинге программирования от Cognition на этой неделе принадлежит модели, которую никто не может назвать. Скрытая запись с меткой Obsidian 3 появилась в файле данных, лежащем в основе FrontierCode 2.0, с результатом в режиме high-effort 46,77% — выше, чем у Claude Opus 5.5 с 45,5%, модели, которую собственная таблица Cognition ставит первой. Эта строка выполнялась в harness claude-code, который на этом рейтинге используют только модели Anthropic, и предположения сразу разделились между Claude Fable 5.5 — флагманской моделью, которую Anthropic ещё не выпустила, — и промежуточным обновлением, которое один комментатор назвал «Opus 5.6». Ничего из этого не подтверждено. Anthropic не сделала никаких заявлений, карточки модели или API ID не существует, и каждая цифра Obsidian 3 в этой статье — непроверенное утверждение из постов в X, а не результат, который мы могли бы воспроизвести.

Проверить можно более узкий и более полезный набор: публичный файл, на который указывала утечка, кривую усилий, приписываемую скрытой строке, и арифметику, стоящую за утверждением о «3,6× стоимости». Сложите это вместе — и история перестаёт быть «следующая модель Anthropic превосходит текущую». Она становится чем-то более конкретным: строка, которая достигает пика при высоком уровне усилий, а затем идёт назад; сравнение, которое работает, только если на каждой стороне удерживаются разные уровни усилий; и файл данных, который вообще не содержит эту строку.

Что утекло и когда

Cognition опубликовала FrontierCode 2.0 27 октября. Бенчмарк намеренно сложно обмануть: 132 задачи, созданные на основе реальных open-source-репозиториев более чем 20 мейнтейнерами, каждая занимает примерно 40 часов, а оценивается он по тому, был бы патч реально принят, а не по тому, проходит ли он тест. Каждый запуск повторяется трижды, задачи приватны, и один проваленный блокирующий критерий даёт ноль. В собственной таблице Cognition Claude Opus 5.5 занял первое место с 45,5% при максимальном усилии, GPT-6 Astra — второе с 42,8%, Claude Sonnet 5.5 — третье с 41,0%, и ни одна модель не превысила 50%. Artificial Analysis включила бенчмарк с весом 15% в свой новый Intelligence Index v5 и независимо сообщила о том же лидере — Claude Opus 5.5 с 46% после округления.

В тот вечер, 27 октября в 21:10 UTC, @tensorson опубликовал пост о том, что файл данных Cognition содержал модель, которой не было в таблице: «Obsidian 3» с 46,8% — «выше №1 Opus 5.5 (45,5%)». В посте упоминался харнесс claude-code, и высказывалось предположение о Fable 5.5. Двенадцать часов спустя в ветке на linux.do были перечислены пять отдельных оценок уровня усилий для этой строки — low 39,19%, medium 39,84%, high 46,77%, xHigh 45,90%, max 45,53% — и приложена копия данных. 28 октября в 09:12 UTC @teortaxesTex опубликовал цитатный пост с цифрами затрат: Opus 5.5 на high даёт 34,5% за 2,42 доллара за прогон, Opus 5.5 на max — 45,5% за 12,82 доллара, а Obsidian 3 на high — 46,7% «по-видимому, за 8,62 доллара», не поднимаясь выше даже при 47 долларах за max. «FrontierCode уже сломан?» — спрашивалось в посте. «Или Fable 5.5 — провал?» В 16:18 UTC @CodexResets1 подхватил те же цифры и спросил, была ли это модель Fable 5.5 или Opus 5.6.

Заголовок Last-Modified файла показывает 17:44 UTC 28 октября. Версия, скачанная нами на день позже, имеет размер 32 055 байтов, перечисляет 24 модели и нигде в своей структуре не содержит строки под названием Obsidian 3. Запрос с обходом кэша вернул тот же хеш файла. Официальная таблица лидеров так и не показала эту строку, зеркало BenchLM на 20 строк тоже не показало её, а Anthropic ничего не опубликовала.

Один ряд, пять уровней усилий, три разные истории

Опубликованная половина этого сравнения надёжна, поскольку она взята непосредственно из доступных для скачивания данных Cognition. Оценка Claude Opus 5.5 с поправкой на возможность слияния растёт на каждом шаге: 14.7% на низком уровне, 30.1% на среднем, 34.5% на высоком, 43.4% на xHigh и 45.5% на максимальном. Средняя стоимость задачи возрастает с $2.42 на высоком уровне до $12.82 на максимальном. Это кривая модели, которая становится лучше, когда вы платите ей за более длительные размышления.

Заявленная кривая Obsidian 3 ведёт себя не так:

• Низкий уровень усилий — заявлено 39.19%, что уже выше показателя 34.5% при высоком уровне усилий у Claude Opus 5.5.

• Средние усилия — заявлено 39,84%, рост на 0,65 пункта.

• Высокий уровень усилий — заявлено 46,77%, это максимум, при заявленных $8,62 за задание.

• xHigh effort — заявлено 45,90 %, снижение на 0,87 пункта.

• Максимальное усилие — 45,53% по заявлению, снижение ещё на 0,37, при заявленной стоимости около $47.

Пять уровней усилий, и лучший результат оказывается третьим. На достижение максимума тратится примерно в 5,5 раза больше бюджета высокого уровня усилий, а балл получается на 1,24 ниже. Сама Cognition предупреждает, что такое возможно: более высокие настройки рассуждений иногда снижают оценки, потому что модели пишут больше кода и затрагивают больше файлов, а в собственных примерах бенчмарка есть запуск с максимальным уровнем усилий, который удалил публичный класс API, исправляя состояние гонки. Но размер падения имеет значение. Модель, которая застревает на вершине, гораздо чаще оказывается ранней контрольной точкой или артефактом дистилляции, чем готовым флагманом.

Теперь сравнения, потому что заголовок полностью зависит от того, какой из них вы выберете:

• Лучшее против лучшего — 46,77% у Obsidian 3 на высоком уровне против 45,5% у Claude Opus 5.5 на максимуме — это +1,32 пункта, при $8,62 против $12,82, или примерно на 33% дешевле. При таком прочтении скрытая строка выигрывает по обеим осям.

• Высокий против высокого — 46,77% против 34,5% — это +12,24 пункта, при $8,62 против $2,42, или в 3,56 раза дороже. При таком прочтении это большой прирост качества при большой цене.

• Max против max — 45,53% против 45,45% — это +0,08 пункта, при примерно $47 против $12,82, или 3,67× стоимости. При таком прочтении это ничья по разорительной цене.

Все три утверждения арифметически верны. Именно поэтому тред в X прошёл мимо сути: @tensorson сравнил high с max и назвал это выигрышем в 1,3 пункта; @teortaxesTex сравнил high с high и спросил, не сломан ли бенчмарк. Показатель «стоимость в 3,6× при тех же усилиях» точен, как и «дешевле лучшего запуска Opus 5.5» — они описывают разные пары запусков.

Но под всем этим кроется более серьёзная оговорка. Данные Cognition хранят два числа для каждого прогона: сырой процент правильных ответов и оценку с поправкой на mergeability. Опубликованные 45,5% для Claude Opus 5.5 — это скорректированная цифра; его сырой процент правильных ответов при max составляет 49,7%, а при high — 37,9%. Поправка обходится публичным строкам Claude в три–четыре пункта. Мы не знаем, из какой колонки взялись утёкшие числа Obsidian 3. Если 46,77% — это сырой процент правильных ответов, то его скорректированная оценка оказалась бы около 43% — ниже Claude Opus 5.5 — и всё утверждение «выше №1» исчезает. Это единственное неизвестное больше, чем разрыв в 1,3 пункта, о котором все спорили.

Почему метка claude-code — это вся аргументация в пользу Anthropic

Обвязка — это строительные леса, а не отпечаток пальца. FrontierCode запускает каждую модель внутри агентного цикла, и файл данных сопоставляет модели с циклом, который они использовали: строки OpenAI работают в codex, Google — в devin-cli, xAI — в grok-build, Meta Muse Wonder — в muse, собственные SWE-модели Cognition — в devin-cli-swe1, а все шесть строк Claude — в claude-code. Анонимная строка в обвязке Claude — сильный намёк на то, что стоящая за ней модель создавалась для работы с инструментарием Anthropic. Это не доказательство того, что её создала Anthropic. Оператор бенчмарка может тестировать предрелизную модель партнёра в любой подходящей обвязке, а лаборатория может тестировать собственную модель под закрытым кодовым названием.

Само название почти ничего вам не говорит. Публичная линейка Anthropic — сверенная с её собственным обзором моделей от 29 октября — это Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5 и Claude Haiku 5.5. Никакого Fable 5.5 нет, никакого Opus 5.6 нет, и нет продукта под названием Obsidian. «Obsidian 3» — это кодовое название в стиле драгоценных камней, какие лаборатории используют для внутренних целей, но публичного реестра, по которому его можно было бы проверить, не существует, а завершающая «3» не соответствует никакой последовательности, которую выпускала Anthropic.

Это оставляет три возможных прочтения, и имеющиеся данные не позволяют выбрать между ними:

• Сборка уровня Fable. Claude Fable 5.1 — это флагман за $10 / $50 для задач, требующих сложных рассуждений, выпущенный 1 сентября, и линейка Fable — очевидный пробел в нынешнем ассортименте. Догадка @tensorson и несколько комментариев к посту сходятся именно на этом, поскольку ценовой профиль выглядит как премиальный тариф, а не как выгодный.

• Промежуточное обновление Opus. @teortaxesTex исходит из того, что «Obsidian 3 — это Opus 5.6», аргументируя это тем, что Anthropic и раньше выпускала промежуточные модели с небольшим приростом в качестве рассуждений. Плоская вершина заявленной кривой согласуется с этой версией, но результаты при низких усилиях — 39,19% против 14,7% у Claude Opus 5.5 — выглядят как другой прогон обучения, а не небольшое обновление.

• Артефакт дистилляции или ранний чекпоинт. Другая гипотеза @teortaxesTex, и та, которую форма кривой поддерживает лучше всего: сильна при низких и средних усилиях, достигает пика при высоких, а затем ухудшается, когда ей дают больше пространства. Готовая фронтирная модель не должна становиться хуже каждый раз, когда вы увеличиваете её бюджет.

Что даёт выбор момента для IPO — и чего он не даёт

Сигналом, с которого началась эта ветка, был вопрос о сроках: почему Fable не выпущена до IPO? Anthropic публично подала свою форму S-1 26 октября — за день до запуска FrontierCode 2.0 — ради привлечения ориентировочно 75 млрд долларов на Nasdaq под тикером ANT. По данным Renaissance Capital, роуд-шоу ожидается на неделе с 9 ноября, а определение цены — на неделе с 16 ноября. Следующий флагман, выпущенный до определения цены, дал бы листингу продуктовую историю; выпущенный после — историю дорожной карты.

Но скрытая строка бенчмарка — это не сигнал запуска. Лаборатории регулярно тестируют предрелизные модели с операторами бенчмарков, обычно под эмбарго, и задача оператора — сохранять анонимность модели, пока поставщик не скажет иначе. Если Cognition тестировала сборку Anthropic, правильное прочтение таково: Anthropic всё ещё дорабатывает модель, а не то, что до релиза остались считанные дни. Единственной официальной точкой данных остаётся документация Anthropic, в которой перечислены четыре текущие модели, и ни одна из них не Obsidian. IPO объясняет, почему люди так внимательно следят за уровнем Fable. Но это не делает строку реальной.

Что читатель действительно может сделать сегодня

Об Obsidian 3 нельзя сказать, что его можно вызвать, у него есть цена или документация, так что на этой неделе он не меняет ни одного решения. Если вам нужен лучший показатель возможности слияния, доступный прямо сейчас, Claude Opus 5.5 уже публичен: $4 за вход и $20 за выход за миллион токенов, контекстное окно на 1 млн токенов, максимальный вывод 128K, API ID claude-opus-5-5, выпущен 22 сентября. Если ограничение — стоимость, GPT-6.1 Sol набрал 39,0% примерно за $1,03 за задачу в той же таблице — гораздо более выгодное соотношение оценки и доллара, чем у любого из прогонов Claude, и это число стоит проверить, прежде чем предполагать, что верхняя строка таблицы — единственная полезная.

Claude Opus 5.5 маршрутизируется через OrcaRouter по прейскурантной цене Anthropic без наценки, наряду с более чем 200 другими моделями в одном API с автоматическим переключением при отказе. Это важно для одного эксперимента, к которому эта утечка действительно побуждает: запустить Claude Opus 5.5 на высоком и на максимальном уровне усилий на собственной рабочей нагрузке и измерить стоимость одного принятого патча. Собственная кривая FrontierCode говорит, что последние два шага уровня усилий стоят на 10,40 доллара больше на задачу за 11 баллов; в вашем репозитории это может оцениваться иначе. Установка уровня усилий и цена за токен — собственные у Anthropic, передаются как есть, так что сравнение представляет собой изменение параметра, а не второй контракт, — и если Anthropic снизит прейскурантную цену, снижение вступит в силу на этом маршруте в тот же день.

Что сделало бы Obsidian 3 фактом?

• Строка возвращается в загружаемом файле данных, с ключом модели и всеми пятью записями об усилиях, так что числа можно прочитать без скриншота.

• Cognition сообщает, тестировала ли она модель до её выпуска и на каких условиях. Подтверждение оператором бенчмарка прогона под эмбарго позволило бы установить происхождение, не называя вендора.

• Anthropic публикует карточку модели, идентификатор API или запись в документации. Это единственное событие, которое превращает строку бенчмарка в продукт.

• Появляется цена. Модель без цены — это запись в бенчмарке, а не вариант, который читатель может выбрать.

• Его измеряет второй оператор. Artificial Analysis запускает собственный стенд FrontierCode 2.0 с другими внешними настройками; строка Obsidian там была бы подтверждением, а не перепостом того же скриншота.

Эта строка — квитанция, а не релиз. То, что она подтверждает, интереснее заголовка: модель, которая сильна при малых усилиях, достигает пика при высоких, а затем тратит в пять раз больше бюджета, чтобы стать хуже. Если эта кривая принадлежит следующему флагману Anthropic, компании нужно решить проблему масштабирования рассуждений ещё до запуска. Если она принадлежит раннему чекпоинту, цифра изменится раньше, чем название. В любом случае 46,8 — не та цифра, за которой стоит следить. Следить стоит за тем, станет ли кривая когда-нибудь монотонной.

Часто задаваемые вопросы

Вышел ли Obsidian 3?

Нет. Ни одна модель под названием Obsidian 3 не фигурирует в документации Anthropic или в таблице FrontierCode 2.0, опубликованной Cognition, и мы не нашли каталог API, где она указана. Единственное свидетельство — скрытая строка, о которой сообщалось в постах в X 27 и 28 октября, и ветка форума, воспроизводившая пять оценок усилий. Anthropic не дала комментариев, а публичный файл данных, который мы скачали 29 октября, не содержит этой строки.

Obsidian 3 — это Claude Fable 5.5 или Claude Opus 5.6?

Неизвестно. Оба варианта — догадки, основанные на метке обвязки claude-code, а не на каком-либо идентификаторе. Fable 5.5 подходит на пустую позицию над Claude Fable 5.1 в линейке Anthropic; Opus 5.6 соответствует теории о том, что Anthropic выпускает малозначительные обновления в середине цикла. Ни одно из названий не встречается в документации Anthropic, а профиль стоимости больше соответствует премиальному уровню Fable, чем бюджетному Opus.

Почему Obsidian 3 теперь отсутствует в FrontierCode 2.0?

Мы не можем подтвердить, почему. Файл, на который ссылались в исходном сообщении, был в последний раз изменён в 17:44 UTC 28 октября, а копия, которую мы скачали 29 октября, содержит список из 24 моделей, и в нём нет записи Obsidian 3. Возможно, его удалили после того, как посты распространились, или публичная сборка никогда его не содержала. Посты в X и архив форума — единственные найденные нами свидетельства, и ни одно из них не является первоисточником.

Выдерживает ли проверку утверждение о 3,6-кратных затратах?

Арифметика сходится с опубликованными Cognition затратами на Claude Opus 5.5: $8,62 — это в 3,56 раза больше $2,42 за прогон с высоким уровнем усилий, а максимальный показатель около $47 примерно в 3,67 раза больше $12,82 за прогон с максимальным уровнем. Что невозможно проверить, так это часть сметы, относящуюся к Obsidian 3, поскольку её данные о затратах есть только в постах в X, а не в каком-либо файле для скачивания.