Бенчмарк Claude Fable 5.2: чего стоит 65 в реальном времени

Claude Fable 5.2 набирает 65 баллов в Artificial Analysis Intelligence Index v5.0.1 — первое место среди 78 моделей, на пять баллов опережая Gemini 4 Carbon. Эти пять баллов сопровождаются 267 секундами до первого токена, 46,8 минутами реального времени на задачу и $26,54 затрат на один прогон индекса — и каждое из этих значений определяет практическую форму результата. Вот что измерил стенд и что с этим делать. Страница Claude Fable 5.2 API содержит эндпоинты и цены; этот материал посвящён бенчмарку.

Девять оценок

AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset, Terminal-Bench-Science 0.1. Три задачи по терминалу и автоматизации, две задачи рассуждения на основе документов по длинным входным данным, две сложные естественно-научные и математические оценки, одна оценка передового кода. Без стенда веб-агента, без симуляции многоходовой поддержки, без обнаружения уязвимостей.

Оценка и её шкала

65, место 1 из 78, на v5.0.1. В одну и ту же таблицу должны входить только модели, повторно оценённые на v5.0.1; оценки v4.3 и v4.3.2 относятся к другому набору оценок, и любая диаграмма, смешивающая их, недействительна. В текущей когорте верхние позиции занимают Fable 5.2 с 65 и Gemini 4 Carbon с 60, а остальные участники находятся дальше позади или ещё не прошли повторную оценку.

Разрыв в пять пунктов по индексу из девяти оценок реален, но невелик. Полезно интерпретировать это не как «на пять процентов лучше», а как «умеренное преимущество на сложном наборе тестов», и причина платить за это — вариативность, а не сырые возможности: в задачах, где один неверный ответ обесценивает весь прогон, небольшое преимущество в вероятности успеха накапливается по шагам.

Настенные часы

267 секунд до первого токена, 76-е место из 77 моделей с данными о задержке. 46,8 минуты суммарно на задачу. 97 токенов в секунду вывода после запуска, что на 35 процентов быстрее, чем 72 у Carbon, и почти не занимает времени из общего затраченного.

Распределение — это важная часть. Судя по живому трафику OrcaRouter, та же модель показывает p50 времени до первого токена, равный 8,09 секунды, и p95 10,00 секунды на 35,6 млн токенов за семь дней. Стенд и шлюз измеряют разные совокупности: один позволяет модели думать с максимальным усилием на HLE-Diamond, другой — это медианный запрос при том усилии, которое задал вызывающий. Если запустить Fable 5.2 с максимальным усилием, вы воспроизведёте показатель AA; при низком усилии увидите значение, близкое к показателю шлюза.

Деньги

26,54 доллара за прогон индекса при 8,00 доллара за миллион входных и 40,00 доллара за миллион выходных — 77-е место из 77, самый дорогой в таблице. Gemini 4 Carbon стоит 5,48 доллара за те же девять оценок. Это в 4,8 раза больше затрат за пять пунктов индекса, и это самое полезное соотношение в этом сравнении.

AA сообщает о 275 миллионах выходных токенов за прогон при многословности 0,97 процента. Обратите внимание, что процент и количество указывают в противоположных направлениях относительно показателей Carbon — 2,69 процента и 205 миллионов токенов, поэтому процент не следует приводить как утверждение о лаконичности.

Соотношение, которое делает сравнение пригодным для использования, — это $0.41 расходов на бенчмарк на индексный пункт против $0.09 у Carbon. Какой бы вывод вы из этого ни сделали, арифметика вынуждает принять решение о маршрутизации, а не решение о единой модели: при такой цене модель — это уровень, а не вариант по умолчанию.

О чём не говорит счёт

В этом наборе нет кибероценки, поэтому здесь ничто не говорит о способности вспоминать уязвимости или о качестве патчей — это важно, если именно поэтому вы смотрите на фронтирную модель. Здесь нет оценки длительно работающего агента с вызовами инструментов между ходами — а именно для такой рабочей нагрузки на самом деле позиционируется Fable 5.2; терминальные задачи приближаются к ней, но не воспроизводят её.

Кроме того, отсутствует измерение надёжности. Живой трафик на OrcaRouter показал долю ответов вне диапазона 2xx в 10,8% по всем вышестоящим провайдерам за семь дней против 39,7% у Carbon. Тестовый стенд поглощает это с помощью повторов; ваше приложение — нет, если вы не реализуете их сами.

Рассматривая это как решение

Если ваша задача похожа на девять оценок и её можно запускать асинхронно, то 65 прогонов по $26,54 за прогон оправданно для сложных случаев и расточительно для простых — маршрутизируйте по сложности и используйте более дешёвую модель для большинства. Если ваша задача интерактивна, показатели тестового стенда — не ваши показатели; p50 шлюза в 8,09 секунды — это то, на что нужно ориентироваться при проектировании, а уровень усилий — переменная, которая решает, окажетесь ли вы около восьми секунд или около четырёх минут.

Что касается прямого сравнения, Claude Fable 5.2 vs Claude Fable 5.1 охватывает предыдущее поколение по более высокой цене, а Gemini 4 Carbon vs Claude Fable 5.1 охватывает пару разных производителей. Список моделей LLM содержит остальную часть когорты v5.0.1 с идентификаторами и ценами; перепроверьте версию индекса на любом графике, который вы используете повторно, потому что оценка v4.3 в той же таблице сделает сравнение недействительным.