Gemini 4 Carbon Benchmark: что на самом деле измеряет 60 в AA v5.0.1

Результат бенчмарка полезен, только если вы знаете, что именно запрашивал испытательный стенд, сколько времени модели разрешалось думать и какая версия теста дала это число. Для Gemini 4 Carbon ответы таковы: девять агентных и научных оценок, столько времени, сколько она хотела, и Intelligence Index v5.0.1 — текущая версия, поэтому оценку 60 можно приводить, а большинство чисел, которые вы найдете рядом с ним, — нет. На странице Gemini 4 Carbon API указаны цена и эндпоинт; эта статья — о результате.

Что на самом деле было запущено

AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset и Terminal-Bench-Science 0.1. Прочитайте этот список, прежде чем делать из него обобщения. Три из девяти — это работа с терминалом или автоматизация, два — рассуждения на основе документов при длинных входных данных, два — сложная наука и математика, и один — передовой код. В наборе нет ни оценки веб-агентов, ни симуляции многоходовой поддержки клиентов, поэтому отличный балл ничего не говорит об этом.

Счёт

Carbon набирает 60, что соответствует рангу 4 из 78 на v5.0.1. Лидер — Claude Fable 5.2 с 65. Разрыв в пять баллов значим, но не категоричен: обе модели проходят одни и те же девять оценок, и проще всего интерпретировать эту разницу как примерно одну дополнительную сложную задачу, решённую на каждые двадцать попыток при уровне компетентности Carbon. Считайте это направлением, а не показателем.

Проверка версии важнее ранга. Модели, оценённые на v4.3 или v4.3.2 — включая большинство названий, которые вы увидите в постах-сравнениях, — находятся не в одной шкале и не могут быть помещены в одну таблицу. Если график смешивает их, график неверен независимо от того, кто его опубликовал.

Практическое следствие таково: вы не можете сравнивать Carbon с моделью, которую сами оценивали в прошлом квартале, если только эту модель не переоценили заново. Либо повторно прогоните собственный тестовый стенд на обеих, либо ограничьте утверждение когортой v5.0.1 и оговорите это в предложении, где вы его цитируете.

Затраты времени

Время до первого токена — 64,7 секунды, 69-е место из 77 моделей с данными о задержке. Общее время ответа составляет 28,4 минуты на задачу по девяти оценкам. Как только Carbon начинает генерировать, он выдаёт 72 токена в секунду, что вполне обычно. Время выполнения определяется размышлением, а не написанием.

Это скорее осознанный выбор дизайна, чем дефект, и стоит точно понимать, что он подразумевает. Испытательный стенд, который позволяет модели рассуждать до тех пор, пока она не сочтёт результат удовлетворительным, даст медленный, но высокий балл; та же модель за шлюзом на живом трафике показывает p50 6,89 секунды до первого токена и p95 — 10,00 секунды, потому что большинство реальных запросов — не HLE-Diamond. Эти два показателя измеряют разные вещи, и оба должны присутствовать в плане по мощностям.

Денежные затраты

Прогон индекса на Carbon обошёлся в$5.48 при $2.00 за миллион входных токенов и $10.00 за миллион выходных, что в среднем составляет $2.70 за миллион. AA также сообщает о 205 миллионах выходных токенов за прогон при показателе многословности 2,69 процента. Именно количество токенов, а не процент, следует запомнить: оно показывает, что агентная оценка из девяти задач потребила почти четверть миллиарда выходных токенов.

Для сравнения: тот же индекс против Claude Fable 5.2 обошёлся в $26.54 — в 4,8 раза дороже — при $8.00 на входе и $40.00 на выходе. Именно так и следует рассматривать эту пару: разрыв в пять баллов оплачивается почти пятикратным расходом токенов.

Если выразить в виде соотношения, Carbon платит $0.09 расходов по бенчмарку за индексный пункт, а Fable 5.2 — $0.41. Это не аргумент в пользу того, что более дешёвая модель лучше — смысл фронтирной модели в задачах, с которыми дешёвая не справляется — но это аргумент за маршрутизацию по сложности вместо выбора одной модели для всего. 90 процентов вызовов, с которыми справляется модель на 60 пунктов, не нуждаются в модели на 65 пунктов.

Ещё одно соотношение, которое стоит держать в голове, — это время. Carbon тратит 28,4 минуты на задачу, а Fable 5.2 — 46,8, так что более дорогая модель ещё и в 1,6 раза медленнее от начала до конца. В асинхронной очереди это ограничение пропускной способности; при синхронном вызове это разница между индикатором загрузки и тайм-аутом. Gemini 4 Carbon release notesрассказывают о том, что вошло в модель, а если вопрос в том, заменяет ли она предыдущее поколение Gemini, то Gemini 4 Carbon vs Gemini 3.1 Pro— это прямое сравнение.

Что не охватывает бенчмарк

В этом наборе нет стенда для кибербезопасности или обнаружения уязвимостей. Если вы оцениваете Carbon для задач безопасности — сканирования, триажа, генерации патчей — эти девять оценок говорят о его рассуждениях и ничего не говорят о его полноте обнаружения реальных уязвимостей. То же самое верно для долгосрочного программирования в конкретном репозитории, которое FrontierCode-AA приблизительно моделирует, но не заменяет.

Здесь также никак не измеряется, что происходит под нагрузкой. Фактическая частота ошибок в трафике OrcaRouter для Carbon составила 39,7 процента за последние семь дней против 10,8 процента для Fable 5.2. Тестовый стенд (benchmark harness) повторяет запросы и поглощает такие ошибки; ваше приложение должно само решать, как с ними поступать.

Воспроизведение чего-либо из этого на вашем собственном трафике

Вы не сможете воспроизвести 64,7 секунды AA без стенда AA, и не стоит пытаться: полезно измерить собственные p50 и p95 и сравнить их с опубликованными шлюзом 6,89 и 10,00 секунды, потому что это покажет, обычные ли ваши промпты или необычно сложные. Логируйте время до первого токена, количество выходных токенов и число ответов non-2xx по каждому маршруту. Если ваш процент ошибок выше 39,7%, которые шлюз сообщает по всем провайдерам, проблема на вашей стороне запроса.

Как использовать это при принятии решения

Если ваша работа похожа на девять оценок — терминальные задачи, автоматизация, документы с длинным контекстом, сложная наука — то Carbon при 60 и смешанной цене $2,70 является оптимальным выбором по соотношению цены и качества в текущей когорте v5.0.1, а 64,7-секундное время обдумывания — это издержка, которую можно поглотить, сделав вызов асинхронным. Если ваша работа интерактивна, та же модель с p50 около семи секунд через шлюз — это совершенно другой расклад, и честной проверкой будет ваш собственный трафик, а не тестовый стенд AA.

Для очного сравнения с моделью, которая его обошла, Gemini 4 Carbon vs Claude Fable 5.1 ставит эту пару рядом, а сравнение цен на LLM API показывает, где смешанная цена $2.70 находится относительно остального каталога. Перепроверьте версию на любом графике, который вы повторно используете: v5.0.1 — единственная шкала, к которой относится это значение 60.