Бенчмарки GPT-6.1 Terra, упорядоченные: где 48 равно 52, а где — нет

Сводный показатель GPT-6.1 Terra равен 48. У GPT-6.1 Sol он 52, у GPT-6 Astra — 53, у GPT-5.6 Terra — 42, а у GPT-6 Luna — 38. Вот и вся история, если читать только верхнюю строку Artificial Analysis Intelligence Index: модель среднего уровня, которая оказывается на шесть пунктов выше предшественника и на четыре ниже более дорогого собрата. Это также наименее полезный способ читать этот релиз, потому что тот же индекс скрывает разрыв в 29 пунктов по программированию с Astra, разрыв в 7,6 пункта по показателю computer use с Claude Opus 5.5 и улучшение по галлюцинациям, которое больше, чем все приросты интеллекта в этом запуске вместе взятые.

Далее различаются три типа чисел: независимые измерения от Artificial Analysis, результаты, заявленные поставщиком OpenAI, которые никто за пределами компании не воспроизвёл, и производные показатели — арифметика, превращающая любой из первых двух в стоимость или соотношение. Эти различия важны, поскольку публикации о запуске уже начали их смешивать.

Три оценки, которые все будут цитировать

Artificial Analysis указывает GPT-6.1 Terra с показателем 48 в своём Intelligence Index, на 25-м месте из 221 модели, при стоимости $0.40 за задачу индекса. GPT-6.1 Sol находится на уровне 52 и 13-м месте, при $0.72 за задачу. GPT-6 Astra, текущий флагман, имеет показатель 53. GPT-5.6 Terra — 42 и 53-е место, при $1.40 за задачу. GPT-6 Luna — 38.

Если рассматривать это как лестницу, Terra — настоящее улучшение: шесть баллов при менее чем трети стоимости за завершённую задачу и десять баллов выше бюджетного уровня. Если рассматривать это в сравнении с Sol, всё именно так, как подразумевает ценовая карточка: на четыре балла слабее при примерно вдвое меньшей цене за токены. Ничто в композитном показателе не противоречит позиционированию OpenAI.

Композитный показатель также сглаживает то, что сглаживать не следует. Четыре пункта индекса между Terra и Sol — это 8% шкалы; 29 пунктов между Terra и Astra в Coding Agent Index — это 60% той же шкалы. Одно число не может вместить оба, и публикации о запуске, цитирующие только первое, тихо опустили второе.

Где разрыв становится шире: программирование

В Coding Agent Index v2.0 от Artificial Analysis GPT-6.1 Terra набирает 48, GPT-6.1 Sol — 54, а GPT-6 Luna — 31. Это отставание от Sol на шесть пунктов и опережение Luna на 17 пунктов — та же картина, что и в индексе интеллекта, но разрыв с лидером семейства в относительном выражении больше.

Цифры от вендора рисуют более лестную картину, и это именно цифры вендора. OpenAI сообщает о 50,3% решённых задач на Terminal-Bench 4.0 при максимальном усилии против 21,5% у GPT-5.6 Terra. Это более чем вдвое больше, и это самый крупный скачок от поколения к поколению в этом релизе. При этом это бенчмарк терминальных задач, а не широкий показатель для кодирующих агентов: Terra может быть близка к Sol на коротких, чётко очерченных задачах в shell и при этом отставать на шесть пунктов по более широкому индексу, и оба утверждения верны одновременно.

Практический вывод таков: улучшения Terra в программировании сосредоточены там, где задача ограничена. «Запусти этот набор тестов, прочитай сообщение об ошибке, исправь файл» — это типичная задача для Terra. «Удерживать в голове рефакторинг пятнадцати файлов на протяжении сорока шагов» — нет, и собственная рекомендация OpenAI по-прежнему направляет сложную программистскую работу к Sol или Astra.

Где разрыв меньше, чем предполагает индекс: использование компьютера

В OSWorld 2.1 — стандартном бенчмарке автоматизации рабочего стола — GPT-6.1 Terra набирает 74,2% при максимальном уровне рассуждений. GPT-6.1 Sol набирает 75,9% в режиме xhigh. GPT-6 Astra — 75,8%. Claude Opus 5.5 лидирует среди моделей, которые мы можем сравнить, с результатом 81,8%, у Claude Fable 5.1 — 80,7%, у Claude Sonnet 5.5 — 80,1%, а у Kimi K3.1 Pro — 79,6%.

Отсюда следуют два вывода. Во-первых, Terra отстаёт от Sol всего на 1,7 балла в задаче, для которой создавалась, при вдвое меньшей цене за токен — это гораздо более выгодный размен, чем предполагает четырёхбалльный разрыв в интеллекте. Во-вторых, вся линейка GPT-6 отстаёт от Anthropic в автоматизации рабочего стола на шесть–семь баллов, и Terra этот разрыв не закрывает. Если ваш продукт — браузерный агент, интересное сравнение — не Terra с Sol, а Terra с Claude Sonnet 5.5, который дешевле за токен, чем Sol, и набирает на 5,9 балла больше на OSWorld.

Собственные агентные показатели поставщика указывают в ту же сторону. В Agents' Last Exam v1 OpenAI сообщает 57.6% для Terra при среднем уровне усилий против 50.7% для GPT-5.6 Terra при максимальном. Связанное с этим утверждение — сопоставимо с GPT-6 Astra при среднем уровне, при примерно одной десятой цены за токен — представляет собой утверждение в расчёте на задачу, и это самое экономически значимое предложение в запуске.

Число, которое действительно изменилось: галлюцинация

Artificial Analysis измеряет уровень галлюцинаций Omniscience: как часто модель угадывает, когда не знает. GPT-5.6 Terra набрала 88%. GPT-6.1 Terra набирает 38%. Точность за тот же период выросла на два пункта.

Снижение доли угадывания на 50 пунктов больше любого прироста интеллекта в этом выпуске, и это единственный показатель, который меняет, для чего модель можно безопасно использовать. Модель, которая выдумывает ответ в 88% случаев, когда не уверена, нельзя доверять извлечение данных из счетов-фактур или заполнение форм без проверки человеком каждого результата. При 38% она всё ещё угадывает более чем в трети случаев — это улучшение, а не решение, — но режим отказа смещается с «считать, что это неверно» на «выборочно проверять и верифицировать».

Это имеет прямые последствия для затрат. Проверка — скрытая статья расходов в любом развёртывании дешёвой модели: если приходится проверять 88% ответов, трудозатраты затмевают экономию на токенах. При 38% выборочная проверка становится жизнеспособной, и цифра $0,40 за задачу начинает выглядеть как реальная стоимость, а не как её видимая половина.

Заявления вендоров и чего в них не хватает

Опубликованные OpenAI результаты — все получены самим поставщиком, и ни один не был независимо воспроизведён на момент написания:

• Terminal-Bench 4.0 — 50,3% при максимальном усилии, против 21,5% у GPT-5.6 Terra.

• Agents' Last Exam — на 15 баллов выше GPT-5.6 Terra при среднем уровне усилий и примерно втрое дешевле.

• MMMU-Pro — опережает GPT-5.6 Terra на каждом уровне усилий, приближаясь к Astra и Sol, при этом абсолютные баллы не опубликованы.

• Terminal-Bench-Science 0.1 — в пределах 5 пунктов от Claude Opus 5.5 при менее чем одной пятой оценочной стоимости.

• Промпты, провоцирующие ошибки, — 16,7 % при низком уровне усилий против 53,6 %, и 4,3 % при максимальном, по результатам внутреннего теста, который компания не публиковала.

Эту закономерность в списке стоит назвать. Два самых сильных утверждения — MMMU-Pro и тест на частоту ошибок — это два, к которым не приложены абсолютные числа. «Приближается к Astra» и «близко к Sol» — это сравнительные утверждения, которые нельзя проверить без стоящих за ними чисел. Утверждения с конкретными цифрами — это те, которые может воспроизвести третья сторона, и Artificial Analysis уже воспроизвела сторону затрат: $0.40 за задачу, $1.40 для предшественника.

Скорость — это независимое число, не входящее в индекс.

Artificial Analysis измеряет GPT-6.1 Terra на уровне 90,9 выходных токенов в секунду при времени до первого токена 133,64 секунды в бенчмарке рассуждений. Для GPT-6.1 Sol измерено 73,5 токена в секунду и 284,31 секунды. Это примерно на 24% больше пропускной способности и чуть более чем двукратное преимущество по времени до первого токена — независимое измерение, а не заявление производителя, и самый сильный объективный аргумент в пользу Terra во всём релизе.

Для чат-продукта пропускная способность почти не важна; для цикла computer-use, который выполняет двадцать шагов на задачу, это разница между 40-секундной задачей и 90-секундной. Индекс не учитывает задержку — поэтому модель, стоящая на 25-м месте, может оказаться правильным выбором для агента, который занимает 13-е место по качеству.

Как читать индекс и не дать себя ввести в заблуждение

• Воспринимайте составной показатель как фильтр, а не как рейтинг. Он показывает, какие модели участвуют в обсуждении; он не говорит, какая из них лучше всего подходит для вашей задачи.

• Посмотрите отдельно на оценки по подкритериям «написание кода» и «использование компьютера». Профиль Terra необычно широк: по автоматизации работы с рабочим столом она почти на уровне Sol, по написанию кода отстаёт на шесть баллов, а в целом — на четыре.

• Перепроверьте абсолютные значения по единой дате. Индекс периодически перенормируется, и обзоры из разных недель приводят разные числа для одной и той же модели.

• Учитывайте частоту галлюцинаций с тем же весом, что и показатель интеллекта, если ваша рабочая нагрузка сопряжена с затратами на проверку. Улучшение на 50 пунктов меняет операционную модель, а не только показатель.

• Измеряйте собственную задачу. Показатели стоимости за задачу от Artificial Analysis — это прокси, построенный на их промптах; ваши промпты дадут иное соотношение между ценой токена и количеством попыток.

Ничто из этого не делает GPT-6.1 Terra плохой моделью. Это делает её специфической: быстрой, дешёвой моделью с гораздо меньшим числом галлюцинаций, которая близка к своему более дорогому собрату на экранных тестах и далека от флагмана в коде. Сводная оценка говорит 48. Субпоказатели говорят, какие именно 48 вы покупаете.