Главная цифра GPT-6.1 Terra — 38%: частота галлюцинаций, а не IQ

Публикации о запуске GPT-6.1 Terra сосредоточились на приросте интеллекта на шесть пунктов и карточке за полцены. Число, которое действительно меняет то, как модель можно использовать, — 38%: показатель Artificial Analysis, отражающий, как часто Terra догадывается, когда не знает ответа, снизился с 88% у GPT-5.6 Terra. Снижение доли догадок на пятьдесят пунктов больше, чем все приросты качества в релизе вместе взятые, и оно переводит модель из режима «предполагай, что ответ выдуман» в режим «выбирай и проверяй».

В этом материале разделяются две разные вещи, которые в этом выпуске называют галлюцинацией, — независимая мера всеведения и внутренний тест OpenAI на ошибки, — и оценивается, чего стоит 38%-ная частота угадывания в реальном конвейере проверки.

Что измеряют 38%

Оценка AA-Omniscience от Artificial Analysis задаёт моделям вопросы, ответа на которые они могут не знать, и подсчитывает, как часто они всё равно выдают уверенный ответ. GPT-5.6 Terra: 88%. GPT-6.1 Terra: 38%. За тот же период точность выросла на два пункта.

Если рассмотреть эти два факта вместе, они описывают модель, которая стала охотнее говорить «я не знаю», а не ту, что стала заметно более знающей. Индекс интеллекта сдвинулся на шесть пунктов — с 42 до 48. Поведение воздержания от ответа сдвинулось на пятьдесят. Для любого, кто использует модель для извлечения фактов, это более ценное изменение.

Всё ещё недостаточно хорошо. Тридцать восемь процентов означают, что из набора вопросов, на которые модель не может ответить, более чем в одном случае из трёх она всё равно уверенно даёт неправильный ответ. Модель, которая воздерживается от ответа в 62% случаев, когда не знает, гораздо безопаснее той, что воздерживается в 12% случаев, — и всё равно её нельзя показывать клиенту без проверки.

Номер поставщика — это другой тест.

Заголовочный показатель OpenAI — снижение на 37 пунктов на подсказках, предназначенных для провоцирования ошибок: с 53,6% на GPT-5.6 Terra при низком уровне усилий до 16,7% на Terra и 4,3% при максимальном уровне усилий. Этот тест является внутренним, неопубликованным и построенным по состязательному принципу. Он измеряет, способна ли модель сопротивляться подсказке, специально созданной, чтобы заставить её ошибиться, — а не то, выдумывает ли она факты, когда ей их не хватает.

Оба числа могут быть верными. Тест производителя измеряет устойчивость к состязательным промптам; независимый тест измеряет калибровку в условиях неосведомлённости. Они коррелируют, но не взаимозаменяемы, и освещение запуска в основном трактовало первый как доказательство второго. А это не так.

Чего стоит 38%-ная вероятность угадывания

Верификация — скрытая статья расходов при любом внедрении дешёвой модели, и её объём растёт пропорционально частоте догадок. Возьмём конвейер извлечения данных из документов, обрабатывающий 100 000 страниц в месяц, при стоимости ручной выборочной проверки $2 за проверенную страницу.

• При 88% вероятности угадывания выборочная проверка невозможна. Приходится проверять всё: 100 000 страниц × $2 = $200 000 в месяц. Счёт за токены не имеет значения.

При 38% схема выборочной проверки становится жизнеспособной. Проверяйте 20% страниц: 20 000 × $2 = $40 000 в месяц, при известной доле пропусков на остальных.

При гипотетических 10% проверка 5% стоила бы $10,000 в месяц и всё равно ограничивала бы частоту ошибок.

Стоимость токенов самого пайплайна по тарифам Terra — скажем, 20 000 входных и 500 выходных токенов на страницу — составляет $2 250 на 100 000 страниц. Расходы на проверку в десять–девяносто раз превышают расходы на модель. Именно в такой системе координат нужно сравнивать дешёвые модели: счёт складывается из модели и проверки, а проверка определяется частотой угадывания.

Какие задачи допускают угадывание

• Устойчивые — суммирование документа, полностью находящегося в контексте (ответ обоснован входными данными), классификация с фиксированным набором меток, составление черновика, который редактирует человек, извлечение данных по схеме, отклоняющей некорректно сформированный вывод.

• Нетерпимый — ответы на фактические вопросы без обращения к источникам, финансовые показатели, юридические ссылки, медицинские дозировки, всё, где правдоподобный неверный ответ хуже, чем отсутствие ответа.

Разделительная линия проходит не по показателю интеллекта модели, а по тому, можно ли проверить ответ по источнику. Доля догадок в 38% в задаче, где каждый результат проверяется, — это проблема эффективности. В задаче, где результаты направляются напрямую клиенту, это риск.

Как измерить это на ваших собственных данных

• Составьте набор вопросов, на которые модель не может ответить из контекста. Доля угадываний измеряется на неразрешимых вопросах, а не на полном тестовом наборе — тест, в котором на каждый вопрос есть ответ, измеряет точность, а не калибровку.

• Оценивайте три исхода, а не два: правильный, неправильный, воздержание. Модель, отвечающая «unknown», ведёт себя правильно, когда вопрос не имеет ответа.

• Сравните с GPT-5.6 Terra на том же наборе. Улучшение на пятьдесят пунктов — это независимое от производителя утверждение, но оно измерено на вопросах Artificial Analysis; ваши могут отличаться.

• Следите за настройкой уровня усилий. Утверждения о частоте ошибок зависят от конкретного уровня усилий, и поведение при воздержании от ответа, вероятно, тоже будет меняться вместе с усилием рассуждения — прогон с низким уровнем усилий может угадывать чаще, чем прогон с максимальным уровнем.

Промптинг для воздержания от ответа

Калибровка отчасти является свойством промпта. Три паттерна, которые надёжно снижают уверенные догадки:

• Дайте модели явный выход — «если ответа нет в предоставленном контексте, ответьте UNKNOWN» — и засчитывайте такой ответ как правильный для вопросов без ответа.

• Требуйте указания источника для каждого фактического утверждения и отклоняйте выходные данные, источники которых не соответствуют контексту.

• Запрашивайте метку уверенности и перенаправляйте ответы с низкой уверенностью второй модели или человеку, а не требуйте от дешёвой модели уверенности.

Каждый из них расходует токены и добавляет этап. Но каждый дешевле, чем неверный ответ, дошедший до клиента, и именно показатель 38% делает этот компромисс тем, что стоит просчитать, а не игнорировать.

Почему это важнее, чем индекс

Прирост интеллекта на шесть пунктов меняет то, какие задачи модель вообще способна выполнять. Изменение на пятьдесят пунктов в угадывании меняет то, какие задачи она может выполнять без человека в контуре. Для решения о маршрутизации второй показатель — более полезная ось: он определяет, может ли дешёвая модель работать над задачей без надзора, а надзор — это затрата, которая доминирует в производственном счёте.

GPT-6.1 Terra — это не модель, которая перестала галлюцинировать. Это модель, которая галлюцинирует менее чем вдвое реже своей предшественницы, при вдвое меньшей цене и с более свежей датой отсечения знаний. Такое сочетание действительно полезно — и это история про верификацию, а не про возможности.

Что можно запустить сегодня

GPT-6.1 Terra на момент написания отсутствует в каталоге OrcaRouter, поэтому его поведение при воздержании от ответа приходится измерять напрямую по OpenAI. Всё, с чем он сравнивается, уже доступно у нас с наценкой 0% к прайс-листу провайдера — GPT-5.6 Terra за $2/$12, GPT-6.1 Sol за $2/$10, GPT-6 Astra за $10/$50, GPT-6 Luna за $0.10/$0.50, Claude Sonnet 5.5 за $2/$10 — и этого достаточно, чтобы построить калибровочный набор и модель стоимости верификации до появления Terra.

Число, которое следует перенести в тот эксперимент, — не 48. Это 38, и вопрос, который нужно задать, таков: как выглядит ваш бюджет на проверку при такой частоте угадывания?