GPT-6.1 Sol против Grok 4.6: проблема с Accept-Header и разрыв в 35 пунктов, которого на самом деле нет

На текущем рынке моделей есть одна пара, в которой более дешёвый вариант безоговорочно побеждает в самом сложном научном бенчмарке, и всё же всё сравнение складывается не в его пользу. Grok 4.6, флагман SpaceXAI с 2026-08-12, набирает 94,9% в GPQA Diamond — научных вопросах уровня выпускника — против 42,9% в Humanity's Last Exam у той же модели, и стоит $2,00 за миллион входных и $6,00 за миллион выходных токенов. GPT-6.1 Sol, выпущенный Open​AI 2026-09-29, набирает 52,9% на том же наборе HLE и берёт $10,00 за миллион выходных токенов. Так что Grok 4.6 лучше в одной сложной вещи, дешевле по каждой строке прайс-листа, и всё же именно во второй половине этого сравнения и живёт интересная проблема: обеим моделям не всегда задают один и тот же вопрос.

Приведённые ниже числа — это измерения Artificial Analysis, выполненные на основе наших собственных записей о моделях для обеих моделей, данные поставщиков, где это указано, и наши собственные данные обслуживания. Оценщик и дата указаны везде, где показатель может быть неоднозначным.

Номер версии, выполняющий работу

Начнём с цифр, которые выглядят как разгром, но таковыми не являются. Artificial Analysis проводит два бенчмарка для терминальных агентов, и обе модели были оценены в каждом из них:

• Terminal-Bench 2.1 — Grok 4.6 набирает 88,39%; GPT-6.1 Sol в этой версии не указан.

• Terminal-Bench 4.0 — Grok 4.6 набирает 21.21%; GPT-6.1 Sol набирает 56.06%.

Прочитайте только вторую строку — и Grok 4.6 выглядит неспособным выполнить задачу в оболочке. Прочитайте обе строки — и становится ясно, что разница в тестовом стенде, а не в модели. Terminal-Bench 4.0 — это более сложная редакция той же идеи, и две модели были оценены на нём в разное время — в записи GPT-6.1 Sol в Artificial Analysis указана дата оценки 2026-09-28, а в записи Grok 4.6 — 2026-08-12. Разрыв в 35 пунктов между двумя моделями, измеренными с интервалом в шесть недель на бенчмарке, который был пересмотрен внутри этого окна, не является доказательством того, что одна из них не умеет пользоваться терминалом. Это свидетельство того, что не следует сравнивать эти две ячейки.

Честная версия агентного сравнения — более узкая: Grok 4.6 показывает 88,39% на Terminal-Bench 2.1, а на этой версии нет показателя GPT-6.1 Sol, который можно было бы поставить рядом с ним. Это пробел в доказательствах, и остальная часть этой статьи рассматривает его именно так.

Что представляют собой эти двое

Grok 4.6 — текущий флагман линейки Grok, указанный как «Latest» в собственной документации для разработчиков SpaceXAI; он приходит на смену Grok 4.5 с тем же контекстным окном на 500 000 токенов и той же поверхностью ввода текста, изображений и файлов. Он поддерживает настраиваемый уровень усилий при рассуждении, нативный вызов инструментов, структурированные выходные данные и полный набор параметров сэмплирования — temperature, top_p, seed, logprobs, penalties, — что является значимой деталью: в отличие от GPT-6.1 Sol, он принимает параметр temperature.

GPT-6.1 Sol — это единый снапшот — gpt-6.1-sol, без датированного варианта — с контекстным окном 1 050 000 токенов, максимальным объёмом вывода 128 000, той же поверхностью ввода текста, изображений и файлов и пятью уровнями усилий, по умолчанию — средним. Он не принимает temperature или top_p; сэмплирование заменено регулятором усилий.

Строки спецификации рядом друг с другом по тем параметрам, в которых они различаются:

• Контекстное окно — 1 050 000 токенов у GPT-6.1 Sol против 500 000 у Grok 4.6. У GPT-6.1 Sol окно чуть более чем вдвое больше.

• Максимальный объём вывода — 128 000 токенов для GPT-6.1 Sol; предельный объём вывода Grok 4.6 не указан в нашей каталожной записи о нём — это поле, которое никогда не заполнялось, а не ноль.

• Параметры сэмплирования — temperature, top_p, seed и параметры штрафов работают в Grok 4.6, а GPT-6.1 Sol их отклоняет.

• Базовая цена — $2,00/$6,00 за Grok 4.6 против $2,00/$10,00 за GPT-6.1 Sol, в пределах первых тарифных уровней обеих моделей.

Пять осей, одно ясное направление

У этих двух моделей достаточно независимых измерений, чтобы их можно было корректно сравнить, и форма результата согласуется:

• AA Intelligence Index — GPT-6.1 Sol 51,8, 10-е место из 147, 93,2-й процентиль; Grok 4.6 44,3, 20-е место, 86,4-й процентиль.

• Humanity's Last Exam — 52,9% против 42,9%. Десять пунктов, GPT-6.1 Sol.

• Воспроизведение длинного контекста — 83% против 80,33%.

SciCode — 54,2% против 56,5%. Grok 4.6 — на 2,3 пункта впереди, единственная из этих четырёх осей, где он лидирует.

• GPQA Diamond — GPT-6.1 Sol не указан по этой оси в наших данных; Grok 4.6 набирает 94,9% — это самый высокий показатель в его карточке.

Две из осей Grok 4.6 не измеряются на стороне GPT-6.1 Sol, а одна из осей GPT-6.1 Sol не измеряется на стороне Grok 4.6. Это стандартная форма сравнения между моделями, оцениваемыми по разным графикам, и способ справиться с этим — оставить ячейки пустыми, а не заполнять их из презентации запуска.

По Intelligence Index требуется одна сверка. В более раннем материале этого блога Grok 4.6 был указан на позиции 61 в том же индексе. В нашей текущей записи есть дополнительная строка с этим значением, наряду с приведённой выше цифрой 44,3 — индекс был пересмотрен и пересчитан, и для одной и той же модели существуют оба показателя. Всем, кто цитирует позицию Grok 4.6 в индексе, следует уточнять, какую редакцию они имеют в виду, потому что разница между 61 и 44,3 больше, чем разрыв, которому посвящена вся эта статья.

Тарифная карта и шаг внутри неё

Grok 4.6 дешевле по каждой базовой позиции и имеет более длинный список позиций. Его тарифная сетка:

• До 200 000 токенов промпта — $2,00 за ввод, $6,00 за вывод, $0,50 за кэшированный ввод.

• Свыше 200 000 токенов промпта — весь запрос пересчитывается по цене $4.00 за вход, $12.00 за выход, $1.00 за кэшированный вход.

GPT-6.1 Sol:

• До 272 000 токенов промпта — $2,00 за ввод, $10,00 за вывод, $0,10 за кэшированный ввод, $2,50 за запись в кэш.

• Свыше 272 000 токенов промпта — для всего запроса применяются новые цены: $4.00 за ввод, $15.00 за вывод, $0.20 за кэшированный ввод, $5.00 за запись в кэш.

И шаг, и оба шага попадают в одну и ту же область длины промпта — но обратите внимание, что шаги делают с разрывом в главном показателе. Внутри первого уровня вывод Grok 4.6 на 40 процентов дешевле. Выше шага, при $12.00 против $15.00, это на 20 процентов дешевле. А на кэшированном вводе порядок полностью меняется на противоположный: $0.10 за миллион у GPT-6.1 Sol — это одна пятая от $0.50 у Grok 4.6 до шага и одна десятая после него.

Для агентной нагрузки, которая перечитывает длинный фиксированный префикс на каждом ходу — репозиторий, набор контрактов, длинный транскрипт — эта строка кэша стоит больше, чем базовая ставка, и это указывает в противоположную сторону. Для нагрузки, которая выдаёт много выходных данных из короткого запроса, $6.00 у Grok 4.6 — это та черта, которая решает.

Наши собственные данные сервинга, и почему часть из них следует игнорировать

В каталоге OrcaRouter есть семидневная панель обслуживания для каждой модели, и у одной из этих двух моделей она — артефакт, а не измерение. Панель Grok 4.6 показывает задержку p50 в 6 250 миллисекунд и долю ошибок 56,76% за окно, в котором было обслужено 1 212 441 токен. Панель GPT-6.1 Sol показывает p50 в 2 442 миллисекунды, 95,57 выходных токенов в секунду, долю ошибок 6,36% и 421 752 431 обслуженный токен за те же семь дней.

Первым делом нужно смотреть на показатели трафика, потому что они объясняют всё остальное. У модели, обслужившей 1,2 миллиона токенов за неделю, слишком скудная выборка, чтобы частота ошибок что-то значила, — при таком объёме показатель 56,76% отражает несколько десятков попыток, а не качество сервиса, и рассматривать его как доказательство ненадёжности Grok 4.6 означало бы принимать артефакт измерения за само измерение. За нашей панелью GPT-6.1 Sol стоит примерно в 350 раз больше трафика, что делает это число пригодным для суждения о пользователях нашей тестовой площадки, но всё равно не свойством модели.

Что мы не можем вам сообщить

В этом сравнении недостаёт трёх вещей, и ни одну из них нельзя восполнить с помощью доводов.

Первый — это оценка терминального агента для обеих моделей на одной и той же версии. Пока Artificial Analysis не оценит Grok 4.6 на Terminal-Bench 4.0 или GPT-6.1 Sol на 2.1, сравнение агентных возможностей держится на цифре одной модели и молчании другой. Любой, кто утверждает, что разброс 56,06% против 21,21% — это разрыв в возможностях, цитирует разницу между ревизиями.

Второй — это потолок вывода Grok 4.6. В наших данных это поле не измерено, поэтому для рабочей нагрузки, зависящей от очень длинных одиночных ответов, с этой стороны нет опубликованного числа, на которое можно ориентироваться при планировании.

Третье — это то, сколько на самом деле стоят обе модели за выполненную задачу. Наш playground сообщает среднюю стоимость за задачу для Claude Opus 5; для этих двух он её не сообщает, а приведённые выше цены за токены — это входные данные для этого числа, а не само число. Собственные цифры Open​AI, заявленные вендором, для GPT-6.1 Sol описывают улучшения показателя стоимости за задачу — Terminal-Bench Science 0.1 при 5,47 доллара за задачу против 23,21 доллара у Claude Opus 5.5 и 23,80 доллара у GPT-6 Astra при максимальном уровне усилий — но это цифры Open​AI, полученные на собственном стенде Open​AI, никто извне их не воспроизвёл, и они ничего не говорят о Grok 4.6.

Выбор

Обе модели маршрутизируются через OrcaRouter по прайсовой цене провайдера с наценкой 0% — openai/gpt-6.1-sol по $2.00/$10.00 с $0.10 за кэшированный ввод, при этом тариф для запросов свыше 272K применяется ровно так, как его устанавливает OpenAI, а grok/grok-4.6 по $2.00/$6.00, при этом тариф для запросов свыше 200K применяется ровно так, как его устанавливает SpaceXAI. Один ключ даёт доступ к обеим, цены следуют за вендором в тот же день, когда он их меняет, а не в следующий расчётный цикл, и под этим работает автоматическое переключение при сбое, так что более дешёвая модель может держать маршрут, не будучи единственным, что его держит.

Если рабочая нагрузка имеет форму вопросов и отличается большим объёмом вывода — поиск и ответ, генерация в больших объёмах, всё, что никогда не превышает 200 000 токенов промпта, — Grok 4.6 выгоднее по тарифной сетке, на 40 процентов по той позиции, которая важна, а его 94,9% на GPQA Diamond — независимый показатель, а не заявление.

Если нагрузка агентная, с длинными промптами или интенсивным использованием кэша, GPT-6.1 Sol — более безопасный выбор по умолчанию: он лидирует по каждой независимой оси, общей для обеих моделей, кроме SciCode, чтение из его кэша стоит пятую часть от того, что у Grok 4.6, а заявленный потолок вывода — это число, на которое можно ориентироваться при планировании. Окно в 500 000 токенов у Grok 4.6 щедрое, а окно в 1 050 000 токенов у GPT-6.1 Sol вдвое больше — но при действительно длинном промпте обе к тому моменту уже перешли в свои удвоенные тарифные уровни, и именно там разрыв в цене сокращается до 20 процентов и перестаёт быть причиной выбирать любую из них.

Вердикт, который выдерживает проверку доказательствами: Grok 4.6 — более дешёвая модель, а GPT-6.1 Sol — более взвешенная, и разрыв в 35 пунктов по терминальному бенчмарку, который гуляет по сети, — это сравнение двух разных версий бенчмарка, а не двух моделей.