LMArena и лидерборды LLM: три мерила, три разных вопроса

19 февраля 2026 года Artificial Analysis опубликовала статью под заголовком «Gemini 3.1 Pro Preview: новый лидер в области ИИ». Она лидировала в шести из десяти оценок и опережала Claude Opus 4.6 на четыре балла. Откройте сегодня страницу той же модели — и показатель равен 30, она занимает 69-е место из 200. Google ничего не изменила. Изменилась сама линейка измерений: 19 сентября 2026 года Artificial Analysis обновила свой Intelligence Index до v4.3.2, вывела из использования Terminal-Bench 2.1 в пользу Terminal-Bench 4.0, заменила tau3-Banking на AutomationBench-AA и заново привязала шкалу Elo GDPval-AA. Февральский лидер к сентябрю стал середняком, потому что измерительный инструмент сместился у него под ногами.

Этот единственный эпизод — исчерпывающий аргумент в пользу того, чтобы научиться правильно читать эти таблицы. Claude Opus 5.5 и Claude Fable 5.1, Kimi K3.1 Pro и MiniMax M3.1 Flash, а также все модели между ними оцениваются как минимум по трём несовместимым критериям одновременно, а поисковые запросы, которые приводят людей сюда, — lmarena, llm ranking, which model is actually best — исходят из того, что ответ один. Ответов три, и они отвечают на разные вопросы.

Три вида табло — три разных вопроса

Каждое число, которое вы увидите в таблице лидеров, относится к одному из трёх семейств, и семейство определяет, что это число может и чего не может вам сообщить.

Арена толпы. LMArena показывает два анонимных ответа моделей на один запрос, человек выбирает победителя, а голоса агрегируются в рейтинг. Она измеряет предпочтения в слепых условиях на запросах, которые никто не выбирал заранее. Её сильная сторона в том, что ни один вендор не управляет тестовым стендом и никто вручную не отбирает вопросы. Её слабость в том, что голосующий отдаёт предпочтение гладким, уверенным, хорошо оформленным ответам, а запрос, введённый добровольцем, — это не ваша рабочая нагрузка. Высокий рейтинг арены означает, что люди склонны предпочитать ответ; это не означает, что ответ правильный.

Составной индекс. Artificial Analysis запускает фиксированный набор оценок и объединяет их в единый Intelligence Index, а также отдельно измеряет скорость, задержку, цену и стоимость выполнения одной задачи. Из трёх показателей этот наиболее полезен для формирования шорт-листа, поскольку тестовый стенд одинаков для всех моделей, а соседние столбцы позволяют сопоставить качество с затратами. Его слабость в том, что композитный показатель включает редакторские решения: какие оценки учитываются, как они взвешиваются и что происходит, когда одну из них снимают. Ревизия v4.3.2 — это как раз та слабость, ставшая видимой.

Таблица вендора.Материалы запуска от лаборатории, создавшей модель. Это самый богатый источник — сотни строк, новейшие бенчмарки, конфигурации, которые больше никто не запускал, — и при этом наименее сопоставимый, потому что каждый вендор выбирает тестовый стенд, настройку уровня усилий и соперников. Таблица Claude Opus 5.5 от Anthropic ставит свою модель на 29 пунктов впереди GPT-5.6 Sol на Terminal-Bench 4.0; материалы OpenAI про Sol начинаются с Terminal-Bench 2.1, где Sol набирает 91.9, и вообще не содержат строки для Opus 5.5, потому что Opus 5.5 не существовал на момент их написания. Таблица только с выгодными строками — не доказательство безоговорочной победы. Это доказательство отбора строк.

Строка — это конфигурация, а не модель.

Самое распространённое неверное прочтение лидерборда — считать одну строку одной моделью. На собственном лидерборде LLM от Artificial Analysis на этой неделе Claude Opus 5.5 появляется трижды:

• {{1}}Claude Opus 5.5 при максимальном усилии с резервным вариантом{{/1}} — Индекс интеллекта 58, стоимость задачи $5.98, медианная скорость вывода 98 токенов в секунду, задержка 706 мс, сквозное время 711 мс.

• Claude Opus 5.5 в режиме xhigh effort с fallback — индекс интеллекта 56, стоимость за задачу $3.46, скорость 82 токена в секунду, задержка 119 мс, сквозная задержка 125 мс.

• Claude Sonnet 5.5 при максимальном усилии — 56, $5,46, 141 токен в секунду, 427 мс.

Две строки разделяют два пункта индекса. Их также разделяют сокращение стоимости на задачу на 42% и шестикратная разница в задержке. В самой модели ничего не изменилось; изменилась настройка усилия. Поэтому любое утверждение вида «модель X набирает больше баллов, чем модель Y», неполно, пока не указана конфигурация, — именно поэтому одно число в очном сравнении никогда не должно само по себе определять закупочное решение.

То же правило действует и в отношении усилия рассуждения в собственных материалах вендора. Anthropic в сноске отмечает, что её прогон Claude Opus 5.5 на Terminal-Bench использовал уровень усилий xhigh, а не уровень по умолчанию, и что при заданном по умолчанию уровне усилий medium преимущество FrontierCode над GPT-5.6 Sol сокращается с указанного в заголовке разрыва до семи пунктов. Оба числа верны. Только одно из них описывает, что вы получите, если не зададите параметр.

Ловушка версий, которая объясняет большинство неверных сравнений

Названия бенчмарков повторно используются из поколения в поколение, а цифры между ними не переносятся. Трёх примеров из материалов этого месяца достаточно, чтобы показать общую картину.

• Terminal-Bench 2.1 против 4.0 — в карточке Google для Gemini 3.5 Flash-Lite указано 54,0% на Terminal-Bench 2.1; Artificial Analysis, запускающая 4.0, фиксирует 1%. Оба показателя верны, и цитирование любого из них без указания версии вводит в заблуждение так, что это льстит той модели, которую вы предпочитаете.

• OSWorld-Verified против OSWorld 2.0 — Anthropic сообщает о 85,0% для Claude Mythos 5 в OSWorld-Verified. Другие поставщики приводят результаты OSWorld 2.0 в районе шестидесяти с лишним процентов. Ставить их в одну колонку — это не сравнение моделей.

• Правильная модель, неправильная версия — Claude Mythos 5.1 набирает 60.9 в Terminal-Bench 4.0 против 52.0 у Muse Wonder, и это единственный общий тест для этих двух семейств. У Mythos 5 опубликованный результат 88.0 относится к Terminal-Bench 2.1. Подмена одного поколения другим создаёт разрыв в 36 пунктов, которого не существует.

Практичная привычка небольшая и стоит того, чтобы её перенять: если число приводится без версии бенчмарка и настройки уровня усилий, воспринимайте его как заявление, а не как измерение.

Стоимость за задачу — это не цена на карточке.

В таблицах лидеров незаметно появился столбец, который важнее всего для бюджетирования, и он регулярно противоречит тарифной карте. MiniMax M3.1 Flash стоит $0.15 за миллион входных токенов и $0.60 за выходные; Gemini 3.5 Flash-Lite — $0.30 и $2.50 — в четыре раза дороже по выходу. По стоимости за выполненную задачу Intelligence Index побеждает Flash-Lite: $0.19 против $0.22.

Такая инверсия — не ошибка. Метрика представляет собой фактически потреблённые токены, умноженные на тарифы провайдера, поэтому она показывает, сколько работы каждая модель выполняет, чтобы завершить одну и ту же задачу. MiniMax M3.1 Flash израсходовала примерно 180 млн выходных токенов по всему индексу при медиане около 100 млн у моделей, которые отслеживает Artificial Analysis: это многословная рассуждающая модель, а многословность оплачивается. В задачах, где обдумывание окупается правильным ответом, это выгодный обмен. В задачах, где правильность ответа никогда не вызывала сомнений, это пустая трата.

Это тот столбец, который нужно прогнать на собственном трафике, прежде чем доверять любому сравнению по токенам, потому что только он учитывает тот факт, что модели тратят разное количество токенов, чтобы прийти к одному и тому же месту.

Что не расскажет таблица лидеров

Две слепые зоны заслуживают отдельного заголовка, потому что обе стоят денег, если их игнорировать.

Отказ от ответа. Оценка AA-Omniscience от Artificial Analysis присваивает MiniMax M3.1 Flash 16 баллов: на 56% фактических вопросов даны правильные ответы, а уровень галлюцинаций составляет 93%. Вторая цифра не означает, что 93% ответов были неверными — она означает, что среди ответов, не являвшихся правильными, 93% были полностью неверными, а не частичными ответами или отказами от ответа. Модель обычно отвечает, когда ей следовало бы воздержаться. У Gemini 3.5 Flash-Lite вообще нет оценки AA-Omniscience, а это отсутствующие данные, а не подтверждение отсутствия проблем.

Доступность. Оценка — это утверждение о конкретном моменте. Gemini 3.1 Pro уже семь месяцев существует в статусе preview без даты GA, в середине сентября исчез из селектора моделей AI Studio без объяснений от производителя и всё ещё имеет рейтинг. Grok 4.7 был всего день от роду, когда ему поставили 46 баллов в индексе. Одно из этих чисел — о модели, которую можно вызвать в следующем месяце; другое — о модели, которой может не оказаться в следующем квартале. Таблица лидеров их не различает.

Где заседает наш собственный совет и почему он — четвёртая вещь

OrcaRouter ведёт рейтинг AI-моделей, который намеренно не воспроизводит ничего из вышеперечисленного. Он ранжирует на основе того, что наблюдает наш собственный шлюз — продакшен-трафика и голосов сообщества в Battle Mode — и объединяет это с голосами LMArena, независимыми бенчмарками и принятием в экосистеме при фиксированных опубликованных весах. Он обновляется ежедневно, добавляет модели в течение 48 часов после появления и разделяется на представления Text, Coding, Vision, Math, Reasoning и Agentic, а не делает вид, что один порядок подходит для любой задачи.

Это дает ему иной режим отказа, чем у остальных трех, и это стоит сказать прямо: он может ранжировать только те модели, которые мы маршрутизируем, поэтому его слепые зоны носят коммерческий, а не методологический характер. Что он добавляет — это единственный сигнал, которого нет у остальных: действительно ли система ответила, с какой скоростью, при какой смешанной цене, на трафике, который не создавался под бенчмарк.

Прочитать один за пять минут

• Прежде чем смотреть на оценку, выясните версию бенчмарка и настройку усилия. Если чего-то из этого нет, число — всего лишь утверждение.

Читайте столбец стоимости за задачу, а не цену за токен. Они расходятся чаще, чем совпадают.

• Рассматривайте составной индекс как шорт-лист, а не как вердикт. Это перевзвешивание, а перевзвешивания пересматриваются — та же правка, которая понизила Gemini 3.1 Pro, понизила десятки моделей, которых никто не трогал.

• Отделяйте пробелы в возможностях от разрывов в оценках. Ограничение вывода в 65 536 токенов или модель, не умеющая читать видео, — это факт о вашей рабочей нагрузке; два пункта индекса — нет.

• Проверьте, когда модель была выпущена и остаётся ли она ещё предварительной версией. Рейтинг без даты доступности — это рейтинг чего-то, чего может не оказаться к моменту развёртывания.

Таблица лидеров — это начало вопроса, а не ответ на него. Единственный показатель, который окончательно определяет выбор, — это ваш собственный трафик на ваших собственных промптах, и поэтому полезное, что может предложить шлюз, — это не ещё один рейтинг, а возможность прогнать двух кандидатов бок о бок на одном ключе и сравнить счета.

Примечание об источниках: динамика Gemini 3.1 Pro с февраля по сентябрь, содержимое ревизии v4.3.2, три строки Claude Opus 5.5, показатели AA-Omniscience, значения стоимости выполнения задачи и баллы Intelligence Index принадлежат Artificial Analysis; данные считаны 26 октября 2026 года. Показатели Terminal-Bench 2.1 и 4.0, данные OSWorld-Verified и OSWorld 2.0, оценки 60,9 и 52,0 в Terminal-Bench 4.0, оценка потребления токенов MiniMax и сравнения с вендорскими спецификациями взяты из собственных опубликованных материалов Anthropic, Google, MiniMax и OpenAI соответственно и приводятся по данным производителей, если выше они не отнесены к Artificial Analysis. Описание таблицы лидеров OrcaRouter, веса и периодичность обновления взяты из нашей собственной опубликованной методологии.