Бенчмарки Kimi K3.1 Pro: все результаты, кто их получил и где таблица всё ещё пуста

Самое полезное число в запуске Kimi K3.1 Pro отсутствует на собственной диаграмме Moonshot. Artificial Analysis, которая проводит собственные оценки, а не цитирует таблицы производителей, оценивает Kimi K3.1 Pro в 55 баллов по своему Intelligence Index — четвёртое место из 215 моделей в своём классе, на два балла выше GPT-6 Astra с 53 и на три балла ниже Claude Opus 5.5 с 58. Материалы запуска Moonshot рассказывают другую и более лестную историю: 65,7% в Terminal-Bench 4.0 — преимущество в 7,5 балла над 58,2%, которые она приписывает Astra. Оба числа реальны, оба получены честно, и они расходятся в том, кто впереди. Это расхождение стоит понять, прежде чем переносить рабочую нагрузку на эту модель.

Далее приведён каждый опубликованный показатель для Kimi K3.1 Pro — с источником и настройкой, указанными для каждой строки, и примечанием везде, где в таблице пусто. Это тот же подход, который этот блог применяет к моделям Anthropic и OpenAI, и по той же причине: таблица бенчмарка — это утверждение в равной мере о тестовом стенде и о модели.

Независимый номер, первый

Artificial Analysis оценила модель на версии 4.3.2 своего индекса, которая объединяет десять оценок в одно число. Для покупателя важны следующие четыре показателя:

Индекс интеллекта — 55, 4-е место среди 215 моделей. Для справки: медиана в его классе — 27, GPT-6 Astra (Max) набирает 53, а Claude Opus 5.5 — 58 в той же версии индекса.

• Стоимость выполнения задачи — $2,11 за задачу Intelligence Index, 85-е место из 113 по стоимости. Эквивалент GPT-6 Astra — $3,26. Именно это число превращает цену за токен в стоимость рабочей нагрузки, а низкая цена модели за токен частично нивелируется многословностью.

• Многословность — 150 миллионов выходных токенов, сгенерированных за время прогона индексации, против медианы в 87 миллионов. Оценщик называет модель «очень многословной», и это имеет прямое значение: вывод — дорогая позиция в собственной тарифной сетке этой модели: 10 долларов за миллион токенов.

• Скорость — 73,5 выходных токена в секунду у провайдера оценщика, что медленнее среднего значения 82. На нашем собственном маршруте медианное время до первого токена составляет 7,15 секунды — именно этот показатель определяет, как модель ощущается в интерактивной сессии программирования.

Одна пометка на этой странице заслуживает внимания: Artificial Analysis относит Kimi K3.1 Pro к проприетарным моделям, поскольку по состоянию на 24 октября веса обещаны, но не опубликованы. Эта классификация должна измениться к 4 ноября, если Moonshot соблюдёт заявленную дату.

Таблица поставщиков, строка за строкой, с прикреплённой настройкой

Moonshot опубликовала обширную таблицу собственных оценок одновременно с запуском, и в нескольких местах она сравнивает Kimi K3.1 Pro с Claude Opus 5.5 и GPT-6 Astra в одних и тех же строках. Все приведённые ниже цифры сообщены производителем, если в строке не указано иное.

• Terminal-Bench 4.0 — 65.7% у Kimi K3.1 Pro против 66.4% у Claude Opus 5.5 и 58.2% у GPT-6 Astra. Это главная новость. Это также строка с наибольшим числом оговорок: результат Anthropic в 66.4% был получен при уровне усилий xhigh, на один уровень выше значения по умолчанию; собственный прогон Kimi выполнен при значении по умолчанию для модели — max. Эти два числа получены на разных харнессах.

• Kimi Code Bench 3.0, long-horizon — 61,2% против 55,95% у Kimi K3. Это самое чистое сравнение с предшественником в рамках запуска и вместе с тем самое «вендорское» по контролю: и сам бенчмарк, и испытательный стенд принадлежат Moonshot.

• BenchCAD с инструментами — 92,7% у Kimi K3.1 Pro против 96,2% у Claude Opus 5.5 и 95,9% у GPT-6 Astra. Без инструментов — 72,8% против 73,0% у Opus; Astra не сообщила показатель без инструментов. Это та строка, где претендент заметно проигрывает, и она находится в центре презентации самого запуска, посвящённой созданию 3D.

• Kimi Hallu Bench Hard — доля галлюцинаций на уровне утверждений составляет 8,3% при использовании инструментов и 5,4% без них. На том же бенчмарке GPT-6 Astra лучше с инструментами (5,5 против 8,3) и лучше без них (4,2 против 5,4); Claude Opus 5.5 хуже в обоих случаях (15,0 и 6,8). Moonshot также сообщает, что этот показатель снизился с 23,4% у Kimi K3 и что ответы, содержащие хотя бы одну фактическую ошибку, теперь составляют 42,4% от показателя предшественника.

• Внутренние финансовые и бизнес-оценки — Financial Modeling: 57,6 против 50,4 у K3, Financial Research: 70,4 против 58,8, Business Operation: 37 против 8,9. Последний показатель — четырехкратное улучшение в задаче, где старая модель была почти неработоспособной. Рассматривайте эти величины как ориентировочные; это собственные наборы тестов Moonshot.

• OfficeQA Pro v2 — 64,4, который Moonshot называет передовым. На этой строке не приводится показатель второго поставщика.

• xdev-bench-hard, pass@3 — 81,0% для выпущенной модели, 90,5% для контрольной точки, обученной без мер компании по снижению киберрисков, 33,3% для Kimi K3. Этот разрыв в 9,5 процентного пункта — цена, которую, по словам Moonshot, пришлось заплатить, чтобы удерживать наступательные кибервозможности ниже порога.

Там, где таблица всё ещё пуста

Стоит назвать три пробела, потому что освещение этого запуска в основном их обошло.

Первый — в {{1}}собственной документации API Moonshot{{/1}}. В день запуска на странице быстрого старта Kimi K3.1 Pro всё ещё стояли буквальные строки-заполнители — "[xx.x%]" — там, где должны были быть результаты Terminal-Bench 4.0, Terminal-Bench-Science 0.1 и внутренних оценок по программированию, тогда как в маркетинговом посте были приведены итоговые цифры. Это документационный конвейер, который выпустили раньше текста, а не подделка, но это повод брать цифры со страницы блога, а не из документации.

Второй — Terminal-Bench-Science 0.1, где Anthropic публикует 58,7% для Claude Opus 5.5, а материалы Moonshot говорят лишь о том, что Kimi K3.1 Pro «выше K3», без числа. Строка, в которой нет цифры ни с одной из сторон сравнения, — не строка.

Третий — SWE-bench. Это бенчмарк, который большинство команд до сих пор цитируют, когда говорят о кодинг-агентах, а в пост-релизе DeepSWE v1.1 и SWE-Marathon v1.1 упоминаются в сносках без публикации результатов. Какова бы ни была причина, самый запрашиваемый показатель отсутствует.

Как читать 65.7

На оценку Terminal-Bench сильнее, чем сама модель, влияют две вещи: обвязка вокруг неё и настройка уровня усилий на рассуждение. Собственная таблица Opus 5.5 от Anthropic показывает оба эффекта в пределах одной модели: CursorBench 4.0 меняется с 57,8% при усилии xhigh до 52,5% при medium, тогда как FrontierCode сдвигается на 0,2 пункта между теми же двумя настройками. У Kimi K3.1 Pro есть три настройки, и по умолчанию выбрана самая дорогая, поэтому вендорский прогон, в котором не указан уровень усилий, скорее всего, окажется прогоном на максимуме — независимо от того, заявлено ли это.

Именно поэтому независимый индекс и таблица поставщика по-разному ранжируют эти три модели. В строке Terminal-Bench от Moonshot Kimi опережает Astra на 7,5 пункта. В индексе из десяти оценок Artificial Analysis Kimi опережает Astra на 2 пункта и отстаёт от Opus на 3. Ни один из этих порядков не является ошибочным; они отвечают на разные вопросы с помощью разных испытательных стендов, и единственное обоснованное заключение состоит в том, что все три модели различаются на несколько пунктов по общей способности, при этом цена различается в пять раз между самой дешёвой и самой дорогой.

Что делать с числами

Для рабочей нагрузки, где доминирует объём вывода — длинная генерация кода, составление документов, агентные циклы, которые пишут гораздо больше, чем читают, — именно на показатель многословности и стоит ориентироваться при планировании. При 150 млн токенов на один прогон индексации против 60 млн у Astra Kimi K3.1 Pro выдаёт примерно в 2,5 раза больше вывода на задачу, и даже при пятой части цены вывода это всё равно заметно сокращает ценовое преимущество. Показатель $2.11 за задачу уже это учитывает — вот почему он лучше подходит для планирования, чем прайс-лист.

Для рабочей нагрузки, где исход решает один пункт точности, релевантной цифрой остаётся разрыв в три пункта с Claude Opus 5.5 в независимом индексе, и никакая таблица от вендора не должна вас в этом переубедить.

Kimi K3.1 Pro доступен для вызова через OrcaRouter по цене $2.00 за миллион входных токенов и $10.00 за миллион выходных, с контекстом 1 048 576 токенов, до 943 718 выходных токенов и тремя форматами эндпоинтов — Chat Completions, Responses и Messages — на том же ключе, что и остальная часть вашего стека. Вы платите ровно по прайс-листу поставщика, без каких-либо наценок, а значит, приведённая выше арифметика — это та арифметика, которую вы и получите. Единственное, чего эта страница не может вам дать, — это ваш собственный бенчмарк: прогоните выборку вашего реального трафика на низком, высоком и максимальном уровне усилий, прежде чем выбрать значение по умолчанию, потому что эта настройка влияет на стоимость сильнее, чем выбор модели.