Nanbeige4.3-33B получила первую внешнюю оценку: 20 — на уровне Qwen3.8-27B и вдвое разговорчивее.

В течение двух недель единственным доказательством того, что Nanbeige4.3-33B хоть в чём-то хороша, была таблица из двадцати строк, которую лаборатория написала о самой себе. 5 ноября это изменилось: Artificial Analysis включила Nanbeige4.3-33B в свой Intelligence Index v5.0.1 с оценкой 20, тот же балл, который она присуждает Qwen3.8-27B при максимальном уровне рассуждений — 20 по композитному показателю, 20,1 у модели Qwen в базовом прогоне v5.0. Десятая доля балла меньше шума между двумя оценками одного и того же чекпоинта, поэтому на единственном публичном композитном показателе, который измеряет обе, эти две модели идут ноздря в ноздрю.

Вот то число, которого ждал релиз, — и оно же самое неинтересное в этом измерении. Композитный показатель скрывает модель, две половины которой указывают в противоположных направлениях: агентная половина намного опережает модель Qwen, которую эту модель создавали, чтобы превзойти, а половина, отвечающая за знания, измеримо отстаёт от неё. Он также скрывает тот факт, что Nanbeige4.3-33B потратила 160 млн выходных токенов, чтобы добраться до этих 20, — более чем вдвое больше, чем сжигает медианная модель в её классе сравнения, и достаточно, чтобы она оказалась на последнем месте из восьми по показателю многословности Artificial Analysis.

Так что честная интерпретация этого релиза больше не «непроверенная». Она «проверена, и страннее, чем предполагала таблица вендора». Вот что на самом деле говорит независимый прогон, в чём он совпадает с собственными цифрами Nanbeige, и то единственное место, где внешнее измерение оказалось выше, чем собственное заявление лаборатории.

Что означает 20 — и что оно не означает

Artificial Analysis ставит Nanbeige4.3-33B на первое место из девяти в его собственном классе сравнения при медиане по классу 10. Этот класс составляют девять сопоставимых по размеру открытых моделей, с которыми он сравнивается, и отдельно сайт сообщает, что в более широкой сопоставимой когорте у него 144 модели. Обе совокупности стоит держать в уме одновременно: среди открытых моделей примерно того же размера это самый сильный измеренный результат, а на фоне всего поля — включая передовые закрытые модели и лучшие модели Qwen, DeepSeek и Anthropic — оценка 20 является уверенным результатом в середине таблицы.

За этот разрыв между №1 из 9 и результатом на уровне середины таблицы стоит держаться, потому что именно этот разрыв теряется, когда релиз резюмируют как «обыгрывает Qwen». Модель с открытыми весами на 33B, оказывающаяся в середине таблицы по композитному показателю, где доминируют модели, в несколько раз крупнее её, — это настоящее достижение. Это не фронтирный результат, и ничто в лексиконе этого релиза не должно предполагать обратное.

Что индекс не включает, так это цену. Цены нет, потому что нет размещённой конечной точки: Artificial Analysis фиксирует «No publicly available API», сопоставление репозитория с провайдерами инференса на Hugging Face пусто, а все трекеры, где присутствует модель, указывают стоимость как недоступную. Ваши затраты — это оборудование.

Две половины модели не согласны друг с другом

Artificial Analysis не публикует единое число, и именно в субпоказателях эта модель становится понятной. Читайте их как два столбца.

• Terminal-Bench 4.0 (стенд Artificial Analysis) — Nanbeige4.3-33B 29,8%, 56-е место среди всех конфигураций в таблице. Qwen3.8-27B в режиме xhigh набирает 5,6% на том же стенде.

• FrontierCode 2.0 — Nanbeige4.3-33B — 10,7%, 81-е место. Qwen3.8-27B при xhigh набирает 14,9%, так что бенчмарк качества кода демонстрирует противоположную картину.

• AA-Omniscience v1.1 — Nanbeige4.3-33B даёт итоговый показатель −4,4 при точности 11,7%. Qwen3.8-27B при xhigh даёт итоговый показатель −6,4 при точности 17,3%. Qwen знает больше; Nanbeige в итоге показывает лучший результат, потому что чаще отказывается отвечать.

• AA-Omniscience, отсутствие галлюцинаций — Nanbeige4.3-33B: 81,8%, 7-е место на всём сайте. Qwen3.8-27B при xhigh набирает 71,4%.

• AutomationBench — Nanbeige4.3-33B 53,1%, занял 82-е место. AA-Briefcase v1.1 — 1 162, занял 90-е место. Terminal-Bench-Science 0.1 — 0,9%, занял 89-е место.

HLE-Diamond — 6,9%, 117-е место. Сложное подмножество CritPt v2 — 15,5%, 85-е место. GDP.pdf — 11,2%, 135-е место.

Закономерность по этим строкам остаётся неизменной. В задачах типа «долго управлять терминалом и не останавливаться раньше времени» эта модель набирает примерно в пять раз больше баллов, чем модель Qwen. В задачах «знать факт» она отстаёт, а в задачах «знать факт или сказать, что не знаешь» она опережает почти всё в рейтинге с показателем отсутствия галлюцинаций 81,8%.

Такое сочетание — не случайность настройки. Именно так выглядит модель, созданная для генерации траекторий агента, если направить на неё бенчмарк знаний. Учительская модель, которая выдумывает факты, — это учитель, который отравляет обучающие данные ученика, поэтому в конвейере, который, по словам Nanbeige, строится, калибровка важнее полноты. Был ли этот компромисс намеренным или возник стихийно, это самое обоснованное, что есть в этом релизе.

Проблема многословности — это замаскированная проблема затрат.

Artificial Analysis сообщает, что Nanbeige4.3-33B сгенерировала 160 млн выходных токенов во время оценки в Intelligence Index. Медианная модель в её классе сравнения сгенерировала 77,7 млн. В рейтинге многословности на сайте она занимает последнее место — 8-е из 8 в этом классе — с показателем примерно в 2,06 раза выше медианного. Объём входных данных составил 15,4 млрд токенов, что даёт соотношение выходных токенов к входным на уровне 1,034%.

Из этого следуют две вещи. Первая: 20 было дорого покупать. Если вы где-либо платите за токены, модель, которая выдаёт вдвое больше токенов при том же составном балле, стоит примерно вдвое дороже на единицу измеренной способности, и индекс не нормализует это. Вторая: многословность — это проблема задержки прежде, чем проблема денег: плотная модель на 33B на ваших собственных GPU, выдавая вдвое больше токенов, завершает задачу вдвое дольше.

Собственные рекомендуемые настройки Nanbeige частично это объясняют, но не оправдывают всё. В карточке модели указан потолок в 262 144 токена для рассуждений и чата и 65 536 для агентных задач, причём мышление включено по умолчанию. Любая модель, которой сообщают, что она может размышлять на четверть миллиона токенов, какое-то их количество использует. Но медиана по классу — справедливое сравнение: другие модели за тем же индексом тоже являются reasoning-моделями, — и кратность 2,06× сохраняется при таком контроле.

Для развертывания на собственных серверах практическое решение — это бюджет, а не смена модели: ограничьте max new tokens на задачу и измерьте собственный pass rate при 8K, 16K и 32K, прежде чем предполагать, что настройки по умолчанию карты подходят для вашей нагрузки. Большинство агентных задач не улучшаются после определенного момента, и эта модель не скажет вам, где этот момент.

Единственная строка, где внешний прогон превзошёл собственный показатель поставщика

В карточке модели Nanbeige указано, что Terminal-Bench 4.0 для Nanbeige4.3-33B составляет 23,8 против 6,3 у Qwen3.8-27B. Artificial Analysis измерила 29,8. Независимое значение на шесть пунктов выше, чем то, которое лаборатория опубликовала о себе.

Это достаточно необычно, чтобы сказать об этом прямо, потому что стандартный режим отказа в этой отрасли работает в обратную сторону — лаборатории сообщают лучшую цифру, которую выдаёт их собственный каркас, а внешние повторные прогоны оказываются ниже. Если поставщик занижает собственную оценку агентности, это предполагает либо другой испытательный стенд на его стороне, либо намеренно консервативное утверждение, либо таблицу, составленную до финального чекпоинта. Ничто из этого не плохо; всё это означает, что таблица поставщика не является потолком и не должна читаться как таковой.

Из этого не следует, что каждая строка вендора заслуживает доверия. Самые крупные утверждения в таблице Nanbeige — DeepSWE с 65,5 против 42,5 у Qwen, SWE-Atlas-QnA с 50,8 против 41,9 — пока не имеют независимого аналога, и оба относятся к бенчмаркам, чувствительным к скаффолду, где выбор харнесса влияет на оценки сильнее, чем качество модели. Результат Terminal-Bench устанавливает нечто более узкое и полезное: агентная направленность утверждения реальна. Масштаб в любой отдельной строке по-прежнему не подтверждён.

Что это значит для команды, которая хочет это попробовать

С доступом ничего не изменилось. Нет ни эндпоинта, к которому можно обратиться, ни тарифной сетки, ни листинга у провайдеров — веса лежат на Hugging Face под лицензией Apache 2.0, а обслуживание идёт через vLLM, SGLang или Transformers на вашем собственном оборудовании. Чекпоинт в bfloat16 занимает 66,3 ГБ и разбит на четырнадцать шардов, а при контексте 512K один только KV-кэш разрастается примерно до 104 ГиБ — именно поэтому рабочая конфигурация предполагает тензорный параллелизм на четыре устройства, а не одну большую карту.

Что изменилось: теперь можно пропустить дорогостоящую часть комплексной проверки. До этой недели оценка Nanbeige4.3-33B означала выделение четырёх GPU, чтобы выяснить, выдержат ли заявленные агентные возможности проверку нейтральным испытательным стендом. 29,8 на Terminal-Bench 4.0 отвечает на первый вопрос — направление верное, — а показатель многословности отвечает на вопрос, который никто не задавал: во сколько токенов на выполненную задачу вам обойдётся эта модель.

Если вам нужна точка сравнения, которую можно реально вызвать сегодня, Qwen3.8-27B — естественный контроль: тот же составной балл, опубликованная цена и окно 262K. Он работает на OrcaRouter за $0.33 за миллион входных и $2.40 за миллион выходных, на том же ключе, что и остальной каталог, с передачей прайс-листов провайдеров без наценки. Запуск вашего набора задач против размещённой в облаке модели и самостоятельно размещённой за одним правилом маршрутизации — самый дешёвый способ выяснить, превосходит ли 33B dense-чекпоинт на вашем собственном оборудовании 27B, который вы арендуете за токены, — и на этот вопрос Intelligence Index не может ответить за вас, потому что он не знает, каковы ваши задачи и сколько стоят ваши GPU.

Круг того, что по-прежнему действительно неизвестно, узок. Унаследует ли Nanbeige4.3-3B — объект дистилляции, для обучения которого эта модель и существует, — хоть какую-то часть калибровки. Сохранится ли многословность у ученика, поскольку небольшая модель, выдающая в 2 раза больше токенов, — это гораздо более дешёвая ошибка. И сохраняется ли результат по отсутствию галлюцинаций вне стенда Omniscience, потому что 81,8% — примечательное число, а примечательные числа заслуживают повторной проверки, прежде чем кто-либо станет строить на них пайплайн.