Nanbeige4.3-33B против Qwen3.8 27B: проверка утверждения «18 из 20»

Nanbeige4.3-33B превосходит Qwen3.8-27B в 18 из 20 бенчмарков. Именно это утверждение на этой неделе гуляет по интернету, и формально именно так сказано в карточке модели. Но это ещё и фраза со знаменателем, и самое интересное — как раз знаменатель. Из этих 20 строк 19 оцениваются в баллах, а одна — в долларах; четыре из 18 побед — с отрывом меньше одного балла; и как минимум три показателя Qwen, судя по всему, скопированы из собственных опубликованных результатов Qwen, а не получены Nanbeige заново. Ничто из этого не делает утверждение ложным. Оно делает его более узким, чем кажется.

Это противостояние необычно тем, что Nanbeige выбрала Qwen3.8-27B в качестве спарринг-партнёра. Qwen3.8-27B была выпущена в середине августа 2026 года, представляет собой плотную модель с 27,78 млрд параметров, распространяется по лицензии Apache 2.0, является мультимодальной на входе и — в отличие от Nanbeige4.3-33B — имеет независимый Artificial Analysis Intelligence Index, равный 34. Таким образом, это единственное сравнение в наборе, где у соперника есть проверенная оценка, а у испытуемой модели — нет. Эта асимметрия — лучший инструмент, который у нас есть для аудита таблицы.

Кто написал это утверждение и что содержит знаменатель

Эта таблица принадлежит Nanbeige. Она была опубликована в карточке модели Nanbeige4.3-33B на Hugging Face, в репозитории, созданном 24 октября 2026 года. Нет ни сопроводительного поста в блоге, ни анонса запуска, ни воспроизведения третьей стороной. Каждое число в столбце Qwen и каждое число в столбце Nanbeige было получено или выбрано лабораторией, проводящей сравнение.

20 строк охватывают три группы: агентное программирование (Terminal-Bench 2.1 и 4.0, DeepSWE, SWE-Bench Pro, SWE-Atlas-QnA, NL2Repo, Scicode, SkillsBench), агентная совместная работа (Automation Bench, JobBench, GDPval, Claw-Eval, Toolathlon-Verified, DeepPlanning, EnterpriseOps-Gym, YC-bench, Tau3-Bench) и рассуждения (GPQA Diamond, AIME 2026, AA-LCR). Тестовый стенд (harness) раскрыт более тщательно, чем в большинстве вендорских карточек: Terminus 2 — для Terminal-Bench 2.1, mini-swe-agent v2.4.6 — для Terminal-Bench 4.0, DeepSWE и SWE-Atlas-QnA, Claude Code — для NL2Repo и JobBench, а GPT-6 Sol — в роли судьи для SWE-Atlas-QnA. Эта открытость делает честь Nanbeige. Она же — причина, по которой сравнение сложнее воспринять, чем простой подсчёт побед.

Две строки, в которых Nanbeige проигрывает

• SWE-Bench Pro — Qwen3.8-27B 61,7 против Nanbeige4.3-33B 60,3. Преимущество Qwen в 1,4 балла.

• GDPval — Qwen3.8-27B 86,4 против Nanbeige4.3-33B 84,8. Преимущество Qwen в 1,6 балла.

Эти две строки — те, которые заголовок «18 из 20» тихо обходит, и они указывают в одном направлении. Обе представляют собой бенчмарки профессиональной, экономически ценной работы: SWE-Bench Pro — более сложный вариант для программной инженерии, а GDPval измеряет качество результатов на реальных профессиональных задачах. Qwen выигрывает в обоих с отрывом, небольшим в абсолютных числах, но стабильным в двух разных семействах задач. Если вы выбираете между этими моделями для профессиональной работы, а не для таблицы лидеров, это две из тех строк, которым следует придавать наибольший вес, и именно в них испытуемая модель проигрывает.

Карточка Nanbeige не объясняет проигрыши. И не нужно — поставщик вправе публиковать таблицу, в которой он побеждает. Но читателю стоит заметить, что проигрыши сосредоточены ровно там, где бенчмарк ближе всего к вопросу «примет ли профессионал этот результат», а победы — там, где бенчмарк ближе всего к вопросу «завершил ли агент цикл».

Победы, которые — лишь погрешность округления

Четыре из 18 побед были одержаны с преимуществом менее одного очка.

• Tau3-Bench — 48.8 против 48.5. Три десятых балла.

• GPQA Diamond — 89,5 против 89,2. Три десятых.

• AIME 2026 — 95,2 против 94,5. Семь десятых.

• EnterpriseOps-Gym — 41.0 против 40.2. Восемь десятых.

Ещё два находятся в пределах примерно двух баллов: Toolathlon-Verified — 70,4 против 68,5, и AA-LCR — 84,0 против 82,0. На бенчмарках такого размера и с такой дисперсией разрыв меньше одного пункта не является доказательством превосходства. Это говорит о том, что две модели находятся в одном диапазоне. Справедливой переформулировкой основного вывода было бы: «Nanbeige явно лидирует в 12 из 20, показывает равные результаты в 6 и уступает в 2» — что по-прежнему является сильным результатом, и более полезным.

Крупные преимущества — вот где кроется настоящий аргумент. DeepSWE: 65,5 против 42,5 — разрыв в 23 пункта. Terminal-Bench 4.0: 23,8 против 6,3 — 17,5. Automation Bench: 54,2 против 38,3 — 15,9. DeepPlanning: 63,3 против 49,2 — 14,1. YC-bench — задача, измеряемая в долларах, — показывает $1,025,437 против $641,290. Это не погрешность округления. Они свидетельствуют о том, что Nanbeige лучше справляется с долгосрочным многошаговым выполнением — той работой, где модель должна удерживать план на протяжении десятков вызовов инструментов. Это складывается в целостную картину и согласуется с нативным контекстом модели в 512K и её рекомендованными настройками, ориентированными на агентов.

Столбцы могут относиться не к одному и тому же эксперименту.

Вот наблюдение, которое усложняет всю таблицу. Три показателя Qwen в точности совпадают с собственными опубликованными числами Qwen: Terminal-Bench 2.1 — 73,0, SWE-Bench Pro — 61,7 и GPQA Diamond — 89,2. Qwen публикует все три. Строки, которые Qwen не публикует — DeepSWE, SWE-Atlas-QnA, NL2Repo, JobBench, Automation Bench, DeepPlanning, YC-bench, Tau3, EnterpriseOps-Gym, Claw-Eval — это именно те строки, где преимущество Nanbeige наибольшее.

Такая картина согласуется с двумя разными методами в пределах одной таблицы: скопированные числа для бенчмарков, которые конкурент уже опубликовал, и свежие прогоны для тех, которые он не публиковал. Это вывод, а не раскрытый факт — карточка Nanbeige утверждает, что все модели оценивались при максимальном уровне усилий на размышление с одинаковыми параметрами инференса и одним и тем же харнессом, что говорило бы против копирования. Но точное совпадение по трём независимым показателям — это совпадение, которое стоит отметить, и если столбец Qwen представляет собой смесь, то «18 из 20» сравнивает прогоны Nanbeige с прогонами Qwen в одних строках и прогоны Nanbeige с прогонами Nanbeige в других.

Есть вторая, более тонкая проблема. Собственная модель Nanbeige запускается в harness, который рекомендует её карточка: XML-вызовы инструментов, preserve_thinking=true, temperature 1.0 для агентных задач. В карточке не сказано, получила ли Qwen3.8-27B свои рекомендованные настройки или была помещена в настройки Nanbeige. Если верно последнее, часть разрыва в 23 пункта по DeepSWE — это разница конфигураций, а не разница возможностей. Это та же оговорка, которая применима к любому сравнению вендоров, и она не является причиной отбрасывать результат — она является причиной потребовать нейтрального повторного запуска, прежде чем считать вопрос решённым.

Независимая оценка, которая есть только у одной модели

Artificial Analysis присваивает Qwen3.8-27B оценку 34 в своём Intelligence Index, измеренную при конфигурации рассуждения xhigh, со скоростью 45,2 выходных токена в секунду. Задержка зависит от провайдера: на нашей собственной странице указано p50-время до первого токена 2,95 секунды, тогда как Artificial Analysis измерила 3,8 секунды на выбранной ею конечной точке. Этот индекс представляет собой композит из десяти оценок, включая Terminal-Bench 4.0, SciCode, AA-LCR, GDPval-AA и AutomationBench-AA — несколько тех же семейств бенчмарков, о которых Nanbeige сообщает самостоятельно.

У Nanbeige4.3-33B нет записи в Artificial Analysis. Это не скандал; модели всего два дня. Но это означает, что две стороны этого сравнения эпистемически не равны. 34 у Qwen — это число, которое измерил кто-то другой. 80,9 у Nanbeige на Terminal-Bench 2.1 — это число, которое измерила сама Nanbeige. Если оба числа точны, Nanbeige, вероятно, оказалась бы заметно выше 34 в той же композитной оценке — её Terminal-Bench 4.0 с 23,8 и SciCode с 52,6 представляют собой сильные строки. Суть в том, что всю работу делает слово «вероятно», и оно будет делать её до тех пор, пока модель не прогонит независимый оценщик.

Это также практическая причина рассматривать утверждение о 18 из 20 как вступительный аргумент. Это утверждение опровержимо конкретным и дешёвым способом: передать Nanbeige4.3-33B независимому оценщику и сравнить сводный показатель. Пока этого не произошло, самое сильное честное утверждение состоит в том, что Nanbeige заявляет о лидерстве в долгосрочной агентной работе и немного уступает в качестве профессиональных результатов, и что только одна из этих двух моделей была проверена кем-либо, кроме её создателя.

Стоимость за задачу, а не за токен

Qwen3.8-27B — единственная из этих двух, которую можно вызвать уже сегодня. В OrcaRouter она стоит $0,33 за миллион входных токенов и $2,40 за миллион выходных — ниже $0,50 и $3,00, которые Artificial Analysis указывает для первичного эндпоинта Alibaba. Эта модель обслуживается на нашей собственной инфраструктуре, а не перепродаётся по прайсу провайдера, поэтому её цена оказывается ниже цены первичного эндпоинта; на моделях, которые мы действительно пропускаем транзитом, правило 0% наценки означает, что вы платите цену из прайса провайдера. В любом случае цены за токен настолько различаются в зависимости от маршрута, что первичный эндпоинт не обязательно оказывается дешёвым. Модель также принимает изображения и видео вместе с текстом и имеет окно в 262 144 токена.

Однако цена за токен — неправильная единица для такого сравнения. Обозреватели сообщают, что Qwen3.8-27B необычно прожорлив к токенам — примерно в три раза больше токенов, чем Qwen3.6-27B на сопоставимых задачах, — а Artificial Analysis оценивает примерно в $1.01 за задачу Intelligence Index в режиме xhigh. Модель, которая выигрывает по цене за токен и проигрывает по числу токенов на задачу, всё равно может оказаться более дорогим выбором. У Nanbeige4.3-33B вообще нет цены за токен: веса бесплатны, ни один провайдер инференса её не развёртывает, а её запуск означает тензорно-параллельное развёртывание на четырёх GPU, которое держат открытым независимо от того, поступает трафик или нет.

Именно здесь слой маршрутизации оправдывает своё место. Qwen3.8-27B доступен по нашему ключу сегодня; Nanbeige — нет, и мы не будем делать вид, что это так. Что вы можете сделать — оставить Qwen в качестве продакшен-пути и направить часть реального трафика на самостоятельно размещённый эндпоинт Nanbeige, чтобы измерять выполнение задач и расход токенов, а не доверять таблице. Автоматическое переключение при сбое здесь важно: экспериментальный эндпоинт, который падает посреди запуска, должен деградировать до текущего решения, а не обрушивать агента вместе с собой. Тогда решение опирается на вашу собственную стоимость за выполненную задачу — единственное число, которое честно объединяет поведение обеих моделей по токенам.

Что могло бы это опровергнуть?

Три результата закрыли бы этот вопрос, и ни один из них не требует новой модели.

• Запись Artificial Analysis для Nanbeige4.3-33B. Если результат окажется около или выше 34, направление в таблице поставщика подтвердится, а величина станет спорной. Если же он окажется значительно ниже, утверждению «18 из 20» потребуется гораздо лучшее объяснение, чем выбор тестового стенда.

• Нейтральный повторный прогон DeepSWE и Terminal-Bench 4.0 с обеими моделями в их собственных рекомендованных конфигурациях. Именно этот конкретный эксперимент текущая таблица не проводит, и он нацелен на строки, которые обеспечивают большую часть преимущества Nanbeige.

• Опубликованный показатель количества токенов на выполненную задачу для обоих. Цены за токен не позволяют сравнить плотную модель 33B, которую вы размещаете у себя, с прожорливой по токенам моделью 27B, которую вы арендуете. А стоимость за выполненную задачу — позволяет.

Вердикт, который мы бы отстаивали

Вероятно, Nanbeige4.3-33B — более сильная модель агента с длинным горизонтом из этих двух. Отрывы на DeepSWE, Terminal-Bench 4.0, Automation Bench и DeepPlanning слишком велики и слишком последовательны по направлению, чтобы быть исключительно артефактом испытательного стенда, и нативный контекст в 512K вписывается в эту картину. Qwen3.8-27B, вероятно, — более сильная модель по качеству профессиональных результатов, где она выигрывает обе строки, которые это измеряют, и она однозначно более удобна в использовании: независимая оценка, API с хостингом, мультимодальный ввод и цена, которую уже сегодня можно вписать в электронную таблицу.

«18 из 20» — это реальный результат, поданный как более масштабный. Точная формулировка такова: модель возрастом два дня из лаборатории, которую никто независимо не оценивал, заявляет о явном преимуществе в агентном исполнении, равенстве в общих рассуждениях и небольшом отставании в профессиональных результатах — в сравнении с конкурентом, который доступен уже десять недель и измерялся кем-то, кроме его создателя. Это по-настоящему интересное заявление. Но это пока не причина переключаться.