ERNIE 5.5 Flash Preview и заявление «открытая модель №2»: его собственная строка в таблице лидеров противоречит этому

Baidu процитировала в твите утверждение из таблицы лидеров от 12 ноября 2026 года, которое полностью гласит: «Ernie 5.5 Flash Preview от @Baidu_Inc приближается к тому, чтобы стать открытой моделью №2 на Code Arena: WebDev, с 1668 баллами». Baidu добавила данные о количестве параметров — 280 млрд всего, 14 млрд активных на токен — и поблагодарила сообщество за то, что оно «подвергло её проверке». Затем оставила остальное как есть. Проблема в том, что строка, дающая эти 1668, не помечена как открытая. На той же доске Code Arena WebDev, в том же снимке от 10 ноября, ERNIE 5.5 Flash Preview имеет тег Proprietary, оценку 1668 ±16, метку AutoEval, а голоса указаны как N/A. Модели, названные теми, которые она обходит, — DeepSeek-V4.1-Flash с 1664 и Kimi K3 с 1658 — это строки рейтинга с 13 952 и 22 405 человеческими голосами соответственно, и строка DeepSeek имеет тег лицензии MIT. Таким образом, это предложение делает три вещи одновременно: сообщает реальную оценку, обещает лицензию, которой ещё не существует, и описывает рейтинг, который доска не присвоила.

Ничто из этого не делает число неверным. Это делает число объектом иного рода, чем тот, который подразумевает предложение, и разница полностью читается в собственных столбцах таблицы лидеров.

Что опубликовала Arena, и одна строка, которую Baidu опустил

Пост в Arena был опубликован в 01:08:21 UTC 12 ноября 2026 года, за минуту до котировки Baidu. Его полный текст стоит держать перед глазами, потому что утверждение и его оговорка находятся в одном абзаце:

• «Ernie 5.5 Flash Preview от @Baidu_Inc стремится стать открытой моделью №2 на Code Arena: WebDev, набрав 1668 баллов.»

• «Веса будут открыты под лицензией Apache 2.0 в ближайшее время.»

• «Его результат ставит его чуть выше: DeepSeek-V4.1-Flash (Max) с 1664, Kimi K3 (Max) с 1658.»

Arena дважды оговорила рейтинг — «trending towards becoming» — и привязала статус открытых весов к будущему событию словом «soon». Цитатный твит Baidu воспроизвёл оценку и число параметров, полностью опустил предложение про Apache 2.0 и сохранил формулировку «latest from @arena». Читатель, увидевший только пост Baidu, не узнал бы, что часть утверждения про открытую модель является заявлением о будущем, потому что единственное место, где это было сказано, — та самая половина, которую вырезали.

{{1}}Это не искажённая цитата.{{/1}} Это подборка, и она перекладывает бремя доказательства на читателя, который хочет это проверить, — чем и занимается остальная часть этого текста.

Строка, читайте по столбцам

Code Arena WebDev оценивает работу по фронтенд-веб-разработке: агентные задачи программирования с несколькими шагами рассуждения и использованием инструментов, а не качество чата и не общее программирование. Его снимок от 10 ноября содержит 995 980 голосов по 158 моделям. Вот строка ERNIE 5.5 Flash Preview в том виде, как её печатает таблица, без добавления интерпретации:

• Оценка — 1668, опубликована как 1668 +16/-16, поэтому примерно 90-процентный интервал составляет приблизительно от 1652 до 1684.

• Ранг — Н/Д. Строка отображается между рангом 16 и рангом 17 без номера ранга.

• Голоса — N/A. В строке вообще нет количества голосов людей.

• Метка — AutoEval, связанный тег, указывающий на собственное пояснение Arena.

• Тег лицензии — Проприетарная.

• Цена — $0,28 за вход и $1,13 за выход за миллион токенов, что соответствует прейскурантной цене Qianfan.

• Контекст — Н/Д, на модели, страница поставщика которой указывает окно в 1 млн токенов.

Три из этих семи столбцов — N/A, и один из них — столбец лицензии, то есть именно тот столбец, от которого зависит утверждение. Сравните диапазон, над которым оно, как утверждается, находится, и картина становится четче, а не мягче:

• 1691 — Claude Opus 5 (Max), Anthropic, проприетарная.

• 1688 — Kimi K3.1 Pro (Max), M​oonshot, с тегом «Kimi K3.1 Pro License» — кастомная лицензия, которую Arena не относит ни к открытым, ни к проприетарным.

• 1682 — Gemini 4 Argon (High), G​oogle, проприетарный.

• 1679 — GPT-6.1 Terra (Max), O​penAI, Проприетарная.

• 1676 — Qwen3.8-Max (0902), A​libaba, Проприетарная, Предварительная.

• 1673 — GPT-6 Sol (Max), O​penAI, проприетарная.

• 1670 — Qwen3.8-Max, Alibaba, проприетарная, предварительная версия.

• 1668 — ERNIE 5.5 Flash Preview, Baidu, проприетарная, AutoEval.

• 1664 — DeepSeek-V4.1-Flash-20261017 (Max), DeepSeek, MIT, 13 952 голоса.

• 1658 — Kimi K3 (Max), Moonshot, 22 405 голосов.

Сопоставьте этот список с утверждением. Всё, что выше ERNIE в нём, — Proprietary, кроме одной строки с особой лицензией. Первая действительно открыто лицензированная модель, которую вы встретите, — это строка D​eepSeek ниже неё. Так что «#2 open model» — это не описание того, где ERNIE находится в этой таблице. Это описание того, где ERNIE оказалась бы, если бы веса были опубликованы под Apache 2.0 и если бы оценки AutoEval рассматривались как эквивалентные оценкам, выставленным людьми. Оба условия относятся к будущему или являются спорными, и ни одно из них не видно в твите-цитате.

Что на самом деле представляет собой AutoEval и почему ±16 здесь важно

Arena опубликовала свою методологию AutoEval 30 июля 2026 года и в последний раз пересматривала её 12 августа. Механизм представляет собой модель вознаграждения, обученную на человеческих предпочтениях и используемую для автоматической подачи голосов: выбираются живые пары «запрос — ответ», ответ целевой модели генерируется заново, модель вознаграждения оценивает оба ответа, разница оценок преобразуется в мягкий вероятностный голос, после чего эти синтетические голоса объединяются с живыми человеческими голосами по другим моделям. Arena заявляет, что полученные оценки «чётко помечаются как "AutoEval", а затем обновляются, как только набирается достаточно человеческих голосов для их валидации», и сообщает о корреляции рейтингов выше 0,98 с живой оценкой.

Это оправданный способ получить сигнал первого дня, и именно поэтому модель может появиться в таблице в день выпуска. По собственному описанию Arena, это также временное значение. Число по своей природе является предварительным и, как ожидается, изменится. Пометка в строке ERNIE — не украшение; это указание считать 1668 оценкой, ожидающей проверки.

Теперь применим планку погрешности — ту часть строки, которую никто не цитировал. Интервал ERNIE простирается примерно от 1652 до 1684. Значения 1664 у DeepSeek-V4.1-Flash и 1658 у Kimi K3 оба попадают внутрь него. То же с Qwen3.8-Max при 1670 и с GPT-6 Sol при 1673. Предложение «его результат ставит его чуть выше DeepSeek-V4.1-Flash с 1664 и Kimi K3 с 1658» арифметически верно для точечных оценок и статистически не подкреплено как сравнение: при собственной опубликованной неопределённости этой строки ERNIE неотличим от любой модели между 1652 и 1684. Он может быть выше D​eepSeek. Может быть ниже. Таблица сейчас не говорит, что именно.

Это не техническая придирка, направленная против одного вендора. Интервал ±16 в таблице, где весь топ-25 охватывает примерно 200 баллов, означает, что почти каждая соседняя пара строк — ничья на этом уровне доверия, и честная интерпретация любого отдельного сравнения соседних позиций — для любой модели — это «равенство». Необычно здесь лишь то, что один вендор в результате раздул сравнение соседних позиций.

Откуда берётся «#2» и от какой лицензии это зависит

Если идти от цифр в обратном направлении, существует ровно один способ, при котором утверждение становится истинным, и об этом стоит сказать, потому что это можно проверить и потому что Arena не проговорила это явно.

Считать открытым множеством «каждую строку, которую Arena не помечает как Proprietary». Выше 1668 это оставляет ровно одну строку: Kimi K3.1 Pro (Max) на 1688 с тегом «Kimi K3.1 Pro License». Всё остальное выше ERNIE помечено как Proprietary. При таком прочтении Kimi K3.1 Pro — №1, а ERNIE 5.5 Flash Preview был бы №2 — не потому, что он обошёл поле, а потому, что поле впереди него проприетарное.

Эта реконструкция — вывод, а не цитата: в посте Arena не названа модель, которую она считает №1, а таблица не раскрывает свой классификатор «открытое vs проприетарное» за пределами тегов лицензии. Если этот вывод верен, то ключевой факт утверждения — кастомная лицензия на чужую модель: Arena считает Kimi K3.1 Pro открытой, и вся формулировка «#2 open model» наследует это классификационное решение. Если же Arena, наоборот, относит кастомные лицензии к закрытым, то 1668 у ERNIE — верхняя непроприетарная строка, и утверждение должно было бы гласить «#1», что было бы ещё более странным предложением для публикации о превью.

В любом случае это предложение делает больше работы, чем данные, стоящие за ним. Число реально. Ранг обусловлен лицензией, которую никто не видел.

Расстояние, которое скрывает кадрирование

В любую честную версию этого поста должна войти ещё одна цифра, и её отсутствие — самое показательное в нём. Верхняя строчка Code Arena WebDev в том же срезе — Claude Fable 5.2 с 1836. ERNIE 5.5 Flash Preview с 1668 отстаёт от неё на 168 баллов — и занял бы 17-е место из 158, если бы строка AutoEval участвовала в рейтинге, разместившись между Qwen3.8-Max с 1670 и DeepSeek-V4.1-Flash с 1664.

Семнадцатое место в рейтинге из 158 моделей через день после релиза при 14 млрд активных параметров из 280 млрд общих — это по-настоящему хороший результат. Это тот результат, который оправдывает публикацию на неделе запуска. Это не тот результат, который нужно подавать как подиумное достижение, а такая подача привлекает именно то пристальное внимание, которое стоит вендору больше доверия, чем честная формулировка.

Что страница поставщика говорит, а что — нет

Собственная страница релиза Baidu для ERNIE 5.5 Flash Preview датирована 11 ноября 2026 года, в ней указано «280B общих параметров при 14B активных и контексте в 1M токенов», а модель описана как первый чекпоинт после постобучения на ERNIE 5.5 Flash Base — базовых весах, опубликованных 5 ноября. На странице нет ни заявления о лицензии, ни заявления о весах, ни чисел бенчмарков — упоминания бенчмарков на странице представляют собой заголовки о более ранних релизах ERNIE, а не оценки для этой модели.

Этот пробел важен для рассматриваемого утверждения. «Веса будут открыты по лицензии Apache 2.0 в ближайшее время» встречается в посте Arena. Оно не встречается на странице релиза вендора и не встречается в том, как сам вендор продвигает этот пост. Если обязательство по Apache 2.0 реально и актуально, страница релиза — естественное место для него, а там его нет. Если оно реально, но ещё не задокументировано, то единственный публичный источник обязательства по лицензии для этой модели — объявление в лидерборде, а это ненадёжное место для лицензии, когда вендор строит на ней рейтинг.

Как использовать это, пока цифры не устоялись

Практический вопрос для любого, кто выбирает модель на этой неделе, не в том, хорош ли балл 1668. А в том, должна ли предварительная оценка WebDev на preview-чекпоинте по цене $0,28 за вход и $1,13 за выход с обязательным reasoning, тарифицируемым как выход, вытеснить что-то уже работающее в продакшене. Судя по имеющимся данным, ответ — нет, но проверить это дёшево, и для этого не нужно верить ни посту, ни этой статье.

Запустите сравнение на маршрутизируемых моделях, а не на таблице лидеров. DeepSeek-V4.1-Flash и Kimi K3 доступны через OrcaRouter по одному ключу, совместимому с OpenAI, по прейскурантной цене провайдера без наценки, поэтому контрольная группа обходится по ставке самого провайдера, а не требует второго контракта и второго SDK. Создайте двадцать фронтенд-задач, отражающих вашу реальную работу, — рефакторинг компонентов, баг вёрстки, проявляющийся только на одном брейкпоинте, задача по связыванию конечного автомата, — прогоните каждую модель дважды и считайте как выходные токены, так и корректность. Это то измерение, которое не даст вам ни одна строка таблицы лидеров, потому что это единственное число, которое должно быть вашим: стоимость на задачу, а не цена за токен.

Рассматривайте сам ERNIE 5.5 Flash Preview как объект тестирования, а не как объект внедрения. Он доступен на Qianfan, но отсутствует в нашем каталоге, а preview, который сам вендор называет промежуточным чекпоинтом посттренировки, — это ровно тот профиль, который маршрутизируют позади основного, а не впереди него. Если вы всё же выводите его на маршрут, выводите его на маршрут с отказоустойчивым переключением, чтобы в тот день, когда Arena заменит 1668 на число по итогам голосования людей, — или в тот день, когда веса Apache 2.0 появятся — или так и не появятся, — ваши пользователи узнали об этом из строки лога, а не из сбоя.

Что бы это решило?

Три вещи — в том порядке, в котором они, вероятно, появятся, — каждая из которых изменила бы вердикт в этой статье, а не просто приукрасила бы его.

Голоса людей заменяют метку AutoEval в этой строке. Arena сообщает, что оценки обновляются, как только набирается достаточно голосов. Когда голоса перестанут показывать N/A, 1668 станет сопоставим с 1664 и 1658, с которыми его сравнивали, и вопрос о ±16 решится сам собой. Следите за тем, насколько сузится интервал — в той же мере, в какой сдвинется точечная оценка.

• Веса опубликованы под указанной лицензией. Реальный репозиторий с файлом Apache 2.0 окончательно решает вопрос открытой модели и делает формулировку "#2 open model" ретроспективно справедливой. Анонс лицензии без весов ничего не решает.

• Независимое измерение WebDev. AutoEval от Arena — это собственный инструмент Arena, и каждая опубликованная Baidu цифра бенчмарка для этой модели — это собственный прогон Baidu на собственном стенде Baidu. Ни то, ни другое не является результатом третьей стороны. Первая по-настоящему независимая фронтенд-оценка ERNIE 5.5 Flash Preview будет стоить больше, чем оба.

До тех пор точная формулировка — скучная: preview-чекпоинт, который Baidu выпустил 11 ноября, оказался на 1668-м месте в Code Arena WebDev, это оценка AutoEval внутри интервала, перекрывающегося со следующими четырьмя моделями ниже, в строке, которую таблица всё ещё помечает как Proprietary, и вендор раздул это в почти что второе место среди открытых моделей. Каждое из этих утверждений можно проверить уже сегодня. Версия, которая ушла в твит, не столько неверна, сколько незавершена — и её опубликовали так, будто она готова.