ERNIE 5.5 Flash Preview хочет вашу самую сложную задачу: что на самом деле доказывает одиннадцатичасовая сборка

ERNIE 5.5 Flash Preview стал доступен как платный эндпоинт на платформе Qianfan от Baidu 10 ноября 2026 года, а официальный пост о запуске вышел 11 ноября с единственным ключевым тезисом: дайте ему самые сложные задачи. Этот тезис опирается на один артефакт сильнее, чем на что-либо другое, — игру от третьего лица на Unreal Engine 5.8, созданную, как описывает Baidu, в рамках одной одиннадцатичасовой задачи по программированию, — а также на двадцать строк результатов бенчмарков, которые Baidu прогнала на собственных стендах с выбранными ею судьями. Ни одиннадцать часов, ни двадцать цифр не были воспроизведены за пределами компании. Интересный вопрос не в том, впечатляет ли демо. А в том, является ли одиннадцатичасовой агентный прогон вообще правильным объектом для измерения, и что в спецификации сказано о счёте, который придётся оплатить за один такой прогон. В каталоге 228 моделей от 17 провайдеров, и в каталоге из 228 моделей от 17 провайдеров нет записи ERNIE поэтому группа сравнения доступна всего через один ключ, хотя самого предмета там нет.

Утверждение касается продолжительности, а не сложности.

{{1}}В каждом посте о запуске модели говорится, что модель сильна в сложных задачах. В этом посте «сложное» определяется иначе: как «долгое». Сборка игры, 3D-сцены, рабочие пространства с несколькими тысячами файлов и 116-секундный анимационный короткометражный фильм — всё это упражнения на умение удерживать план в целости на протяжении часов правок и вызовов инструментов, а не на умение отвечать на вопрос, в котором меньшая модель ошиблась бы.{{/1}}

Это различие важно, потому что эти два свойства расходятся. Модель может прекрасно справляться с рассуждением в одном ходе и сломаться на четвёртом часу рефакторинга, когда контекст полон её собственных прежних ошибок, а план нужно пересматривать, а не выполнять. Модель также может быть посредственной в одноразовой головоломке и всё равно оставаться правильным выбором для ночной сборки. Baidu делает ставку на то, что вам важно второе.

Самое полезное предложение во всём посте — не бенчмарк. Оно находится в разделе о разработке игр и описывает, как модель работала, не имея возможности видеть: поскольку она работает только с текстом и не может смотреть на экран, она превращала обнаруженные при плейтестинге баги — персонаж, зависший над землёй, непоследовательное направление бега, неправильно расположенная камера — в измеримые тесты в коде. Это откровенное описание обходного пути, и оно говорит вам то, чего нет в спецификации. Компетентность модели в визуальной работе делегируется инструментам, которые она пишет сама, а значит, качество результата зависит от того, сможет ли она придумать проверяемый тест для того, чего не видит.

Что на самом деле содержит рил

Четыре кейса стоит перечислить, потому что они конкретнее, чем обычно бывает рекламный текст запуска, а именно конкретность делает их в принципе проверяемыми.

• Разработка игр — игра от третьего лица на Unreal Engine 5.8, созданная в рамках одной задачи длительностью одиннадцать часов: объединение ассетов из нескольких поколений движка в единый проект и написание игры на C++; отдельно — почти сто мобильных мини-игр, сгенерированных по дизайн-документам на Cocos, Unity, LayaAir, PixiJS и Canvas 2D, причём в большинстве из них правила организованы как детерминированная симуляция, чтобы бот-прохождения и поиск по пространству состояний могли доказать проходимость каждого уровня.

• 3D-моделирование — Boeing 747 и пекинский аэропорт Дасин, построенные двумя агентами через Python API Blender: один занимался аэропортом, другой — самолётом, затем они были согласованы по масштабу, освещены, отрендерены покадрово с помощью Cycles и OptiX и смонтированы с помощью FFmpeg; храмовый комплекс Хорю-дзи, исследованный и собранный шаг за шагом; превиз-последовательность из примерно 2 100 объектов и 1,82 млн треугольников в четырёх сценах Blender; двигатель W16, две башни в Шэньчжэне и лунный ровер, смоделированные в FreeCAD с помощью Python-скриптов.

• Интеллектуальная работа — {{1}}20-страничный исследовательский отчёт о затратах на электроэнергию для центров обработки данных{{/1}}, {{2}}24-страничный анализ автономного вождения, основанный на 4 169 федеральных отчётах об авариях{{/2}}, {{3}}интерактивная рабочая книга по планированию благосостояния с моделированием Монте-Карло на 1 000 траекторий{{/3}} и {{4}}оркестровое произведение продолжительностью 6 минут 34 секунды, представленное в виде файла WAV{{/4}}.

• Видео — более 150 000 сред для создания и около 5 300 минут готового видео; центральное место занимает 116-секундный 2D-анимационный короткометражный фильм, написанный более чем на 10 000 строках Python, в котором один параметризованный пеликан проходит через 20 художественных стилей.

Показатель обучения, лежащий в основе раздела о работе со знаниями, — это самое большое число в посте: 300 000 рабочих пространств, в которых хранится 10 млн справочных файлов более чем 40 типов. Это утверждение о том, что модель была обучена выдерживать, и это та часть аргумента, которую таблица бенчмарков не может привести вовсе.

Двадцать строк, прочитанных на предмет того, что они говорят о длинных сериях

Приложение представляет собой одно изображение, а значит, числа из него нельзя скопировать, отсортировать или сверить с электронной таблицей. Если считывать данные с этого изображения, столбец ERNIE выглядит следующим образом — все значения приведены со слов поставщика и не были воспроизведены:

• Агентное программирование — Terminal-Bench 4.0: 46,5, DeepSWE v1.1: 71,2, ProgramBench (почти решено): 29,5, NL2Repo-Bench: 64,8, Terminal-Bench-Science 0.1: 21,0.

• Использование компьютера и автоматизация — CookieBench на уровне 88,2, AutomationBench на уровне 61,9, APEX-Agents 1.1 на уровне 64,2, DRACO на уровне 84,9.

• Интеллектуальная работа — SpreadsheetBench V2: 36.4; OfficeQA Pro V2: 67.9; Agents' Last Exam (CLI): 29.0; SkillsBench 1.1 (только текст): 73.5.

• Агенты общего назначения и использование инструментов — Toolathlon-Verified: 79,0, MCP-Atlas: 84,6, BrowseComp: 87,4.

• Рассуждение — HLE без инструментов на уровне 46,4, AA-Omniscience-Public — 25,2, AA-LCR v1.1 — 79,0.

• 3D — BlenderWorld, только текст, при 79.0.

Эту таблицу гораздо полезнее читать как карту того, что всё ещё не работает, чем как табло. Четыре строки находятся ниже 40: ProgramBench — 29,5, Agents' Last Exam в командной строке — 29,0, AA-Omniscience-Public — 25,2 и Terminal-Bench-Science — 21,0. Это не мягкие бенчмарки. Agents' Last Exam спроектирован так, чтобы находиться близко к границе того, что агент способен выполнить автономно; Omniscience наказывает за уверенные неправильные ответы; Terminal-Bench-Science проверяет задачи лабораторного уровня, где правдоподобно выглядящая процедура ничего не стоит. Модель, которая претендует на вашу самую сложную задачу и набирает 21,0 в научном варианте самого сложного агентного бенчмарка, сообщает вам, где сейчас находится потолок. SpreadsheetBench V2 с 36,4 говорит нечто похожее конкретно о работе с электронными таблицами, и это неловко соседствует с рабочей книгой для моделирования Монте-Карло на 1000 путей из поста о запуске.

Строки с показателем выше 80 не менее информативны по другой причине. BrowseComp с 87,4, MCP-Atlas с 84,6, CookieBench с 88,2 и DRACO с 84,9 — все это задачи, в которых модель оценивается по завершённому, проверяемому конечному состоянию, а не по ответу. Эта закономерность — сильна в проверяемом завершении, слаба в открытом научном суждении — именно то, что можно ожидать от модели, обученной на 300 000 рабочих пространств, полных файлов, которые либо собираются, либо нет.

Честность обеспечивают сноски. Каждый бенчмарк запускался на поименованном стенде, при этом фигурируют Claude Code 2.1.x, mini-swe-agent 2.4.6, Codex 0.162.1 и нечто сокращённое как DSH, а модели-судьи — Qwen3.8-Max, DeepSeek-V4.1-Flash-1017 и Gemini 3.1 Flash-Lite. В одной сноске признаётся, что GLM-5.3 и эта модель лишены нативных мультимодальных возможностей и что понимание изображений обеспечивалось через инструмент на базе Claude Opus 5.5. Поэтому как минимум некоторые строки, зависящие от зрения, измеряют стенд, в котором ERNIE 5.5 Flash Preview обращается к модели конкурента, чтобы та посмотрела на изображения. Это легитимный инженерный выбор — и странная деталь для табло результатов.

Две строки с префиксом AA требуют отдельной оговорки. AA-Omniscience-Public и AA-LCR v1.1 — это бенчмарки, опубликованные Artificial Analysis, независимым трекером, но это прогоны Baidu по ним. По состоянию на 11 ноября в таблице лидеров Artificial Analysis нет строки ERNIE 5.5, поэтому нет независимого показателя, с которым можно было бы сопоставить любую из этих двух ячеек.

Сколько будет стоить одиннадцатичасовой прогон — и о чём Baidu умолчала

Документация по конечной точке — это та часть релиза, которая превращает демонстрацию в инженерное решение. Qianfan указывает ERNIE 5.5 Flash Preview по цене $0.28 за миллион входных токенов и $1.13 за миллион выходных, при этом чтение из кэша стоит $0.028, контекстное окно составляет 1 024 000 токенов, максимальный объём вывода — 921 600 токенов, а режим рассуждений всегда включён на едином высоком уровне усилий без возможности его отключить.

Этот потолок вывода — механическая причина, по которой длинный одиночный прогон вообще возможен: модель может выдать почти столько же токенов, сколько вмещает всё её контекстное окно. Это же причина, по которой счёт неочевиден. Промптинг стоит четверть ставки за вывод, но всё, о чём «думает» модель, тарифицируется по ставке вывода, а у модели, которая не может перестать думать, стоимость одной задачи определяется токенами, которые никто не читает.

Выполните расчёт для максимального одиночного вызова — это самый благоприятный из доступных случаев. Заполнение окна в 1 024 000 токенов стоит около $0,29 по тарифу на входные данные. Выдача полного максимума вывода в 921 600 токенов стоит около $1,04. Это примерно $1,33 за один вызов, исчерпывающий оба лимита. Одиннадцатичасовая сборка Unreal вполне вероятно этого не делала, а в посте о запуске не сказано, сколько токенов она потребила, сколько отдельных вызовов потребовалось и во сколько это обошлось. Пока кто-нибудь не измерит выходные токены на завершённую задачу на своей собственной рабочей нагрузке, любое утверждение о том, что эта модель дешёвая или дорогая на сложной работе, будет сравнением тарифных сеток, а не сравнением результатов.

Две вещи, которые этот релиз всё ещё вам должен

Пост завершается тем, что ERNIE 5.5 Flash Preview называют «промежуточным чекпоинтом после посттренировки», признавая, что обучение не завершено и что некоторые возможности пока могут не дотягивать до нужного уровня. В нём также обещают, что веса скоро будут открыты под Apache 2.0, но без указания даты, а по состоянию на 11 ноября на Hugging Face нет репозитория предварительной версии — единственные опубликованные там артефакты ERNIE 5.5 — это базовый чекпоинт и его вариант BF16. Нигде в релизе нет ни карточки модели, ни даты отсечения знаний, ни показателя задержки.

Итак, честное резюме лозунга «дай ему самое сложное задание» уже, чем сам лозунг. ERNIE 5.5 Flash Preview — это текстов-only модель с очень большим контекстом, необычно большим лимитом на вывод, сильным послужным списком в задачах, завершающихся артефактом сборки, слабым послужным списком в задачах, завершающихся научным суждением, и нулевой независимой проверкой. Это реальный и конкретный профиль. Но его, вероятно, перечеркнёт второй чекпоинт.

Как протестировать тот профиль, не делая на нём ставку на путь?

Baidu предоставляет эту модель через собственный API Qianfan, а также через сторонние платформы, которые перепродают её. OrcaRouter не маршрутизирует ERNIE 5.5 Flash Preview — в каталоге из 228 моделей от 17 поставщиков нет записи ERNIE, и за ним не стоит эндпоинт Baidu — поэтому ничто здесь не должно восприниматься как предложение предоставлять её.

Чем каталог хорош в этой ситуации, так это второй половиной эксперимента. Модели, с которыми сопоставляют эту, доступны через один ключ по прайсовой цене провайдера без наценки, а значит, вы можете прогнать через них те же сложные задачи и сравнить долю успешных выполнений, а не опубликованные баллы. Автоматическое переключение при сбое выполняет вторую задачу: предварительная версия без истории аптайма не должна быть единственной опорой пути запроса, потому что маршрутизируемый резервный вариант может принять вызов, когда он зависает на третьем часу.

Оценка, которую стоит провести на этой неделе, небольшая. Возьмите десять своих собственных агентских задач с длинным горизонтом — тех, которые вы обычно не доверили бы одному запуску без присмотра, — и прогоните каждую через ERNIE 5.5 Flash Preview и через две модели, которым вы уже доверяете. Зафиксируйте, завершилась ли она, сколько выходных токенов израсходовала и во сколько обошлась. Так получатся два числа, которые Baidu не указала: токенов на задачу и стоимость выполненной задачи. Всё остальное в посте о запуске, включая 46.5 и включая одиннадцать часов, — это чужой испытательный стенд на чужой машине.

То, что решило бы вопрос, — не очередной демо-ролик. Это дата релиза под Apache 2.0, карточка модели с указанием даты отсечки знаний, строка Artificial Analysis, подготовленная Artificial Analysis, и второй чекпойнт, чьи числа можно сопоставить с этим. Baidu опубликовала ту историю, которую ей следовало опубликовать вместе с эндпоинтом. Следующее, что она должна людям, которых только что пригласила передать ей свои самые сложные задачи, — артефакт, позволяющий им перестать верить ей на слово в том, как обернулись самые сложные из них.