pplx-decider-flash vs Laya: два типа моделей принятия решений, одно неверное сравнение

Цифры, которые сейчас гуляют по рукам, аккуратны и бесполезны. Один сравнительный индекс оцениваетLaya в 69,5, а pplx-decider-flash-v1.2 — в 68, то есть почти ничья. Другой индекс ставит Flash 73,7 и присуждает ему первое место среди 48. Третий даёт Flash 451 из 504 против 240 у Laya multilingual. Три источника, три вердикта, потому что каждый измеряет другую модель на другом наборе задач — и по крайней мере два из трёх измеряют вариант Laya, не уточняя, какой именно. Вот сравнение, которое действительно имеет значение, и первое честное предложение таково: никто ещё не провёл его как следует.

Сравнивать можно лишь устройство двух систем: для чего они созданы, во сколько обходится их эксплуатация и что каждая из них требует от вас, прежде чем выдаст вероятность, которой можно пользоваться. По этим параметрам они вовсе не близкие конкуренты. Это разные продукты, у которых лишь совпадает название должности.

По одному абзацу на каждый.

pplx-decider-flash-v1.2 — это мультимодальная модель принятия решений класса 4B от Perplexity, построенная на базовой модели Qwen3.5-4B с отдельной 255-классовой головой считывания. Вы передаёте ей состояние — текст, JSON или изображение размером до 1,6 мегапикселя — и типизированные вопросы, а она возвращает калиброванные вероятности за один прямой проход. Она рассчитана на работу в режиме zero-shot: сохранённая температура — 1,554, а в карточке указаны точность 88,8% и ожидаемая ошибка калибровки 0,021 на проверочном наборе из 1 497 вопросов. Лицензия — Apache-2.0, размер — около 9 ГиБ в BF16, а стоимость — $0,01 за миллион входных токенов в API Perplexity, при этом вывод бесплатен.

Laya — это семейство неавторегрессионных решающих энкодеров от Convai Innovations, выпущенное 18 сентября 2026 года и также распространяемое под лицензией Apache-2.0. Английский чекпойнт — это дообученная модель ModernBERT-large с 421 млн параметров и контекстом в 512 токенов; многоязычная модель — это mmBERT-base с 322 млн параметров и 1024 токенами; третий чекпойнт, laya-typed-decisions, — именно тот, что демонстрирует ключевые результаты. Он отвечает на все вопросы в рамках звонка за один прямой проход, используя маскирующие токены для каждого варианта, без этапа генерации и без входного изображения.

Почему сравнительные таблицы противоречат друг другу

Несоответствие начинается с бенчмарка, который построил каждый производитель. Perplexity оценивает свои модели по Decision Index 0.3 — составному показателю, охватывающему знания, язык, поиск, инструменты и искусства. Convai оценивает Laya на бенчмарке типизированных решений из 400 случаев и 2 000 решений, который она также публикует. Ни одна из моделей не запускалась на тестовом стенде другой публично.

Сторонние индексы плохо закрывают этот пробел. Композитный индекс Anchor Terminal ставит Laya на четвёртое место с 69,5, а Flash — на шестое с 68; разница в 1,5 балла вполне укладывается в шум композитной оценки, которую никто не может проверить. Ollaya Bench сообщает 73,7 в целом и первое место из 48 для Flash при макроточности 82,4%, но не публикует тестовый стенд. Набор задач авторства Jev оценивает Flash в 451/504, а Laya multilingual — в 240: разгром, причём в наборе, написанном сопровождающими конкурирующей модели. Страница PublicAI умудряется зафиксировать, что Flash побеждает Laya 322M и Laya multilingual, но при этом проигрывает 3–0 некой безымянной «Laya».

Последняя запись — это вся проблема в миниатюре. «Laya» — не одна модель. Сравнение Flash с 421M английским энкодером, 322M многоязычным энкодером и дообученным специалистом по бенчмаркам даёт три разных ответа, и только один из них — то, что вы действительно стали бы развёртывать.

Табло, которое мы можем защитить

Это те параметры, по которым две системы действительно расходятся, с собственными опубликованными показателями каждой стороны и указанием источников.

• Параметры — pplx-decider-flash-v1.2 относится к классу 4B (в документации API указано 4B, в заголовке карточки — 5B в BF16) против Laya с 421M для английского и 322M для многоязычного.

• Контекст — 262 144 токена на Flash, обучен примерно на 32 000 по сравнению с 512 токенами на Laya English и 1 024 на мультиязычной версии.

• Модальность — Flash принимает текст, JSON и изображения до 1,6 МП, тогда как Laya принимает только текст.

• Использование в режиме zero-shot — Flash поставляется уже откалиброванным, с сохранённой температурой и опубликованными метриками ошибок по сравнению с базовыми чекпойнтами Laya; сама карточка называет его «быстрой базой для специализации, а не движком принятия решений в режиме zero-shot».

• Задержка — Laya: 32,8 мс на один вопрос на T4, 72,3 мс на десять, 103–332 вопроса в секунду при пакетной обработке и 193–464 мс на CPU против Flash, при этом Perplexity не публикует официального показателя уровня обслуживания; единственная цифра, которую публикует поставщик, — это результат теста в документации, где ~248 000 входных токенов обрабатывались 16 секунд.

• Цена — Flash по $0,01 за миллион входных токенов, выходные токены бесплатно, в API Perplexity против Laya, у которой нет цены за размещённый сервис, поскольку это релиз весов, который вы запускаете самостоятельно.

Задержка и аппаратное обеспечение: где Laya не дотягивает

Главный посыл Laya в том, что для принятия решения не нужна генеративная модель, и показатели задержки это подтверждают. Один вопрос — 32,8 мс на T4 для многоязычной контрольной точки, 39,5 мс для английского; десять вопросов — за 72,3 мс; от 103 до 332 вопросов в секунду при пакетной обработке. На CPU с предварительной загрузкой — 193–464 мс. Энкодера на 322M достаточно мало, чтобы уместиться в пути обработки запроса, который не может позволить себе GPU.

Flash — это другой класс развертывания. Девять гигабайт весов BF16 помещаются на потребительскую карту с 16 ГБ, а один сторонний бенчмарк сообщает примерно о 10,4 ГБ VRAM и 90–127 мс на одно решение на RTX 5090. Это достойно для модели 4B и примерно втрое превышает задержку Laya на T4 на оборудовании, которое стоит во много раз дороже. Если ваше ограничение — миллисекунды на дешевом оборудовании, спор заканчивается ещё до того, как в него вступает точность.

Вопрос тонкой настройки

Это та часть, которую скрывают сравнительные таблицы, и она имеет решающее значение.

Заявленная Laya точность 0,766 относится к laya-typed-decisions — контрольной точке, дообученной на собственном тренировочном сплите бенчмарка. Базовая английская контрольная точка набирает 0,362 на том же бенчмарке при baseline большинства классов 0,461 и случайном угадывании 0,318. Иными словами, модель, которую вы скачиваете как есть, хуже, чем всегда отвечать самым частым классом. Convai прямо говорит об этом на карточке модели. Независимое исследование воспроизводимости на arXiv также сообщило, что одна из главных метрик — soft accuracy 0,509 против опубликованной 0,471 — не воспроизвелась, и утверждало, что данные калибровки загрязнены по построению.

Утверждение Flash имеет противоположную форму: указанные поставщиком 60,05 балла по Decision Index при одном вопросе на запрос, от модели, которую предполагается использовать в поставляемом виде. Это утверждение не подтверждено — Perplexity создала этот бенчмарк, и её карточка говорит, что в обучении использовались официальные тренировочные разбиения нескольких задач Decision Index, деконтаминированные относительно тестовых наборов. Это защитимая практика, заявленная прямо, но она также означает, что модель видела данные из целевой предметной области для бенчмарка, по которому её оценивают, а деконтаминация — это собственное заявление Perplexity, а не проверенный аудитом факт. Но бремя иное. С Laya необходимо дообучить и перекалибровать модель, прежде чем опубликованные числа что-то будут значить; карточка рекомендует подбор температуры, потому что исходные вероятности демонстрируют избыточную уверенность, а ECE снижается с 0,466 до 0,081 после перекалибровки. С Flash вы доверяете калибровке поставщика на данных, которых не видели.

Ни то, ни другое не бесплатно. Одно стоит инженерного времени, другое — времени на проверку.

Язык и кардинальность

Мультиязычная Laya в принципе поддерживает более 100 языков, а на практике — 45 из 51 по собственному порогу «пригодности» из карточки, равному трехкратному случайному уровню. Ее оценка XNLI за пределами английского составляет 0,731 против 0,521 у чекпойнта только для английского, а точность определения намерений MASSIVE по 13 другим языкам — 0,451. Это скромные цифры, но они есть, а у Flash вообще нет опубликованной мультиязычной оценки. Если ваш трафик не англоязычный, поставщик с мультиязычной оценкой — более безопасная отправная точка, даже если его оценки низкие.

С кардинальностью ситуация обратная. Laya сильно деградирует на вопросах выбора с высокой кардинальностью: 0,425 на 72 метках Banking77 против 0,870 у Jev, потому что 77 вариантов при настройках по умолчанию получают примерно по три-четыре токена каждый. В карточке рекомендуется увеличить бюджет на варианты или разделить задачу от грубого к точному. Flash принимает до 255 вариантов, и для него нет опубликованного бенчмарка для высокой кардинальности, поэтому осторожная интерпретация такова: Flash предназначен для случая, который Laya описывает как слабость, но не продемонстрировал своих результатов.

Сколько стоит тысяча решений

У Laya нет цены за отдельное решение, потому что вы размещаете её сами. На T4 при 103–332 вопросах в секунду миллион решений — это где-то от 50 минут до трёх часов работы GPU. По стандартным облачным тарифам это от нескольких центов до нескольких долларов, плюс инженерная работа по развёртыванию и мониторингу.

Стоимость Flash в API легко посчитать. Состояние на 400 токенов, один вопрос: 1000 решений — это 400 000 входных токенов, что при $0.01 за миллион составляет $0.004. Миллион решений — это около $4. Самостоятельный хостинг весов убирает стоимость за токен, но возвращает вас к GPU с примерно 9 GiB весов и некаузальным паттерном внимания, который стандартные каузальные серверы не воспроизводят.

Ловушка — пакетная обработка. Flash заново тарифицирует состояние для каждого вопроса, поэтому три вопроса на одно состояние утраивают счёт. Если ваш шлюз запрашивает сразу несколько вещей, дешёвая модель — не такая уж дешёвая.

Это также тот уровень, где возникает вопрос маршрутизации. Модель принятия решений — это шлюз перед генерацией, а основная часть расходов приходится именно на сторону генерации. OrcaRouter ставит более 200 моделей за одним ключом без наценки к прайсовым ценам, поэтому более дешёвый генератор или снижение цен поставщиком вступают в силу в тот же день, а автоматическое переключение при сбое не даёт неверно маршрутизированному запросу полностью отказать. Мы не размещаем pplx-decider-flash или Laya. Единственная модель принятия решений, которую мы предоставляем, — это Jev от TypeSafe, в версиях jev-1.13 и jev-1.14, что стоит знать, если вы хотите размещённый у нас децидер без развёртывания GPU.

Как выбрать, по порядку

• Неанглоязычный трафик — начните с мультиязычной Laya, затем измеряйте. Это единственная сторона с опубликованными данными по кросс-языковым показателям.

• Менее 100 мс на обычном оборудовании — Laya. На T4 отвечает за 33 мс; Flash требует современного GPU и, по имеющимся данным, занимает там 90–127 мс.

• Изображения в текущем состоянии — Flash, без реальной конкуренции. У Laya нет пути в области компьютерного зрения.

• Длинные состояния — Flash. Окно в 512 токенов исключает Laya для всего, что хоть отдалённо напоминает документ.

• Нет размеченных данных и нет времени на тонкую настройку — Flash, по крайней мере в качестве отправной точки. Базовый чекпойнт Laya ниже мажоритарного бейзлайна.

• Более 20 вариантов на вопрос — Flash или Laya с увеличенным лимитом вариантов и разбиением «от грубого к точному».

Честная сводка такова: эти модели конкурируют за одно и то же описание задачи и почти никогда — за одно и то же развёртывание. Laya — быстрый, крошечный, дообучаемый энкодер для классификации больших объёмов на языках, которые вы можете протестировать. Flash — универсальный, калиброванный, мультимодальный арбитр с большим контекстом и рейтинговой таблицей поставщика за спиной. Сравнительные таблицы, где их разделяют 1,5 балла, не столько неверны, сколько бессмысленны: они усредняют ровно те свойства, которые определяют выбор.