Laya против Decider: энкодер на 421M против смеси на 35B

Laya и Decider — обе модели с открытыми весами, неавторегрессионные модели принятия решений, которые отвечают на типизированные вопросы — выбор из заданного списка, оценка по упорядоченной рубрике, вероятность «да/нет» — за один прямой проход, и они находятся на противоположных концах спектра размеров. Convai Innovations выпустила Laya 18 сентября 2026 года под лицензией Apache 2.0: 421M-энкодер ModernBERT-large для английского с окном в 512 токенов, 322M-многоязычный чекпойнт mmBERT-base с окном в 1 024 токена, охватывающий 100+ языков, и маршрутизатор, который определяет письменность и направляет запрос к нужной модели. Семейство Decider от Mapika простирается от decider-0.8b и decider-2b на небольших генеративных базах до decider-35b-a3b — 35B-модели со смесью экспертов и примерно 3B активных параметров. Обе бесплатны для скачивания, и обе возвращают вероятности, а не текст. Причина, по которой они не взаимозаменяемы, — не показатель точности, с которого начинается большинство обзоров.

Две семьи, одна архитектурная ставка

Общая ставка состоит в том, что решению не нужен цикл декодирования. Генеративная модель, у которой спрашивают: «этот тикет — запрос на возврат?», вынуждена выдавать токены, и в тот момент, когда она выдаёт токены, вы отвечаете за парсинг, валидацию схемы и путь повторных попыток на тот случай — один из двухсот, — когда она забывает фигурную скобку. Laya и Decider обе обходят это, считывая ответ напрямую из одного прямого прохода: Laya — из двунаправленного энкодера, Decider — из логитов токенов буквенных вариантов в выделенном слоте ответа в промпте.

На этом сходство заканчивается. Laya — это два небольших энкодера за языковым маршрутизатором, что и даёт ей окно в 512 токенов для английского языка и многоязычное окно в 1 024 токена при количестве параметров 421M и 322M. Decider сохраняет генеративный бэкбон и добавляет сверху считывающий слой: decider-2b — это дообучение с учителем Qwen3.5-2B-Base, за которым следует этап обучения с подкреплением с учётом калибровки на живых браузерных задачах и точных играх, тогда как decider-35b-a3b замораживает маршрутизируемые эксперты и обучает блочные матрицы с помощью Muon. Практическое следствие состоит в том, что Decider наследует знания о мире языковой модели, а Laya — нет. Другое следствие состоит в том, что Decider наследует ресурсоёмкость языковой модели.

В собственной документации Mapika указано: decider-2b — 18 мс медианного времени на одно решение на B300 в bf16, при размере батча один, без CUDA graphs и компиляции, а decider-35b-a3b — 41 мс в той же конфигурации. На GH200 с контекстами обращений в поддержку примерно в 230 токенов и тремя–пятью введёнными вопросами тот же проект сообщает 49 мс в eager-режиме, 4,0 мс с CUDA graphs и torch.compile, и около 1 370 решений в секунду при размере батча 32. Это опубликованные производителем цифры из собственного описания проекта, а не независимое измерение. Основная цифра Laya также опубликована производителем: 32,8 мс p50 на одно решение на Tesla T4 и 7,2 мс на вопрос при размере батча 10.

Вопрос калибровки, на который два проекта отвечают в разных масштабах

Калибровка — это показатель, который важнее всего для модели принятия решений, потому что весь смысл возврата вероятности в том, что кто-то ниже по потоку установит по ней порог. Именно здесь прямое сравнение Laya и Decider введёт вас в заблуждение.

Laya поставляется с ожидаемой ошибкой калибровки 0,466 в своей собственной карточке модели, и в карточке прямо указано, что переобучение температуры для каждого типа вопросов снижает её до 0,081. Это необычно честное раскрытие информации, и это также означает, что поставляемый чекпойнт не является калиброванным артефактом. Число, которое вы получаете из коробки, — 0,466.

Decider сообщает о совершенно другом инструменте. Decision Index — открытая таблица лидеров, которая прогнала каждое открытое воспроизведение Jev на 132 422 запросах — ставит decider-35b-a3b на четвёртое место в общем зачёте с 54,3, позади 59,5 у Jev, и сообщает, что он лучше всех откалиброван среди 32 участников, с ошибкой калибровки 3,1 пункта и 0,4% неправильных ответов при заявленной уверенности 95%+. decider-2b сообщает о 8,8 пункта и 0,9%. Это числа, опубликованные в таблице лидеров, и 3,1 пункта по десятибиновому ECE Индекса — это не то же измерение, что 0,466 у Laya на её собственной оценке. Поставить их рядом в таблице было бы ошибкой сравнения яблок с апельсинами, замаскированной под строгость. Что можно сказать, так это то, что автор Decider решил измеряться в сторонней таблице лидеров, а автор Laya решил сам опубликовать своё самое слабое число калибровки; ни один из них не был проверен харнессом другого.

Где каждый из них выигрывает — по каждому измерению

• Backbone — Laya: энкодер ModernBERT-large 421M, двунаправленный. Decider: генеративные базы Qwen3.5, от 0.8B до 35B-A3B.

• Языки — Laya: 100+ через многоязычный чекпойнт на 322M за маршрутизатором. Decider: только английский, заявлено как ограничение.

• Контекстное окно — Laya: 512 токенов для английского, 1 024 для многоязычных. Decider: принимает входные данные до 32k, обучен на 16k в поколении v6, протестирован до 30k.

• Потолок набора опций — Laya: резко ухудшается после примерно 20 опций, 0,425 на Banking77 против 0,870 у Jev. Decider: Choice от 2 до 255 именованных опций, Score от 2 до 10 описанных уровней.

• Точность zero-shot — Laya: 0,362 на бенчмарке typed-decisions, ниже базового уровня 0,461 для класса большинства. Decider: не опубликован как показатель zero-shot; вместо этого проект сообщает результаты по конкретным задачам.

• Калибровка — Laya: ECE 0,466 в исходной версии, 0,081 после перенастройки температуры по каждому типу вопросов. Decider: 3,1 балла по Decision Index для 35B, лучший из 32 результатов.

• Рассуждение — Laya: отсутствует по построению. Decider: отсутствует, сказано явно — это сопоставление с образцом, а не рассуждающий механизм.

• Лицензия — Apache 2.0 для обоих.

Ещё одна деталь о Decider, которую стоит знать, прежде чем выбирать его: проект предупреждает, что выбор одной записи из длинного массива JSON по позиции — слабый случай, и рекомендует обращаться к записям по ключу. Это то самое ограничение, о котором узнаёшь, только запустив его.

Сколько вам стоит запускать любой из них

Профиль затрат Laya — это проект по дообучению. Модель достаточно мала, чтобы работать на CPU ноутбука для задач с низкой пропускной способностью, но оценка zero-shot у поставляемого английского чекпоинта оказывается ниже тривиального бейзлайна, а значит, принять Laya — значит принять на себя работу по созданию размеченного набора, дообучению и повторной подгонке температуры для каждого типа вопроса. Награда же в том, что, сделав это, вы получаете артефакт на 421M параметров, который отвечает за десятки миллисекунд на T4. Собственный дообученный чекпоинт Convai laya-typed-decisions достигает 0.766 на обучающем сплите бенчмарка — цифра, которая говорит больше о дообучении, чем о базовой модели, и в карточке так и сказано.

Профиль затрат Decider — это решение об обслуживании. Вы выбираете, сколько GPU арендовать, и это семейство даёт вам настоящий регулятор: 18 мс на 2B против 41 мс на 35B-A3B, при этом более крупная модель покупает запас знаний и рассуждений на GPQA, GSM8K, CRUXEval и MMLU, которого нет у малых моделей. Если ваша задача узкая, а метки фиксированы, decider-2b — более дешёвая машина. Если вашей задаче нужно, чтобы модель знала вещи, вы платите за смесь.

Где OrcaRouter подходит — а где нет

Ни Laya, ни Decider не являются размещёнными моделями на OrcaRouter. Вы скачиваете веса и запускаете их сами, и ничто здесь этого не меняет. А что меняется — так это другая половина схемы. Типизированная модель принятия решений почти никогда не является всем приложением: что-то должно прочитать тикет, резюмировать ветку обсуждения или подготовить черновик ответа, который контролируется решением. Эта половина — генеративный вызов, и именно для неё создан OrcaRouter — более 200 моделей за одним ключом, совместимым с OpenAI, по цене из прайс-листа провайдера, передаваемой с наценкой 0%, так что снижение цены поставщиком отражается в вашем счёте в тот же день, а не при следующем продлении контракта. Если вы дообучаете чекпоинт Laya на выходных данных передовой модели или маршрутизируете между decider-2b для триажа и большой моделью для сложных 4%, оставление генеративной стороны на одном эндпоинте означает, что стороне принятия решений и стороне генерации не нужны два контракта и два SDK. Автоматическое переключение при сбое покрывает случай, когда именно большая модель оказывается той частью, которая выходит из строя.

Какой выбрать?

Выбирайте Laya, если ваши входные данные многоязычны, меток мало, бюджет задержки составляет десятки миллисекунд на скромном оборудовании, и вы готовы к дообучению — потому что вам придётся. Выбирайте Decider, если ваши входные данные на английском, вам нужно, чтобы модель привнесла в решение некоторые знания о мире, и вы предпочли бы выбрать размер модели, а не запускать конвейер обучения. Если в наборах вариантов больше двадцати меток, прочитайте показатель Banking77 у Laya, прежде чем сделать выбор; если ваши входные данные — длинные JSON-документы, к которым вы обращаетесь по позиции, прочитайте указанное ограничение Decider, прежде чем сделать выбор.

Сравнение, которое действительно позволило бы разрешить этот вопрос — обе модели на побайтово идентичных входных данных, одни и те же промпты, одинаковый порядок вариантов, одинаковый перебор порогов — пока не существует. Пока его нет, честная позиция заключается в том, что у Laya лучше кривая затрат, а у Decider лучше доказательства калибровки, и что оба проекта находятся настолько ранней стадии, что оценка, которую вы построите на собственных данных, будет ценнее, чем опубликованные цифры любого из этих проектов.