
Karpo Decision 31B против Laya: 31B-лидер против 421M-энкодера, который можно запустить на ноутбуке
- OrcaНОВИНКАOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 за 1 млн токенов · 184 tok/s
- tencentНОВИНКАTencent: Hy4 Flash2026-11-16$0.02 / $0.07 за 1 млн токенов · 223 tok/s
- GoogleНОВИНКАGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 за 1 млн токенов · 87 tok/s
- AnthropicНОВИНКАAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 за 1 млн токенов · 96 tok/s
- orcaНОВИНКАOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 за 1 млн токенов · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 за 1 млн токенов · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 за 1 млн токенов · 77 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 за 1 млн токенов · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 за 1 млн токенов · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 за 1 млн токенов · 69 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 за 1 млн токенов · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 за 1 млн токенов · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Интеллект
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 за 1 млн токенов · 209 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Интеллект
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 за 1 млн токенов · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Интеллект
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 за 1 млн токенов · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Интеллект
Поставьте Karpo Decision 31B рядом с Laya — и первая честная реакция будет такой: кто-то ошибся с единицами измерения. Karpo — это дообученная версия Gemma 4 с 31,3 млрд параметров, которой требуется 62,5 ГБ весов и GPU дата-центра. Laya — это энкодер ModernBERT с 421 млн параметров от Convai Innovations, Apache-2.0, размером 808 МБ на диске, который работает на ноутбуке и возвращает результат примерно за 33 миллисекунды. В Decision Index — рейтинге сообщества, где представлены оба, — разрыв по Full score составляет 73,9 против 9,2 — самый большой разброс во всей этой подборке сравнений.
И всё же Laya — это модель, которая поставляется с поддерживаемым pip-пакетом, MCP-сервером, сборками ONNX и Core ML, а также с путём дообучения, для которого документирован скачок точности с 0.362 до 0.766 на реальном наборе рабочих процессов. Karpo — это README и репозиторий. Интересный вопрос заключается не в том, какая модель лучше. А в том, для чего на самом деле нужна каждая из них, потому что разрыв в показателях и разрыв в удобстве использования указывают в противоположные стороны, и в каждый момент времени значение имеет только один из них.
Что означают эти два числа и почему сравнение заведомо асимметрично
Оценка Laya 9.21 Full на трекере — это скорректированный на случайность показатель навыка, а её сырая точность на том же наборе составляет 37,7% при покрытии 0,76 — то есть примерно четверть запросов набора так и осталась без ответа. Трекер фиксирует причину: 320 запросов помечены как неподдерживаемые, преимущественно потому что инструкция превышала собственный лимит Laya, и модель отказывается, а не усекает. На наборе, созданном для моделей, принимающих состояние в 32 тыс. токенов, энкодер на 512 токенов не конкурирует, а работает по умолчанию.
Karpo отвечает на тот же набор тестов с покрытием 99,87% и сырой точностью 83,2%. Девять запросов были отклонены — все из-за того, что вопрос вместе с его состоянием превышал 32 768 токенов.
Итак, прямое сравнение оценок говорит о том, что модель, предназначенная для короткой классификации в окне на 512 токенов, плохо показывает себя на бенчмарке, созданном для моделей принятия решений по длинным документам. Это не критика Laya; это утверждение о наборе тестов. Полезно сравнивать результаты по задачам, и в карточке Laya такое сравнение есть: на классификации интентов MASSIVE она набирает 0,783 для английского и 0,860 на XNLI — на входных данных, которые помещаются в её окно. У Karpo нет эквивалентного опубликованного числа для короткой задачи с одной классификацией, потому что в её карточке вообще не публикуются результаты на уровне задач.
Характеристики и что каждая из них означает

• Параметры — Karpo 31,3B плюс считывающий слой 255 × 5,376, 62,5 ГБ в bf16; Laya 421M, скачано около 808 МБ.
• Архитектура — каузальная основа языковой модели, запускаемая только в режиме prefill с линейным считыванием, в сравнении с двунаправленным энкодером, который оценивает каждый вариант по его собственному [MASK] токену.
• Контекст — Karpo: 32 768 токенов на последовательность, разделяемых по вопросам с повторением состояния; Laya: 512 токенов всего в поставляемой конфигурации, из которых 192 зарезервированы под подсказку варианта, что оставляет примерно 320 для состояния.
• Мультимодальность — Karpo читает изображения и текст; Laya читает только текст. В английском чекпоинте нет визуального пути.
• Латентность — Karpo: медиана 94 мс на эталонном GPU; Laya: 39,5 мс измерено на своей карте, а трекер фиксирует медиану 5,8 мс на своём оборудовании.
• Лицензия — Apache-2.0 для обоих: весов и кода, без ограничений на использование.
• Хостинг — ни один из них не размещён на хостинговом эндпоинте от своего издателя. Laya не требует ничего, кроме pip install laya.
Строка контекста — это всё решение. 320 доступных токенов для состояния — это заявка в поддержку, письмо, сообщение в чате, название товара, строка лога. Это не счёт с позициями и не сорокастраничная политика. Если ваше состояние длиннее одного абзаца, Laya нельзя задать этот вопрос — не то чтобы плохо или медленно, а вообще никак.
Где небольшая модель — действительно правильный ответ
Есть класс решений, для которых Karpo абсурден, и дизайн Laya нацелен прямо на него. Представьте агента, которому на каждом шаге нужно получить «да/нет» на вопрос, похоже ли, что результат инструмента удовлетворяет намерению, или к какому из шести источников извлечения должен идти запрос, или содержит ли сообщение пользователя сигнал оттока. Это вопросы масштаба микросекунд по одному предложению контекста, и в одном разговоре их может быть пятьдесят.
При 94 мс и модели объёмом 62,5 ГБ, постоянно находящейся в памяти, пятьдесят вызовов — это почти пять секунд работы GPU на один диалог, на оборудовании, которое стоит дороже, чем может оправдать трафик. При медиане 5,8 мс с моделью на 800 МБ, которая работает на той же машине, что и ваше приложение, те же пятьдесят вызовов обходятся в треть секунды и не создают отдельной статьи расходов на дата-центр. Это не маргинальная разница в цикле по шагам; это разница между функцией, которая доходит до релиза, и той, которая не доходит.
Карточка Laya также честно документирует режимы отказа, что ценнее, чем безупречный лист спецификаций. Англоязычный чекпойнт разваливается на нелатинских письменностях — кхмерский с точностью 0.000 при заявленной уверенности 0.952 — и это ровно тот отказ «уверенно, но неверно», которого не должно быть у слоя принятия решений. Поставляемый Router определяет письменность менее чем за полмиллисекунды на чистом Python и направляет запрос в многоязычный чекпойнт до прямого прохода. Вопросы с высокой кардинальностью тоже деградируют: 77 вариантов в бюджете 256 токенов дают каждому ярлыку три-четыре токена, и точность Banking77 падает до 0.425 против 0.870 у Jev. Карточка советует увеличить бюджет головы, а не делать вид, что настройки по умолчанию работают.

Такое сочетание — небольшая модель с опубликованными режимами отказов и задокументированным исправлением для каждого из них — более полезно с операционной точки зрения, чем более высокий балл без разбивки на уровне задач.
Где модель 31B оправдывает свои 62 ГБ
Преимущества Karpo — это преимущества наличия настоящей языковой модели внутри. Он читает скриншот. Он удерживает документ политики и карточку клиента в одном и том же состоянии на 32 768 токенов и отвечает на сотню вопросов об обоих за один проход, поскольку состояние вычисляется один раз, а каждый вопрос ответвляется от общего блока, не видя вариантов других. Он справляется с выбором из 255 вариантов без нехватки токенов, так как модуль считывания оценивает коды, а не встраивает текст вариантов в фиксированный бюджет.
Профиль категории подтверждает это так, что напрямую соотносится с тем, что даёт вам большая модель. Показатель Karpo по знаниям и рассуждениям — 65,5 против 2,9 у Laya; это число в основном отражает вопросы на знания с длинным контекстом из набора тестов, которые Laya задать нельзя. Его показатель по инструментам и автоматизации — 88,4 против 5,8. Это не тонкие различия между двумя сопоставимыми моделями; это два разных класса инструментов.
Чего у Karpo нет, так это операционной обвязки. Ни экспорта в ONNX, ни сборки Core ML, ни сервера MCP, ни устанавливаемого через pip агента, которому можно дать описание рабочего процесса и дообучить за полдня. Сообщество уже начало квантовать её — IQ3_M GGUF и сборка NVFP4 появились в течение двух недель — но на момент написания этого текста нет ни официального пути для запуска с малым объёмом, ни цены.
Разрыв в дообучении, который определяет больше внедрений, чем таблица лидеров.
Самое важное число в карточке Laya — вовсе не оценка бенчмарка. Это 0,766 против 0,362: точность дообученного чекпоинта против базовой английской модели на 2 000 решениях в четырёх рабочих процессах. Дообучение более чем вдвое повысило точность на тех задачах, которые действительно важны.
Вот аргумент в пользу модели на 421M в одной строке. Маленькая модель, которую можно переобучить на собственных размеченных решениях за час, побьёт модель на 31B, которую вы вообще не можете переобучить, на вашем трафике, с вашей схемой. 73,9 у Karpo — это среднее по закрытому набору; ваше распределение — не этот набор. Базовая оценка Laya 0,362 — тоже среднее по чужим решениям, и обе модели сдвинутся, когда данные станут вашими, — но только у одной из них есть задокументированный путь к такому сдвигу.
Karpo — это полный файнтюн 31B-чекпоинта без опубликованного рецепта обучения и без адаптера. Дообучить его в принципе возможно, но это не то, что карточка поддерживает, документирует или предполагает.
Запуск обоих даёт ответ чаще, чем каждый из них по отдельности.
Эти две модели скорее дополняют друг друга, чем заменяют, и разделение чисто механическое. Короткие состояния направляйте в энкодер, а длинные — в 31B. Паттерн Router уже по умолчанию используется в поставке на стороне Laya; на стороне Karpo эквивалент — это проверка размера состояния перед отправкой.
Маршрутизирующий слой оправдывает себя в третьем случае — на уровне между ними. Если ваши состояния лежат в диапазоне от 512 до 32 768 токенов, ни один из этих вариантов не подходит: Laya отказывается, а Karpo — избыточное и дорогое решение. Именно в этом среднем диапазоне имеет смысл обслуживаемая модель принятия решений, и Jev 1.14 есть в нашем каталоге для этой задачи: её можно вызвать по тому же ключу, что и всё остальное. Пороговая политика перед единой точкой маршрутизации — короткое состояние уходит в ваш собственный энкодер, длинное — в обслуживаемую модель, неопределённый результат — в очередь на проверку — требует меньших инженерных усилий, чем эксплуатация чекпоинта объёмом 62,5 ГБ, и выводит замену модели за пределы кода вашего приложения. А в каталоге более 200 моделей, оплачиваемых по прейскуранту провайдера без наценки, есть и Gemma 4 31B — базовая модель, на основе которой дообучали Karpo, а это дешёвый способ проверить, что именно дало дообучение, прежде чем выделять под него GPU.
Если нужно ограничиться одной рекомендацией: начните с Laya. Она ничего не стоит, устанавливается за минуту, и для коротких, высокочастотных решений, которые агент принимает на каждом шаге, это правильный инструмент — не компромисс. Переходите на Karpo Decision 31B, когда состояние перестаёт помещаться в абзац, и примите, что тогда вы покупаете GPU, загрузку на 62 ГБ и модель без цены, без анонса и без независимой оценки. Разрыв в 64 пункта в таблице лидеров реален, и он измеряет нечто, что имеет значение только тогда, когда ваш вход достаточно длинный, чтобы в этом возникла необходимость.

