
Karpo Decision 31B против Kev 27B: модель с лучшей документацией проигрывает 14 баллов
- OrcaНОВИНКАOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 за 1 млн токенов · 184 tok/s
- tencentНОВИНКАTencent: Hy4 Flash2026-11-16$0.02 / $0.07 за 1 млн токенов · 223 tok/s
- GoogleНОВИНКАGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 за 1 млн токенов · 87 tok/s
- AnthropicНОВИНКАAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 за 1 млн токенов · 96 tok/s
- orcaНОВИНКАOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 за 1 млн токенов · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 за 1 млн токенов · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 за 1 млн токенов · 77 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 за 1 млн токенов · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 за 1 млн токенов · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 за 1 млн токенов · 69 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 за 1 млн токенов · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 за 1 млн токенов · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Интеллект
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 за 1 млн токенов · 209 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Интеллект
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 за 1 млн токенов · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Интеллект
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 за 1 млн токенов · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Интеллект
Это редкий случай сопоставления, когда обе модели оценивались на одном и том же инструменте одними и теми же людьми. Karpo Decision 31B и Kev 27B оба присутствуют в Decision Index — общественном рейтинге, который оценивает открытые воспроизведения Jev от TypeSafe, — и разрыв между ними немаленький: 73,9 Full у модели MachinePulse против 59,6 у Kev 27B Джареда Палмера, разница в четырнадцать пунктов на идентичных закрытых тестах. Karpo возглавляет рейтинг. Kev занимает 74-е место из 307.
Этот результат неудобен, потому что Kev 27B с большим отрывом является более строго задокументированной моделью, а по тому единственному свойству, ради которого модель принятия решений, собственно, и выбирают — честности её вероятностей, — она измеримо лучше модели, которая её превосходит. Оба этих утверждения опираются на одни и те же два источника, и понимание того, почему они не противоречат друг другу, — самое полезное в этом сравнении.
Что представляет собой каждая модель, перед оценками
Kev 27B — это полный файнтюн всех весов Qwen3.8-27B, опубликованный Jared Palmer под лицензией Apache-2.0. Его вторая версия, выпущенная 30 сентября 2026 года, представляет собой взвешенное среднее: каждый тензор бэкбона равен 0,85 × вес файнтюна плюс 0,15 × вес предыдущей версии, при этом головка указателя сохранена из нового прогона. Сервируемый чекпойнт содержит 25,6 млрд параметров в бэкбоне плюс головку с 2,6 млн параметров, 51,3 ГБ в bf16, с единственной калибровочной температурой 1,32, встроенной в файл головки. Состояния доходят до 65 536 токенов, при этом на каждый вопрос приходится не менее 8 192, и эта цифра подтверждена, а не номинальна — карточка публикует парную разницу точности в каждом диапазоне от 8k до 64k относительно базовой линии 8k, с доверительными интервалами.
Karpo Decision 31B — это дообученная версия Gemma 4 31B с инструкционной настройкой, опубликованная MachinePulse 5 ноября 2026 года и также распространяемая под Apache-2.0. В ней сохранены 31,3 млрд параметров в bf16 плюс выходной слой 255 × 5 376 в fp32 — 62,5 ГБ на диске; ответы формируются через линейную голову по кодам вариантов, а не через голову-указатель по токенам. Контекст — 32 768 токенов на последовательность; при переполнении запроса он разбивается по вопросам, а если один вопрос не помещается, выдаётся прямой отказ, а не усечение.
Та же задача — другой инженерный подход. Kev читает длинный документ и строит распределение. Karpo читает несколько более короткий и строит распределение — быстрее.
14 пунктов и то, что их породило

Обе строки взяты с одной и той же платы, поэтому этот раздел — одно из немногих мест, где прямое вычитание является допустимым.
• Итоговый счёт — Karpo 73,9, Kev 59,6.
• Публичный индекс — Karpo 75.05, Kev 56.69.
• Рейтинг по полному баллу — Karpo на 1-м месте (делит его с GLiDE 27B с результатом 73,4), Kev — 74-й из 307.
• Знания и рассуждения — Karpo: 65,5 (показатель с поправкой на случайный выбор), Kev: 45,7.
• Инструменты и автоматизация — Karpo 88.4, Kev 72.7.
• Искусство и человеческий вкус — Карпо 68.2, Кев 42.7.
• Медианная задержка, один GPU, один запрос за раз — Karpo 94 мс, Kev 135 мс.
Структура отставания одинакова во всех категориях, а наибольший абсолютный разрыв приходится на знания — почти двадцать пунктов. Именно это должно беспокоить всех, кто планирует использовать Kev для принятия решений по документам: модель интенсивно обучали на работе с документами и инструментами для разработчиков — 24 000 из 145 840 записей её обучающих данных происходят из лицензированных семейств задач, ещё 7 617 — это собранные длинные документы — и всё равно она достигает лишь двух третей от уровня знаний Karpo.
Собственная карточка Kev откровенно говорит о направлении развития. При измерении на собственном наборе тестов на широту против Jev от TypeSafe она сообщает индекс 52,3 с доверительным интервалом [49,2; 55,4] против 54,0 [51,2; 57,0] у Jev — поражение, которое она прямо признаёт и не приукрашивает. Команда, публикующая свой собственный проигрышный интервал, — это команда, чьи другие цифры заслуживают презумпции добросовестности. Именно это делает 59,6 правдоподобным, а не неловким.
Число, которое идёт в обратном направлении
А вот и поворот. Ошибка калибровки — насколько заявленная вероятность расходится с наблюдаемой частотой попаданий — говорит в пользу Кева, и отнюдь не с минимальным перевесом.
Трекер фиксирует ожидаемую ошибку калибровки в 2,18 пункта для Kev 27B против 4,77 для Karpo Decision 31B. Проще говоря: когда Kev говорит 0,8, он прав примерно в 80% случаев, а средний промах составляет около двух пунктов. Когда Karpo говорит 0,8, средний промах ближе к пяти пунктам. Карточка Kev подтверждает это со своей стороны, публикуя показатели ECE по панелям в диапазоне от 0,014 до 0,053 и пятикратную кросс-валидацию, которая снижает ошибку подгонки с 4,8% до 3,8%.
Итак, модель, которая хуже отвечает, лучше понимает, насколько хороши её ответы. Это не парадокс, это различие между точностью и калибровкой, и оно определяет, какая модель где должна использоваться:
• Если решение автоматизируется по порогу, то калибровка — определяющее свойство. Порог 0,9, срабатывающий на ответах Karpo с оценкой 0,9, будет ошибаться примерно вдвое чаще, чем тот же порог на ответах Kev. Более низкая точность Kev снижает вашу пропускную способность — больше случаев оказываются ниже порога и уходят на проверку, — а его лучшая калибровка означает, что прошедшие порог случаи безопаснее.
• Если решение проверяется или оценивается, точность доминирует. Человек или последующий процесс видит лучший ответ и вероятность, и четырнадцать пунктов точности — это четырнадцать пунктов правильно выполненной работы. Преимущество Кева в калибровке ничего не даёт, когда никто не применяет порог.

Обе модели предоставляют одни и те же три типа вопросов — choice с максимум 255 вариантами, noul для true/false, score для упорядоченной рубрики — и обе открывают HTTP-эндпоинт в форме System One, так что выбор обратим в коде. И это хорошая новость: вы можете проверить это на собственных данных за полдня, а не спорить об этом.
Именно в длине документа спецификации действительно расходятся.
Потолок Karpo в 32 768 токенов действует на одну последовательность, а правило разделения — «по вопросу, причём каждая часть несёт полное состояние». Для ста вопросов в контракте на 20 тыс. токенов это один проход и никаких проблем. Для одного вопроса в контракте на 40 тыс. токенов запрос отклоняется — девять из 140 178 запросов в собственном прогоне MachinePulse завершились неудачей именно так.
Kev работает с состояниями длиной 65 536 токенов, валидируемыми по корзинам, а его панель длинных документов — самое полезное на карточке для всех, кто имеет дело с реальными договорами. На коммерческих соглашениях CUAD он показывает точность 0,874 по 2 194 вопросам, при этом показатели по корзинам держатся в диапазоне от 0,867 до 0,880 — от менее 8 тыс. и вплоть до 32–64 тыс. токенов. Точность не падает с ростом длины. Меняется калибровка: ошибка на этой панели длинных документов составляет 0,053, что примерно втрое больше показателя для коротких документов. Именно на длинных состояниях уверенность Kev ослабевает.
Итак, честный компромисс по длине: Kev возьмёт документ, от которого Karpo откажется, и ответит по нему чуть менее надёжно, чем по короткому. Ни одна из моделей не станет молча обрезать текст, а это важнее обоих чисел — модель для принятия решений, которая тихо опускает пункт, о котором вы спросили, хуже той, что говорит «нет».
Развёртывание, веса и лицензия имеют общее
Обе модели используют Apache-2.0 для весов и головы, обе требуют собственного загрузчика и обе сильно сбоят, если обращаться с ними как с чат-моделями. Kev нужен GPU класса 80 ГБ — состояние при 64k токенах достигало пика в 87,1 ГБ на H200 — либо Mac примерно со 96 ГБ. Karpo нужен GPU, вмещающий 62,5 ГБ bf16-весов. Ни у одной нет хостируемой конечной точки от издателя; Kev обслуживается сервером из собственного репозитория, Karpo — собственным пакетом. Для обеих появились квантованные версии от сообщества — обычный сигнал того, что люди действительно запускают их, а не только читают о них.
Разница в 135 мс против 94 мс приходится на один запрос на неидентичном оборудовании, поэтому рассматривайте её как ориентировочную. Что не является ориентировочным, так это операционная структура: некаузальное внимание Kev по всей последовательности обходится дороже в расчёте на токен по мере удлинения состояний, тогда как Karpo вычисляет одно общее состояние на запрос и ответвляет от него вопросы. Если ваша нагрузка — это множество вопросов по короткому состоянию, Karpo создан именно для этого. Если это один вопрос по длинному документу — Kev.
Какой запустить?
Выбирайте Kev 27B, если вам нужно передать модели договор на 64 тыс. токенов, если вы хотите задавать порог по вероятности и вам важно, чтобы этот порог означал именно то, что заявлено, а также если вы цените поставщика, который публикует доверительные интервалы по своим собственным потерям. Вы соглашаетесь примерно на четырнадцать пунктов точности на лидерборде, где соревновались обе модели, и получаете лучшие в отрасли доказательства того, что эта точность покрывает, а что нет.
Выбирайте Karpo Decision 31B, если состояние — это скриншот, тикет или страница — короткое, со множеством вопросов, чувствительное к задержке — и если оценка Full в таблице лидеров — это доказательство, на которое вы ориентируетесь. Вы соглашаетесь на ошибку калибровки в пять пунктов и потолок 32k, а взамен получаете текущего лидера на 94 мс.
Ни то, ни другое не даёт вам продакшен-эндпоинт. Если слой принятия решений должен находиться за шлюзом, который срабатывает перед каждым вызовом инструмента, вам придётся либо самостоятельно запускать один из них, либо обращаться к хостируемому решению. Jev 1.14 от TypeSafe есть в нашем каталоге именно для этой роли, и это модель, которую оба чекпоинта создавались догонять — полезная в качестве контроля в теневом тесте, поскольку открытое воспроизведение, которое превосходит свою целевую модель на стороннем лидерборде, должно превосходить её и на вашем трафике. В каталоге также представлены обе базовые модели, Gemma 4 31B и Qwen3.8-27B, через один API для 200+ моделей по прайс-листовой цене провайдера без наценки, что является самым дешёвым способом выяснить, стоит ли вообще владеть слоем принятия решений, прежде чем покупать GPU.
Открытый вопрос, который оставляет это противостояние, — тот, на который не может ответить совет: выдержит ли преимущество Karpo в четырнадцать пунктов столкновение с реальной рабочей нагрузкой или же это такое преимущество, которое возникает из-за настройки на распределении, более близком к приватному тестовому набору, чем у конкурента. Карточка Kev документирует состав его обучающих данных вплоть до количества записей; карточка Karpo — нет. Эта асимметрия ничего не доказывает, и именно поэтому нужно измерять, а не доверять ни одному из этих чисел.

