Сгенерированная титульная карточка с заголовком «Karpo Decision 31B против Kev 27B» и подзаголовком «Один и тот же рейтинг, разрыв в четырнадцать пунктов — а у проигравшего калибровка лучше», четыре чипа с текстом «Karpo 73.9 Full», «Kev 59.6 Full», «ошибка калибровки 4,8 против 2,18» и «идентичные приватные тесты», а также две обведённые карточки с подписями «Kev 27B» и «Karpo Decision 31B», соединённые линией с надписью «обе оценены по Decision Index».
Guides & Insights

Karpo Decision 31B против Kev 27B: модель с лучшей документацией проигрывает 14 баллов

Автор

Elias Hawthorne

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

Это редкий случай сопоставления, когда обе модели оценивались на одном и том же инструменте одними и теми же людьми. Karpo Decision 31B и Kev 27B оба присутствуют в Decision Index — общественном рейтинге, который оценивает открытые воспроизведения Jev от TypeSafe, — и разрыв между ними немаленький: 73,9 Full у модели MachinePulse против 59,6 у Kev 27B Джареда Палмера, разница в четырнадцать пунктов на идентичных закрытых тестах. Karpo возглавляет рейтинг. Kev занимает 74-е место из 307.

Этот результат неудобен, потому что Kev 27B с большим отрывом является более строго задокументированной моделью, а по тому единственному свойству, ради которого модель принятия решений, собственно, и выбирают — честности её вероятностей, — она измеримо лучше модели, которая её превосходит. Оба этих утверждения опираются на одни и те же два источника, и понимание того, почему они не противоречат друг другу, — самое полезное в этом сравнении.

Что представляет собой каждая модель, перед оценками

Kev 27B — это полный файнтюн всех весов Qwen3.8-27B, опубликованный Jared Palmer под лицензией Apache-2.0. Его вторая версия, выпущенная 30 сентября 2026 года, представляет собой взвешенное среднее: каждый тензор бэкбона равен 0,85 × вес файнтюна плюс 0,15 × вес предыдущей версии, при этом головка указателя сохранена из нового прогона. Сервируемый чекпойнт содержит 25,6 млрд параметров в бэкбоне плюс головку с 2,6 млн параметров, 51,3 ГБ в bf16, с единственной калибровочной температурой 1,32, встроенной в файл головки. Состояния доходят до 65 536 токенов, при этом на каждый вопрос приходится не менее 8 192, и эта цифра подтверждена, а не номинальна — карточка публикует парную разницу точности в каждом диапазоне от 8k до 64k относительно базовой линии 8k, с доверительными интервалами.

Karpo Decision 31B — это дообученная версия Gemma 4 31B с инструкционной настройкой, опубликованная MachinePulse 5 ноября 2026 года и также распространяемая под Apache-2.0. В ней сохранены 31,3 млрд параметров в bf16 плюс выходной слой 255 × 5 376 в fp32 — 62,5 ГБ на диске; ответы формируются через линейную голову по кодам вариантов, а не через голову-указатель по токенам. Контекст — 32 768 токенов на последовательность; при переполнении запроса он разбивается по вопросам, а если один вопрос не помещается, выдаётся прямой отказ, а не усечение.

Та же задача — другой инженерный подход. Kev читает длинный документ и строит распределение. Karpo читает несколько более короткий и строит распределение — быстрее.

14 пунктов и то, что их породило

A generated two-column scoreboard titled 'Karpo Decision 31B vs Kev 27B — the scoreboard'. The Karpo column reads 'Full score: 73.9', 'Rank: first of 307, tied', 'Calibration error: 4.77 points', 'Context: 32,768 tokens', 'Latency: 94 ms median' and 'Licence: Apache-2.0'; the Kev column reads 'Full score: 59.6', 'Rank: 74th of 307', 'Calibration error: 2.18 points', 'Context: 65,536 tokens', 'Latency: 135 ms median' and 'Licence: Apache-2.0'. The footer reads 'Scores and calibration per the Decision Index; latency per each model card, hardware not identical.'

Обе строки взяты с одной и той же платы, поэтому этот раздел — одно из немногих мест, где прямое вычитание является допустимым.

• Итоговый счёт — Karpo 73,9, Kev 59,6.

• Публичный индекс — Karpo 75.05, Kev 56.69.

• Рейтинг по полному баллу — Karpo на 1-м месте (делит его с GLiDE 27B с результатом 73,4), Kev — 74-й из 307.

• Знания и рассуждения — Karpo: 65,5 (показатель с поправкой на случайный выбор), Kev: 45,7.

• Инструменты и автоматизация — Karpo 88.4, Kev 72.7.

• Искусство и человеческий вкус — Карпо 68.2, Кев 42.7.

• Медианная задержка, один GPU, один запрос за раз — Karpo 94 мс, Kev 135 мс.

Структура отставания одинакова во всех категориях, а наибольший абсолютный разрыв приходится на знания — почти двадцать пунктов. Именно это должно беспокоить всех, кто планирует использовать Kev для принятия решений по документам: модель интенсивно обучали на работе с документами и инструментами для разработчиков — 24 000 из 145 840 записей её обучающих данных происходят из лицензированных семейств задач, ещё 7 617 — это собранные длинные документы — и всё равно она достигает лишь двух третей от уровня знаний Karpo.

Собственная карточка Kev откровенно говорит о направлении развития. При измерении на собственном наборе тестов на широту против Jev от TypeSafe она сообщает индекс 52,3 с доверительным интервалом [49,2; 55,4] против 54,0 [51,2; 57,0] у Jev — поражение, которое она прямо признаёт и не приукрашивает. Команда, публикующая свой собственный проигрышный интервал, — это команда, чьи другие цифры заслуживают презумпции добросовестности. Именно это делает 59,6 правдоподобным, а не неловким.

Число, которое идёт в обратном направлении

А вот и поворот. Ошибка калибровки — насколько заявленная вероятность расходится с наблюдаемой частотой попаданий — говорит в пользу Кева, и отнюдь не с минимальным перевесом.

Трекер фиксирует ожидаемую ошибку калибровки в 2,18 пункта для Kev 27B против 4,77 для Karpo Decision 31B. Проще говоря: когда Kev говорит 0,8, он прав примерно в 80% случаев, а средний промах составляет около двух пунктов. Когда Karpo говорит 0,8, средний промах ближе к пяти пунктам. Карточка Kev подтверждает это со своей стороны, публикуя показатели ECE по панелям в диапазоне от 0,014 до 0,053 и пятикратную кросс-валидацию, которая снижает ошибку подгонки с 4,8% до 3,8%.

Итак, модель, которая хуже отвечает, лучше понимает, насколько хороши её ответы. Это не парадокс, это различие между точностью и калибровкой, и оно определяет, какая модель где должна использоваться:

• Если решение автоматизируется по порогу, то калибровка — определяющее свойство. Порог 0,9, срабатывающий на ответах Karpo с оценкой 0,9, будет ошибаться примерно вдвое чаще, чем тот же порог на ответах Kev. Более низкая точность Kev снижает вашу пропускную способность — больше случаев оказываются ниже порога и уходят на проверку, — а его лучшая калибровка означает, что прошедшие порог случаи безопаснее.

• Если решение проверяется или оценивается, точность доминирует. Человек или последующий процесс видит лучший ответ и вероятность, и четырнадцать пунктов точности — это четырнадцать пунктов правильно выполненной работы. Преимущество Кева в калибровке ничего не даёт, когда никто не применяет порог.

A capture of the community Decision Index leaderboard, headed with the multimodalart jev-decision-index attribution, listing Karpo Decision 31B at 73.86 in first place ahead of GLiDE 27B at 73.37, REAX 1.3 at 72.64, Logits Sigma-1 Duo at 72.28, Copernicus-31B at 72.11, KnowLine 31B Gen1.5 at 71.91, Copernicus-57B at 71.8, FlexDM-LoRA 2.1 at 71.66, Sieve 31B v3 at 71.10, OneJev1.6g-31B at 70.86 and Turion Jev 31B at 70.47.

Обе модели предоставляют одни и те же три типа вопросов — choice с максимум 255 вариантами, noul для true/false, score для упорядоченной рубрики — и обе открывают HTTP-эндпоинт в форме System One, так что выбор обратим в коде. И это хорошая новость: вы можете проверить это на собственных данных за полдня, а не спорить об этом.

Именно в длине документа спецификации действительно расходятся.

Потолок Karpo в 32 768 токенов действует на одну последовательность, а правило разделения — «по вопросу, причём каждая часть несёт полное состояние». Для ста вопросов в контракте на 20 тыс. токенов это один проход и никаких проблем. Для одного вопроса в контракте на 40 тыс. токенов запрос отклоняется — девять из 140 178 запросов в собственном прогоне MachinePulse завершились неудачей именно так.

Kev работает с состояниями длиной 65 536 токенов, валидируемыми по корзинам, а его панель длинных документов — самое полезное на карточке для всех, кто имеет дело с реальными договорами. На коммерческих соглашениях CUAD он показывает точность 0,874 по 2 194 вопросам, при этом показатели по корзинам держатся в диапазоне от 0,867 до 0,880 — от менее 8 тыс. и вплоть до 32–64 тыс. токенов. Точность не падает с ростом длины. Меняется калибровка: ошибка на этой панели длинных документов составляет 0,053, что примерно втрое больше показателя для коротких документов. Именно на длинных состояниях уверенность Kev ослабевает.

Итак, честный компромисс по длине: Kev возьмёт документ, от которого Karpo откажется, и ответит по нему чуть менее надёжно, чем по короткому. Ни одна из моделей не станет молча обрезать текст, а это важнее обоих чисел — модель для принятия решений, которая тихо опускает пункт, о котором вы спросили, хуже той, что говорит «нет».

Развёртывание, веса и лицензия имеют общее

Обе модели используют Apache-2.0 для весов и головы, обе требуют собственного загрузчика и обе сильно сбоят, если обращаться с ними как с чат-моделями. Kev нужен GPU класса 80 ГБ — состояние при 64k токенах достигало пика в 87,1 ГБ на H200 — либо Mac примерно со 96 ГБ. Karpo нужен GPU, вмещающий 62,5 ГБ bf16-весов. Ни у одной нет хостируемой конечной точки от издателя; Kev обслуживается сервером из собственного репозитория, Karpo — собственным пакетом. Для обеих появились квантованные версии от сообщества — обычный сигнал того, что люди действительно запускают их, а не только читают о них.

Разница в 135 мс против 94 мс приходится на один запрос на неидентичном оборудовании, поэтому рассматривайте её как ориентировочную. Что не является ориентировочным, так это операционная структура: некаузальное внимание Kev по всей последовательности обходится дороже в расчёте на токен по мере удлинения состояний, тогда как Karpo вычисляет одно общее состояние на запрос и ответвляет от него вопросы. Если ваша нагрузка — это множество вопросов по короткому состоянию, Karpo создан именно для этого. Если это один вопрос по длинному документу — Kev.

Какой запустить?

Выбирайте Kev 27B, если вам нужно передать модели договор на 64 тыс. токенов, если вы хотите задавать порог по вероятности и вам важно, чтобы этот порог означал именно то, что заявлено, а также если вы цените поставщика, который публикует доверительные интервалы по своим собственным потерям. Вы соглашаетесь примерно на четырнадцать пунктов точности на лидерборде, где соревновались обе модели, и получаете лучшие в отрасли доказательства того, что эта точность покрывает, а что нет.

Выбирайте Karpo Decision 31B, если состояние — это скриншот, тикет или страница — короткое, со множеством вопросов, чувствительное к задержке — и если оценка Full в таблице лидеров — это доказательство, на которое вы ориентируетесь. Вы соглашаетесь на ошибку калибровки в пять пунктов и потолок 32k, а взамен получаете текущего лидера на 94 мс.

Ни то, ни другое не даёт вам продакшен-эндпоинт. Если слой принятия решений должен находиться за шлюзом, который срабатывает перед каждым вызовом инструмента, вам придётся либо самостоятельно запускать один из них, либо обращаться к хостируемому решению. Jev 1.14 от TypeSafe есть в нашем каталоге именно для этой роли, и это модель, которую оба чекпоинта создавались догонять — полезная в качестве контроля в теневом тесте, поскольку открытое воспроизведение, которое превосходит свою целевую модель на стороннем лидерборде, должно превосходить её и на вашем трафике. В каталоге также представлены обе базовые модели, Gemma 4 31B и Qwen3.8-27B, через один API для 200+ моделей по прайс-листовой цене провайдера без наценки, что является самым дешёвым способом выяснить, стоит ли вообще владеть слоем принятия решений, прежде чем покупать GPU.

Открытый вопрос, который оставляет это противостояние, — тот, на который не может ответить совет: выдержит ли преимущество Karpo в четырнадцать пунктов столкновение с реальной рабочей нагрузкой или же это такое преимущество, которое возникает из-за настройки на распределении, более близком к приватному тестовому набору, чем у конкурента. Карточка Kev документирует состав его обучающих данных вплоть до количества записей; карточка Karpo — нет. Эта асимметрия ничего не доказывает, и именно поэтому нужно измерять, а не доверять ни одному из этих чисел.

A capture of the Hugging Face model card for jaredpalmer/kev-27b showing the Text Classification tag, the qwen3.8 and typesafe tags, the apache-2.0 licence, the summary describing a decision model that returns a calibrated probability distribution in a single forward pass over documents of up to 64k tokens, 'a full-weight fine-tune of Qwen3.8-27B averaged with version 1', the model-details block listing a Qwen3.8-27B backbone of 64 layers with 48 Gated DeltaNet and 16 full-attention layers, 25.6B backbone parameters plus 2.6M in the head, bf16 precision in a 51.3 GB checkpoint, and states of up to 65,536 tokens.
© 2026 OrcaRouter