Jev против Kev: дообучение за $95, которое превосходит Jev в работе с тикетами поддержки

Джаред Палмер выпустил Kev 20 сентября 2026 года, через пять дней после того, как TypeSafe AI запустила Jev, и важное число не в таблице бенчмарков. Оно в README: всё вместе стоило около $95 за время H100 на Modal плюс три цента за вызовы Jev API, использованные для генерации оценочных данных. Kev распространяется под Apache-2.0, может размещаться самостоятельно и выпускается в трёх размерах, построенных на открытых базовых весах Qwe​n3.5 — примерно 0,8B, 4B и 9B — с LoRA-адаптером ранга 16 и pointer head, прикреплённой к замороженной базе, а не моделью принятия решений, обученной с нуля. Он в точности повторяет API типизированных решений Jev: Choice, Score и Noul, достаточно близко, чтобы быть совместимым с собственным Python SDK TypeSafe. Jev, в свою очередь, был запущен 15 сентября 2026 года как закрытая hosted-модель System One от TypeSafe AI, возвращает типизированные ответы с калиброванной уверенностью и вообще без текста и никогда не публиковал свою архитектуру, количество параметров, вычислительные затраты на обучение или веса. Таким образом, сравнение на самом деле не является сравнением моделей. Это проверка того, сколько ценности Jev сохраняется после воспроизведения за один день по цене подержанного ноутбука. Ни одна из моделей не нова — Jev 1.13 (typesafe/jev-1.13) — это выпуск от 15 сентября, а Kev последовал через пять дней — но одна вещь в этом сравнении недавно изменилась: 24 сентября 2026 года OrcaRouter добавил Jev 1.13 в свой каталог, так что решающая половина этой пары теперь отвечает по тому же ключу, что и генеративная половина, а не только через собственный endpoint вендора.

Что на самом деле показывают бенчмарки

Главное — Kev подбирается близко, и в одной узкой задаче он побеждает. На закрытом тестовом наборе Kev по новым источникам Kev-9B набрал 0.837 против 0.857 у Jev. В маршрутизации обращений в поддержку по 900 тикетам — набор scienthoon — Kev-9B набрал 0.952 против 0.897 у Jev, и это единственный опубликованный результат, где открытое воспроизведение превосходит модель, которую оно воспроизводит. Kev также немного опережает в некоторых задачах по распознаванию логики. На наборах решений SemiF — структурированном наборе из 144 вопросов — Jev побеждает со счётом 0.965 против 0.917 у Kev-9B.

Там, где Kev проигрывает, он проигрывает с треском. Точность вне домена: Kev-8B — 79,6% против 85,7% у Jev. MMLU: 70% против 90%. MMLU-Pro: 0,515 против 0,840. Арифметика дат с точностью до дня: 60% против 93%. Закономерность последовательная — Kev конкурентоспособен в узкой маршрутизации и классификации, где набор меток невелик и домен фиксирован, но разваливается на всём, что требует знаний о мире или многошаговой арифметики, потому что адаптер ранга 16 на замороженной небольшой базовой модели — не то место, где живут знания о мире.

Каждая из этих цифр взята из собственного стенда Kev или из сторонних трекеров, и README от Palmer прямо говорит, что это не контролируемое сравнение — обучающие данные Jev не раскрываются, поэтому построить его невозможно. В README также указано, что ни одни выходные данные Jev не использовались для обучения. Обе эти оговорки из тех, что повышают доверие к цифрам, а не снижают его: именно тот, кто публикует сравнение, сам говорит вам, чего оно не может доказать.

Что вы получаете за 95 долларов, чего не получите от Jev ни за какие деньги

Сравнение стоимости — это то место, где два продукта вообще перестают быть сопоставимыми. Jev стоит $0,042 за миллион входных токенов, а вывод бесплатный — это тариф из собственного прайс-листа TypeSafe и тот, что указан в нашей карточке модели для typesafe/jev-1.13, — что дёшево настолько, что по цене за вызов это действительно трудно превзойти. Это размещённый API, и собственная главная страница TypeSafe по-прежнему описывает его как находящийся на раннем доступе; это формулировка самого поставщика, и лист ожидания, который раньше за этим стоял, исчез — TypeSafe убрала его 21 сентября 2026 года, а вместо него в документации по модели теперь публикуется сам лимит обслуживания: 100 000 токенов в секунду и 40 запросов в секунду на аккаунт, динамически корректируемые и могут быть изменены без уведомления. Kev — это веса, которые вы скачиваете. Предельная стоимость десятимиллионной классификации — это ваше собственное электричество.

Из этого следуют четыре вещи, и ни одна из них не касается результатов бенчмарков.

• Никакие данные не покидают вашу инфраструктуру. Jev — это хостируемый эндпоинт; каждое состояние, которое вы ему отправляете — обращение в поддержку, строка лога, медицинская карта — уходит в TypeSafe. Kev работает на вашем собственном GPU, что для регулируемых рабочих нагрузок — не предпочтение, а решающий фактор.

• Никаких сторонних лимитов частоты запросов, никакого ограниченного доступа, никакого риска устаревания. Документация самой TypeSafe оставляет за собой право в любое время корректировать эти опубликованные лимиты — и это реальное отличие от контрольной точки на вашем собственном диске. У локальной контрольной точки такого пункта нет.

• Вы можете дообучить его. Kev — это база для специализации, а LoRA-рецепт, с помощью которого он был создан, открыт. Если в вашей таксономии маршрутизации есть 40 классов, которые ни одна универсальная модель не обрабатывает хорошо, вы можете обучить модель на собственных метках — именно так поступил Palmer, потратив десятки долларов, а не целую ML-команду.

• Потолок контекста вы можете изменить по своему усмотрению. Документированный бюджет запросов Jev составляет 64K токенов, из которых 32 000 — это состояние плюс один самый длинный вопрос, а не отдельная квота, а поля Choice ограничены 255 вариантами. Kev наследует окно Qwe​n3.5, которое гораздо больше, а ограничение на число вариантов — это деталь реализации вашего собственного стека обслуживания, а не ограничение поставщика.

Что у Джева всё ещё есть, чего нет у Кева

Утверждение о калибровке — это то, что не переносится без проблем, и это сердце предложения TypeSafe. Jev обучается методом, который TypeSafe называет RLCD — обучение с подкреплением для калиброванных решений — который оптимизирует честность значения уверенности, а не предпочтительность ответа. Каждый ответ Jev сопровождается распределением вероятностей по вариантам, так что ваш код может задавать пороги: действовать автоматически в верхней зоне, помечать в средней, эскалировать в нижней.

Kev выдаёт ту же типизированную структуру и те же вероятностные выходные данные, потому что API намеренно совместим. Являются ли эти вероятности калиброванными — другой вопрос, и честный ответ таков: никто не опубликовал диаграмму надёжности ни для одной из моделей. Отдельный аудит калибровки сообщил, что Jev показал точность 44,7% при ожидаемой ошибке калибровки 0,325 в задаче приоритизации со скрытой политикой, что говорит о том, что калибровка Jev резко варьируется в зависимости от задачи, а не является универсальным свойством, — и сама TypeSafe советует пользователям проверять пороги уверенности на собственных размеченных примерах, а не доверять опубликованному поведению.

Ещё одно, что есть у Jev, — это то, что его не обучали на Qwe​n3.5. У 9B-модели с адаптером ранга 16 есть потолок знаний, и разрыв MMLU-Pro 0,078 против 0,840 — это тот потолок, ставший видимым. Если ваше решение о маршрутизации иногда требует знания того, что это за вещь, нераскрытая архитектура Jev выполняет работу, которую адаптер Kev выполнить не может.

Задержка и схема развёртывания

Задокументированная сквозная задержка Jev составляет 70–500 мс против 3–329 секунд для вызовов передовых LLM в собственном сравнении TypeSafe, и добавление вопросов к вызову почти не влияет на неё, поскольку каждый вопрос оценивается параллельно на одном общем считывании состояния. У этого заявления вендора есть один измеренный аналог, и он наш, а не TypeSafe: за семь дней, в течение которых наша карточка модели для typesafe/jev-1.13 была моделью, с 24 сентября 2026 года медианный запрос занял 151 мс, а 95-й процентиль — 247 мс. Это статистика обслуживания одного маршрута, а не бенчмарк. Kev-9B на H100 будет того же порядка величины для одного прямого прохода, но сравнение не является сопоставимым ни в одну, ни в другую сторону: самостоятельно размещённая 9B на общей GPU под нагрузкой — это не та же задержка, что у хостингового эндпоинта, а хостинговый эндпоинт — не то же самое, что сервер в вашей собственной стойке. Что можно сказать без оговорок, так это то, что оба достаточно быстры для пошагового использования в цикле агента, и что задержка Kev зависит от оборудования, которое вы контролируете, а не от уровня обслуживания, который вам обещан.

Честный взгляд на репродукцию

Сам факт того, что Kev вообще существует, — это свидетельство о Jev, и это стоит назвать. Закрытая модель, поведение которой можно аппроксимировать за пять дней за $95, силами одного человека, на общедоступных базовых весах, кое-что говорит о том, какую долю её преимущества составляет архитектура, а какую — обучающие данные и сервинг. Из этого не следует, что Jev легко построить — API-поверхность легко скопировать, а калибровку — нет. Но это означает, что конкурентный ров — не интерфейс, и любой, кто оценивает Jev для продакшн-пути, должен закладывать в оценку возможность того, что дообучение открытой базовой модели позволит им пройти большую часть пути за малую долю обязательств.

Что также является аргументом против того, чтобы пока строить производственный путь на чём-то одном из них. Если вы оцениваете Jev, разумная позиция — попробовать его, не связывая себя обязательствами, — и с 24 сентября 2026 года это можно сделать на нашем ключе: OrcaRouter предоставляет Jev 1.13 как typesafe/jev-1.13, вызываемый через тот же эндпоинт POST /v1/systemone и с той же формой нестримингового запроса, которую он использует везде, в контексте 65 536 токенов по цене $0.042 за миллион входных токенов, при этом выходные токены тарифицируются по нулю. Слой принятия решений и генеративный слой теперь находятся на одном аккаунте: Более 200 моделей за одним OpenAI-совместимым ключом по прайс-листовой цене провайдера, передаваемой с наценкой 0%, с автоматическим переключением при сбое. Двухмодельная архитектура, в которой дешёвый слой принятия решений сортирует трафик, а генеративная модель обрабатывает остальное, тестируема на нашей стороне без второго контракта с вендором, и если компонент принятия решений окажется плохо откалиброванным на ваших данных, именно путь переключения при сбое не даёт этому превратиться в инцидент.

Вердикт

Если ваша задача принятия решений узкая, ограничена фиксированной предметной областью, выполняется в больших объёмах и чувствительна к приватности, Kev сегодня — более оправданный выбор, и с большим отрывом: вы владеете весами, контролируете путь данных, можете дообучать модель на собственной разметке, а в маршрутизации обращений в службу поддержки 9B-чекпоинт уже превосходит Jev по его собственным опубликованным показателям. Если вашей задаче принятия решений нужны знания о мире, многошаговые арифметические вычисления или значение уверенности, которое вы намерены использовать для автоматизации, то более крупная нераскрытая модель Jev и её RLCD-обучение выполняют реальную работу, и адаптер Kev не заменяет ни то, ни другое.

Единственное, чего не решает ни одно из этих сравнений, — это калибровка, потому что никто не опубликовал диаграмму надёжности ни для одной из моделей. Проверьте это на собственных размеченных примерах, прежде чем автоматизировать что-либо на основе любой из них, — значение уверенности — это та часть обоих продуктов, которую приходится заслуживать при каждом внедрении, а скорость — это та часть, которая уже стала рядовым товаром.