Jev против Laya: 33 миллисекунды на T4 и случайный базовый уровень

В карточке модели Laya есть предложение, которое решает исход этого сравнения, и оно написано людьми, создавшими Laya. «Laya — это быстрая база для специализации, а не zero-shot движок принятия решений». Convai Innovations выпустила Laya 18 сентября 2026 года, через три дня после того, как TypeSafe AI выпустила Jev 1.13 (typesafe/jev-1.13), под лицензией Apache 2.0, с весами на Hugging Face и точкой входа pip install laya. Она отвечает на типизированные вопросы за один прямой проход без декодирования токен за токеном, и это та же архитектурная ставка, которую делает Jev. Главное заявление — p50-задержка 32,8 миллисекунды на одно решение на Tesla T4, представленная как примерно в 7,8 раза быстрее опубликованных 236–276 мс p50 у Jev через его хостинговый API. Утверждение верно, но оно также измеряет две разные вещи — локальный GPU против сетевого вызова, — а картина точности, стоящая за этим, должна определять, стоит ли вам его скачивать. В режиме zero-shot Laya набирает 0,362 в бенчмарке типизированных решений TypeSafe. Случайное угадывание набирает 0,318. Бейзлайн по мажоритарному классу набирает 0,461. Laya «из коробки» ближе к случайному угадыванию, чем к тривиальному бейзлайну. Новое — это не та или другая модель, а то, где одну из них можно вызвать: 24 сентября 2026 года OrcaRouter добавил typesafe/jev-1.13 в свой каталог — сама модель принадлежит TypeSafe и датируется 15 сентября, — и это единственное в этом сравнении, что изменилось недавно.

Что такое Laya на самом деле

Laya поставляется в виде двух контрольных точек за встроенным маршрутизатором, который направляет каждый вход к нужной из них. Английская контрольная точка — это ModernBERT-large с 421 млн параметров и контекстом в 512 токенов. Многоязычный вариант — mmBERT-base с 322 млн параметров и окном в 1 024 токена для более чем 100 языков. Оба неавторегрессионны: один прямой проход возвращает ответ, поэтому нет цикла декодирования, нет JSON для разбора и нет места, в котором можно было бы выдать текст вне объявленного типа. Это последнее свойство — та же структурная гарантия, которую предлагает Jev, только достигнутая с другой стороны, и она по-настоящему ценна для всех, кто писал логику повторных попыток вокруг модели, которая иногда забывает закрыть фигурную скобку.

Jev — это закрытый аналог, и принципиальное различие между ними состоит в том, кто запускает модель, а не в том, какая из них набирает больше баллов. Первая модель System One от TypeSafe AI, выпущенная 15 сентября 2026 года, размещена на хостинге — веса для скачивания отсутствуют — и её можно маршрутизировать через нас как typesafe/jev-1.13 посредством POST /v1/systemone, без потоковой передачи, с контекстом в 65 536 токенов. Laya — это другая схема: открытые веса под Apache 2.0, которые вы запускаете сами, на уже имеющемся у вас оборудовании, и в этом пути вообще нет эндпоинта. Jev принимает три типизированных примитива — Choice из предоставляемого вами списка, Score по упорядоченной рубрике и Noul — утверждение с ответом «да/нет» и калиброванной вероятностью. Все вопросы оцениваются параллельно на основе одного общего чтения состояния. Цена составляет $0.042 за миллион входных токенов, а плата за вывод равна нулю, потому что выходных токенов для учёта нет. Архитектура Jev, количество параметров и вычислительные затраты на обучение не раскрываются, и TypeSafe заявила, что детали держат в секрете, а статья, возможно, появится позже.

Утверждение о задержке, измеренное должным образом

Показатель Laya в 32,8 мс p50 на T4 — это реальное число, и хорошее. Сравнение с 236–276 мс у Jev, дающее 7,8-кратную разницу, — вот где нужна осторожность, и собственная карточка Laya на удивление честно объясняет, почему: цифры Jev — это опубликованные сторонние данные, которые Convai никогда не измеряла самостоятельно, и это сравнение противопоставляет локальный прямой проход на GPU вызову API на хостинге, который включает сетевой обмен и ожидание в очереди. Если убрать сеть, архитектурное сравнение — это сравнение двух однопроходных моделей: одна с 421 млн параметров, а другая — с нераскрытым размером, который TypeSafe никогда не публиковала.

Есть ещё одно число, связанное с батчингом, которое стоит знать: при батче из десяти Laya сообщает о 7,2 мс на вопрос. Такова суть продукта. Laya создана для локального запуска при больших объёмах, а порты от сообщества для запуска на устройстве, такие как laya-mlx, распространяют это на Apple Silicon. Вирусные заявления «в 50 раз быстрее, чем Jev» не подтверждаются собственными опубликованными бенчмарками проекта, и честная формулировка такова: это большой разрыв между локальным и облачным выполнением, который отчасти обусловлен архитектурой, а отчасти — просто разницей между вашим GPU и чьим-то чужим API.

Что говорят показатели точности, по порядку

Именно здесь сравнение перестаёт быть лестным, и это стоит изложить по порядку, потому что порядок имеет значение.

• Zero-shot на бенчмарке typed-decisions от TypeSafe — Laya 0.362, случайный выбор 0.318, класс большинства 0.461, Jev 0.727. Laya выше случайного угадывания и ниже тривиального базового уровня.

• Дообучена на собственном обучающем сплите бенчмарка — Laya 0.766 против Jev 0.727. Laya побеждает, и эта победа исходит от чекпоинта, который видел обучающие данные бенчмарка, что делает это утверждением о дообучении, а не о базовой модели.

• Классификация интентов Banking77, где набор вариантов большой, — Laya 0.425 против 0.870 у Jev. Laya резко деградирует после примерно 20 вариантов, а поля Choice в Jev, согласно документации, обрабатывают до 255, прежде чем потребуется двухэтапный шаблон оценки.

• Калибровка — Laya поставляется со средней ожидаемой ошибкой калибровки 0,466, которая улучшается до 0,081 только после перенастройки температуры для каждого типа вопросов. Jev обучен методом, который TypeSafe называет RLCD, Reinforcement Learning for Calibrated Decisions, и выдаёт каждый ответ с распределением вероятностей — хотя TypeSafe также советует пользователям проверять пороги на собственных размеченных данных, а один независимый аудит обнаружил, что калибровка Jev резко варьируется в зависимости от задачи.

Закономерность однозначна. Laya — это сильная база для дообучения и слабый движок принятия решений в режиме zero-shot, и она сама об этом говорит. Jev — это сильный движок принятия решений в режиме zero-shot, калибровку которого всё ещё нужно проверять при каждом развёртывании. Это разные продукты с разными ценовыми структурами, и выбор между ними — это в основном вопрос о том, есть ли у вас размеченные данные и цикл обучения.

Арифметика затрат не той же формы, что у Джева.

Jev стоит $0.042 за миллион входных токенов, а вывод бесплатный, что составляет $42 за миллиард, а вызов максимального размера при документированном бюджете запроса в 64K токенов стоит значительно меньше цента. Число, обычно указываемое как примерно 32 000 токенов, — это потолок для состояния плюс самого длинного отдельного вопроса, а не потолок для запроса — TypeSafe документирует 64K токенов на запрос с учётом состояния и всех вопросов вместе, и наша собственная карточка модели для typesafe/jev-1.13 указывает контекст в 65 536 токенов. Независимый тест Every обработал 777 суждений по 37 документам примерно за четверть цента.

Стоимость одного вызова Laya на пределе равна нулю, а в совокупности — нет, и совокупные затраты немаленькие. Модель на 421 млн параметров на T4 дешева в запуске и всё равно требует GPU, а этап дообучения, который делает Laya конкурентоспособной, — именно там сосредоточены основные расходы: разметка данных, запуск обучения, стенд для оценки и повторная подгонка температуры для каждого типа вопросов, которая снижает её ошибку калибровки с 0,466 до 0,081. Для фиксированной таксономии, которая никогда не меняется, это разовая затрата, окупающаяся при больших объёмах. Для таксономии, которая дрейфует, это повторяющаяся затрата, и базовая линия Jev в режиме zero-shot с показателем 0,727 становится гораздо более выгодным решением.

Есть третья издержка, которую легко упустить: у английского чекпоинта Laya контекстное окно составляет 512 токенов. Это не модель принятия решений с небольшим бюджетом контекста — это модель принятия решений, рассчитанная на один абзац. Бюджет запроса Jev в 64K токенов более чем в сто раз больше, и даже он на порядок меньше, чем у генеративных моделей, относительно которых оценивают стоимость обеих. Если ваше состояние — это ветка поддержки, а не одно сообщение поддержки, то ни одно из окон этих моделей не является ограничением, относительно которого вам следует оптимизировать.

Вопрос развёртывания — вот в чём настоящая разница.

Сильнейший аргумент Laya — не задержка. Он в том, что веса под лицензией Apache 2.0 на Hugging Face означают, что решение никогда не покидает вашу инфраструктуру, а у конечной точки никогда не появляется ограничение скорости. Для решения о маршрутизации, принимаемого на основе медицинской карты, юридического документа или истории операций клиента, это не предпочтение — это решающий фактор, и никакая хостинговая конечная точка ни за какую цену не выигрывает этот спор. На собственной главной странице TypeSafe по-прежнему говорится, что Jev находится на этапе раннего доступа, а в документации поставщика отмечается, что его ограничения скорости настраиваются динамически и могут меняться без предупреждения.

Контраргумент в том, чем вы жертвуете. Неразглашённая более крупная архитектура Jev выполняет ту работу, которую не в силах выполнить 421 млн параметров Laya: разрыв в zero-shot 0,727 против 0,362 и разрыв на Banking77 0,870 против 0,425 — оба являются показателями того, сколько знаний заключено в модели до её обучения. Ответ Laya таков: вы сами предоставляете эти знания через файн-тюнинг, и на узком фиксированном домене этот ответ работает — результат 0,766 после файн-тюнинга служит доказательством.

Где слой принятия решений находится в реальном стеке

Ни одна из моделей не генерирует текст, поэтому ни одна из них не составляет весь рабочий процесс. Схема, для которой обе они предназначены, — это две модели: слой принятия решений, который делает типизированный вызов, и генеративная модель, которая берёт на себя часть, требующую прозы, кода или объяснения. Раньше такое разделение означало второй контракт с вендором, потому что половину, отвечающую за решения, нельзя было вызвать тем же ключом, что и генеративную половину. Теперь можно. Jev маршрутизируется через нас как typesafe/jev-1.13 посредством POST /v1/systemone — без стриминга, контекст 65 536 токенов, $0,042 за миллион входных токенов, а вывод тарифицируется по нулевой ставке. Наш собственный семидневный журнал обслуживания этого маршрута показывает p50 в 151 миллисекунду — это наш собственный трафик на нашем собственном оборудовании, а не бенчмарк. Это измерение сети, и оно отличается от локального прямого прохода в 32,8 мс, упомянутого выше. Laya остаётся другим вариантом: открытые веса, которые вы запускаете сами, — мы их не хостим и не обязаны. Генеративную половину этой схемы мы как раз и покрываем: более 200 моделей за одним ключом, совместимым с OpenAI, по цене провайдера из прайс-листа, передаваемой без наценки — 0%, так что изменение цены вендором вступает в силу на нашей стороне в тот же день. Двухмодельную архитектуру можно протестировать без второго контракта с вендором — как для генеративной половины, так и для половины, отвечающей за решения, — а благодаря автоматическому переключению при сбое генеративный путь не превращается в единую точку отказа, пока вы решаете, достаточно ли хорошо откалиброван дешёвый слой принятия решений, чтобы автоматизировать работу на его основе.

Вердикт

Если у вас фиксированная, узкая таксономия, размеченные примеры и требование к приватности или задержке, исключающее использование внешнего API, выбор в пользу Laya легче обосновать, и метрики дообученной модели это подтверждают. Если вам нужно, чтобы решение работало из коробки, если ваши наборы вариантов переваливают за двадцать категорий или если состояние длиннее абзаца, собственная карточка модели Laya говорит, что это не тот продукт для такой задачи, — а оценка zero-shot 0,362 против мажоритарного бейзлайна 0,461 — это число, которое стоит держать в виду, когда кто-то приводит вам показатель задержки 7,8x.

То, что у этих двух общего, полезнее того, что их разделяет. Оба устраняют класс ошибок, возникающих из-за форматирования вывода, и ничего не делают с классом ошибок, проистекающих из суждения. Оба выдают вероятности, и ни у одного из них нет опубликованной диаграммы надёжности, которой можно доверять без проверки. Проверьте калибровку на собственных размеченных случаях, прежде чем автоматизировать работу на основе любого из них, — задержка уже стала товаром широкого потребления, а значение уверенности — это то, что нужно заслужить при каждом развёртывании.