Gemini Decision 1 против Kev: тысяча вопросов за один вызов — или рецепт, который можно переобучить

Обучение семейства Kev Джареда Палмера на Modal обошлось примерно в $95 в пересчёте на время H100, плюс около трёх центов на вызовы API для оценочных данных, а весь рецепт лежит в репозитории. Gemini Decision 1 стоит столько, сколько передовая лаборатория тратит на модель, которую не станет описывать, а за эти деньги вы получаете схему запроса: одна конечная точка, до 1000 типизированных вопросов к одному входу размером 262 144 токена, откалиброванные вероятности в ответ, ноль выходных токенов, $0.10 за миллион входных токенов. Поставьте Kev рядом с ним — и сравнение будет не между двумя моделями. Оно будет между прибором для пакетного скоринга и небольшим механизмом, который можно разобрать.

Ни один из проектов не опубликовал показатель, по которому можно было бы оценивать другой, — и это первое, что стоит честно сказать. Google не выпустил таблицу бенчмарков вместе с Gemini Decision 1; все показатели производительности в этом материале взяты из Artificial Analysis, где модель имеет 66 баллов по Decision Index v2.1. Kev вообще не фигурирует в этой таблице. Вместо этого Kev публикует тестовый стенд, зафиксированный набор тестов и собственные показатели ошибок, и их нельзя вычесть из чего бы то ни было.

То, что Gemini Decision 1 делает, а Kev не может

Начните с разрыва в возможностях, потому что именно он определяет архитектуры, а не оценки. Gemini Decision 1 оценивает до 1000 независимых вопросов относительно одного общего входа за один прямой проход. Вопросы не видят друг друга, добавление или удаление одного не меняет остальные, а общий вход оплачивается один раз.

Это последнее положение и есть продукт. Обращение в поддержку, проверенное по сорока правилам политики, — это один запрос, одно чтение обращения и сорок калиброванных ответов. В модели, работающей по одному вопросу за раз — а Kev именно такова в том смысле, что голова оценивает каждый вариант относительно вопроса в одной строке, — те же сорок проверок представляют собой сорок проходов по состоянию, независимо от того, пакетируете вы их или нет. Собственные показатели обслуживания Kev делают затраты наглядными: 18,1 миллисекунды на шесть вопросов при коротком состоянии на H100, 12,9 миллисекунды с кэшированием, 14,3 ГБ резидентной памяти. Шесть вопросов, а не тысяча.

Входная поверхность различается таким же образом:

• Модальность — Gemini Decision 1 читает текст, изображения, видео, аудио и PDF; Kev читает текст. Запись звонка или отсканированный бланк — это проблема предварительной обработки для Kev и нативный вход для Gemini Decision 1.

• Контекст — 262 144 токена для Gemini Decision 1 в совокупности по входным данным и вопросам; Kev поддерживает до 65 536, при этом не менее 8 192 на вопрос, но валидирует только до 8 192, и это указано в его карточке.

• Воздержание — Gemini Decision 1 возвращает вероятности в диапазоне 0.01–0.99 с полем уверенности, поэтому ответ с низкой уверенностью виден без отдельной опции. Kev возвращает softmax по предоставленным вами опциям, а значит воздержание — это любая указанная вами опция плюс заданный вами порог.

• Веса — отсутствуют для Gemini Decision 1; размещённая конечная точка в Gemini Developer API на v1beta с бесплатным уровнем: 200 запросов в минуту и 10 000 в день. Apache-2.0 для Kev, с LoRA-адаптером ранга 16 на замороженной базе Qwen3.5 и pointer-головой, в размерах 0.8B, 4B и 9B.

То, что делает Kev, а Gemini Decision 1 не может

Kev позволяет менять модель. Не просто иначе задавать промпты — а переобучить поведение при принятии решений на ваших собственных метках за сумму, которую можно указать в отчёте о расходах.

Конструкция намеренно скромная: замороженная база Qwen3.5, адаптер ранга 16 примерно с 33,8 млн обучаемых параметров и небольшая указательная головка, которая сопоставляет закрывающий токен каждого варианта с последним токеном вопроса. Поскольку база остаётся замороженной, предельная стоимость нового домена решений соразмерна адаптеру, а не фундаментальной модели. Можно держать одну базу в памяти и переключать адаптеры для каждого домена — это такая форма развёртывания, которую не выражает ни один хостинговый эндпоинт.

То, что Kev публикует о себе, достаточно конкретно, чтобы с этим можно было поспорить, а такое встречается реже, чем следовало бы:

• Transfer-v4, зафиксирован вне домена — точность 0.838, Brier 0.224, ECE 0.017.

• Breadth-v1, 14 отложенных наборов данных, 3 089 вопросов — точность 0.690, ECE 0.029.

• Documents-v1 — 0.903. Hard-v1 — 0.803. MMLU-Pro с десятью вариантами — 0.565.

• Арифметика дат — 0,65 при точности до дня, названа автором самой слабой областью; флаг препроцессора предложен как частичное исправление, и никаких заявлений о повторном измерении нет.

Это собственные измерения автора на его собственном стенде, а в карточке сказано, что калибровка — это одна температура в пределах распределения, поэтому покрытие ухудшается вне домена, а порядок вариантов может перевернуть ответ. Это правдоподобная самооценка, а не проверенный результат. Но это всё ещё шкала, которую можно попытаться воспроизвести сегодня же вечером, и это больше, чем можно сказать о большинстве цифр вендоров в этой категории.

Почему два числа на столе никогда не встречаются

Соблазн — поставить точность переноса Кева 0.838 рядом с 66 у Gemini Decision 1 и объявить победителя. Сопротивляйтесь этому по трём причинам.

Инструменты измеряют разные вещи. Decision Index оценивает точность за вычетом штрафа Бриера за уверенность, связанную с ответом, агрегированную по шести оценкам, 45% которых построены на приватных данных. Показатель Kev's transfer-v4 — это чистая точность на закрытом наборе, собранном автором, при этом Brier и ECE указываются рядом, а не включаются в основную цифру.

Составы задач не совпадают. Крупнейший компонент индекса — AA-Paperclip с долей 30% — это пятнадцать ответов по принципу «всё или ничего» на документ; тест Kev documents-v1 лишь приближается к такой структуре, но не воспроизводит её.

И знаменатели различаются. Индексная оценка — это взвешенный составной показатель, в котором воздержание вознаграждается; показатель точности — это доля вопросов, в которых вариант с наибольшей вероятностью был правильным. Модель может превзойти другую по одному показателю и уступить по другому, при этом ни одна из них не будет ошибаться.

Обоснованное утверждение здесь узкое: Gemini Decision 1 находится в середине таблицы среди размещённых моделей принятия решений с показателем 66, занимая девятое место из восемнадцати, с первым местом по компонентам знаний и 33%-й долей прохождения документов по принципу «всё или ничего»; Kev — это адаптер класса 4B, автор которого сообщает о сильной внутридоменной калибровке и слабой арифметике дат. Любой, кто говорит вам, что один из них лучше, занимается экстраполяцией.

Сколько на самом деле стоит эксплуатация каждого из них

Экономика Gemini Decision 1 легко вычисляется и с трудом приемлема при больших объёмах. При $0,10 за миллион входных токенов Artificial Analysis оценивает $345 за миллион задач — это самая дорогая модель в верхней половине рейтинга, без кэширования контекста, без Batch API и без Flex или Priority inference. Повторяющийся общий вход тарифицируется полностью при каждом запросе. Ночная обработка миллиона заявок заново считывает документ с политикой миллион раз.

Экономика Kev имеет противоположную структуру: почти бесплатно за вызов после того, как GPU окупится, а реальные затраты — в часах, которые вы тратите на создание разметки, обучение адаптеров и их проверку. Оценка Palmer в ~$95 покрывает прогон обучения, а не разметку. Если ваши правила маршрутизации отличаются от правил универсального судьи — а они отличаются — эти затраты на разметку дают вам то, что не продаёт ни одна облачная модель принятия решений: скорер, который воплощает вашу политику, а не аппроксимирует её.

Есть третья статья затрат, которая решает судьбу большего числа проектов, чем любая из цен: скорость итераций. Ограничения Gemini Decision 1 задокументированы и фиксированы, поэтому изменение поведения — это переписывание промпта и повторный прогон вашего оценочного набора. У Kev's это переобучение адаптера: дешёвое по вычислениям и недешёвое по процессу. Для команды с одним доменом и большим объёмом переобучение окупается. Для команды с двенадцатью доменами и без ML-инженера хостинговый эндпоинт выигрывает по инженерным часам даже при $345 за миллион задач.

Если конвейер вокруг решения — это то, где вы на самом деле тратите

OrcaRouter не предоставляет ни одну из этих моделей. Kev — это веса Apache-2.0, которые вы запускаете самостоятельно, а Gemini Decision 1 — это эндпоинт только с вероятностями в собственном API Google; ни то, ни другое не является целью для chat-completions, и мы не делаем вид, что это не так. Модель принятия решений в нашем каталоге — typesafe/jev-1.14 от TypeSafe с результатом 66.23 в той же таблице, для команд, которым нужен вызов скоринга с тем же ключом, что и всё остальное.

Та половина пайплайна, для которой мы созданы, — это та, что предшествует принятию решения: генерация ответа-кандидата, написание рубрики оценки, составление сводки по тикету до выставления оценки. Именно на этом участке вы чаще всего меняете модели, и именно здесь второй контракт с поставщиком обходится дороже всего, а ещё это тот участок, который работает через единую конечную точку, на которой размещено более 200 моделей, с ценой из прайс-листа провайдера, передаваемой с наценкой 0%, и автоматическим переключением при отказе, когда провайдер деградирует. Если вы сравниваете Kev с размещённым у поставщика сервисом оценки, пропустите через нас половину, связанную с подготовкой черновиков, и оставьте решение об оценке обратимым — так выбор, который вы делаете сегодня в отношении адаптера за $95, не станет миграцией позже.

Решение между двумя решениями

Выбирайте Gemini Decision 1, когда решение — это один вход и множество правил, когда вход — аудио, видео или PDF, когда тысяча проверок за один тарифицируемый проход меняет вашу модель затрат и когда вы готовы довериться калибровке, которую настраивали не вы. Примите, что вы покупаете чёрный ящик по цене ввода передовой лаборатории без скидки за пакет.

Выбирайте Kev, когда решение — это один вход и несколько типизированных вопросов, когда текст достаточно короток, чтобы проверить его в пределах 8 192 токенов, когда ваша политика достаточно конкретна, чтобы универсальный судья плохо её аппроксимировал, и когда владение артефактом важнее владения эндпоинтом. Примите, что теперь вы отвечаете за калибровку, арифметику дат и чувствительность к порядку вариантов, о которых предупреждает карточка.

Единственное, чего это сравнение не должно делать, — это составлять турнирную таблицу. Здесь нет ни общего инструмента, ни общего набора задач, ни воспроизведения ни одного из этих чисел третьей стороной. Что вы можете сделать на этой неделе — прогнать через обе системы 200 собственных размеченных примеров и сравнить доли успешных прохождений и кривые уверенности; это работа на одно утро, которая скажет вам больше, чем следующее обновление таблицы лидеров.