Перенос рабочей нагрузки по принятию решений с Drex Max на Gemini Decision 1

Перенос выглядит как смена URL, но таковым не является. Drex Max v1.1 и Gemini Decision 1 обе принимают блок контекста и набор типизированных вопросов и возвращают вероятности, поэтому первый день миграции проходит хорошо: переименовать поле, направить клиент на другой базовый путь, запустить тестовый набор. Провал наступает на второй неделе, когда приходит объём и выясняется, что две модели оплаты расходятся в том, что именно вы покупаете. Это рассказ о том, что действительно должно измениться, написанный для того, у кого есть работающая интеграция с Drex Max v1.1 и кто задаётся вопросом, оправдывает ли заявленный показатель новой модели этот переход.

Начнём с честной версии компромисса. В Artificial Analysis Decision Index v2.1 Drex Max v1.1 набирает 73 балла, а Gemini Decision 1 — 66. Более старая модель выигрывает, причём с отрывом в 6,6 балла, и большая часть преимущества приходится на компонент, который даёт 30% составной оценки. Если ваша рабочая нагрузка — это триаж документов, миграция представляет собой понижение, замаскированное под повышение. Если речь о чём-то другом, читайте дальше, потому что эти два эндпоинта не так похожи, как можно предположить по форме их запросов.

Разница, которой нет ни в одном рейтинге

{{1}}Drex Max v1.1{{/1}} выделяет каждому вопросу собственный бюджет в 131 072 токена. {{2}}Gemini Decision 1{{/2}} выделяет всему запросу 262 144 токена, которые делятся между входом и каждым вопросом в нём. Эти два предложения описывают одну и ту же категорию продуктов и дают противоположные инженерные рекомендации.

В Drex 200 вопросов требуют 200 отдельных бюджетов, а практический потолок запроса — это ваш лимит скорости, а не контекст. В Gemini Decision 1 200 вопросов и один контракт на 200 000 токенов не помещаются в один запрос: 200 000 токенов входных данных оставляют 62 144 для вопросов и инструкций, что вполне комфортно, но 250 000 токенов входных данных оставляют 12 144, и запрос завершается ошибкой. Потолок реальный, он общий и меняется в зависимости от того, сколько вы отправляете.

Это единственное изменение, которое с наибольшей вероятностью сломает работающую интеграцию Drex, потому что при малом объёме отказ не проявляется как ошибка. Набор тестов, прогоняющий 20 вопросов по документу объёмом 30 000 токенов, спокойно помещается в обе системы. Продакшен с записью объёмом 180 000 токенов и 900 вопросами помещается в одну из них, но не в другую.

Что скрывает цена за токен

Drex Max v1.1 указан по цене $0.03 за миллион входных токенов как стартовая цена против прейскурантной ставки $0.06, а Gemini Decision 1 — $0.10. Ни один из них не взимает плату за выходные токены. Если смотреть только на этот столбец, Drex дешевле в 1,7–3,3 раза, чего достаточно, чтобы закрыть вопрос для команды с большими объёмами.

При расчёте на одну задачу разрыв сокращается. Artificial Analysis оценивает Drex Max v1.1 в $103 за миллион задач принятия решений, а Gemini Decision 1 — в $345; соотношение около 3,3 — это сравнение по прейскурантным ценам, а не по стартовой цене. Причина в том, что Gemini Decision 1 считывает больше токенов, чтобы прийти к ответу. Его общий контекст вдвое больше, а оценки компонентов указывают на то, что он пропускает через каждый вопрос больше входных данных, а не меньше. В расчёте на задачу честный разброс составляет примерно три к одному в пользу Drex, а стартовая скидка — временное условие, которое не переживёт вашего второго продления контракта.

А значит, вопрос цены звучит не как «что дешевле», а как «за какую долю ваших задач вы готовы заплатить в 3 раза больше, чтобы получить правильный результат». Правило, которое направляет заявки в поддержку в очередь, ничего не стоит, если оно ошибается на 5% чаще альтернативы. Правило, которое помечает пункт договора для юридической проверки, сразу оправдывает разницу в цене.

Обработка документов — вот откуда берутся баллы.

Совокупный разрыв в 6,6 пункта распределён неравномерно, и аргумент о миграции зависит от понимания того, где именно он сосредоточен.

• AA-Paperclip, вес 30% — Drex Max v1.1 набирает 72,8 балла и сразу проходит 63% документов в тесте «всё или ничего»; Gemini Decision 1 набирает 56,8 балла и проходит 33%. Именно этот компонент объясняет большую часть различия в композитной оценке.

• When2Call, 10% — Drex 95,3 против 80,5 у Gemini, разрыв в 14,8 балла по оценке вызова инструментов — самый большой относительный отрыв Drex среди всех показателей.

• EvalSafe-O*NET-AA, 15% — 88,3 против 87,1. Погрешность округления, и единственный тест, связанный с безопасностью, в наборе.

• AA-Omniscience-Decision v1.1, 15% — Drex 60.3, Gemini 66.3. Преимущество Gemini — и причина, по которой в освещении его запуска главным был акцент на знаниях.

• HLE-MultiChoice v1.1, 15% — Drex 46.6, Gemini 48.7. Отрыв небольшой, и обе модели достаточно часто отказываются отвечать, а не угадывать, поэтому сырая точность намного ниже этих чисел.

• AA-Symmetry v1.1, 15% — Drex 79,8 против 70,5. Выдержит ли ответ перестановку, переименование и отрицание вопроса — это самое близкое к проверке на стабильность из того, что есть на табло.

Две из этих строк стоит перепроверить, прежде чем принимать решение. При извлечении документов Drex почти вдвое надежнее по строгой метрике, а по симметрии — на девять пунктов стабильнее. Это значит, что конвейер на основе Drex дает меньше ответов, которые меняются, когда тот же вопрос формулируют иначе. Если ваш продукт показывает пользователю один ответ, нестабильность — это баг-репорт. Если он передает результат в нижестоящую оценку, нестабильность — это разброс, который можно усреднить.

Скорость — и аргументы в пользу того, чтобы сохранить оба.

Drex Max v1.1 выполняет задачу за медианные 283 миллисекунды. Gemini Decision 1 выполняет ту же задачу за 211. Новая модель быстрее, несмотря на то, что делает больше работы, — и это единственное место, где миграция помогает безоговорочно. Для синхронной проверки перед действием, которое видит пользователь, 70 миллисекунд — это не мелочь.

Скорость, цена и точность редко складываются настолько однозначно в одном направлении, и здесь это не так: Gemini быстрее и хуже, Drex медленнее и лучше, а соотношение затрат следует за соотношением качества, а не задержки. Это признак двух моделей с действительно разными архитектурами, а не того, что одна из них является безусловным улучшением другой.

В чём же заключается фактическая рекомендация. Сервис принятия решений с одной моделью скоринга имеет одну точку отказа и одно мнение. Запуск обеих моделей требует второй интеграции и даёт сигнал о расхождении: когда две модели при высокой уверенности возвращают разные ответы, случай действительно неоднозначен и, вероятно, не должен автоматизироваться. Этот паттерн стар, скучен и выявляет ошибки, которые не выявит никакая оценка уверенности отдельной модели.

Портирование самого вызова

Механическая часть меньше бухгалтерской; перед началом стоит назвать три подводных камня.

Во-первых, Drex вызывается по адресу /v1/systemone с идентификатором модели, закреплённым как drex-max; псевдоним drex-latest в руководстве быстрого старта не является закреплённым идентификатором, и его использование означает, что ваша модель меняется у вас под носом без развёртывания. У Gemini Decision 1 обратная проблема: псевдонима вообще нет, есть только gemini-decision-1, и запрос с указанием gemini-decision не разрешится. Закрепляйте идентификаторы с обеих сторон и рассматривайте идентификатор модели как номер версии в вашей конфигурации, а не как константу в исходном коде.

Во-вторых, ограничения на медиафайлы не переносятся. Drex Max v1.1 принимает до 8 изображений на запрос. Gemini Decision 1 принимает текст, изображения, аудио, видео и PDF с ограничениями: 100 МБ встроенного base64, 50 МБ на PDF и 15 МБ на HTTPS-URL, а ссылки YouTube и URI gs:// категорически отклоняет. Пайплайн Drex, который отправляет восемь сканов страниц пакетом на запрос, превращается в пайплайн Gemini, который либо отправляет страницы одним PDF, либо разбивает пакет.

В-третьих, типы вопросов близки, но границы не идентичны. Оба поддерживают типы «да/нет», «выбор» и «оценка». Gemini ограничивает «выбор» и «оценку» диапазоном 2–255 вариантов или уровней и ограничивает вероятность «да/нет» диапазоном 0,01–0,99, поэтому любой порог, заданный в вашем коде Drex выше 0,99, после переноса молча никогда не сработает. Проверьте каждую константу порога в кодовой базе, а не только те, что находятся в файле конфигурации.

Где маршрутизатор уместен, а где нет

OrcaRouter не предоставляет ни gemini-decision-1, ни drex-max. Оба — эндпоинты, возвращающие только вероятности, а роутер в нашей конфигурации обслуживает цели chat-completions; утверждение об обратном было бы заявлением о доступности, которое провалится на первом же запросе. В этой миграции роутер нужен для той части конвейера, которая не является скорером.

Почти каждый сервис принятия решений сначала готовит черновик, а затем получает оценку: генеративная модель извлекает пункты-кандидаты, предлагает рубрику или суммирует запись в общий контекст, который затем читает модель принятия решений. Именно от этого вызова на этапе подготовки черновика действительно зависит выбор поставщика, и именно здесь второй контракт обходится дорого; при этом он может выполняться более чем на 200 моделях через один эндпоинт, при этом прайс-лист провайдера передаётся без наценки (0%). Routing DSL здесь важнее, чем в чат-продукте, потому что вызовы на этапе подготовки черновика разнородны — дешёвая модель для первичной сортировки, модель с длинным контекстом для записи на 180 000 токенов — и выразить это правилами лучше, чем через три SDK.

Честное ограничение: аварийное переключение защищает вызов генерации черновика, а не вызов оценки. Есть только одно место, куда можно отправить запрос на принятие решения, и если оно недоступно, ваш сервис недоступен. Если такая зависимость неприемлема, описанный выше паттерн с двумя моделями — это не просто мера точности; это единственная реальная избыточность, доступная вам, потому что это единственный способ иметь две независимые конечные точки оценки.

Итог

Переходите на Gemini Decision 1, если ваши решения по своей природе ближе к знаниям, если важна скорость или если вам нужен общий контекст, достаточно большой, чтобы за один раз вместить целую запись. Оставайтесь на Drex Max v1.1, если они по своей природе ближе к документам — и показатель прохождения говорит, что, вероятно, так и есть, поскольку извлечение документов — это то, чем оказывается большинство рабочих нагрузок принятия решений, если присмотреться. Запускайте оба варианта, если неверный ответ дорого обходится, и закладывайте соотношение затрат три к одному, прежде чем обещать кому-либо экономию. Миграция — это день работы и квартал на перенастройку; решение о ней зависит от того, на какой компонент индекса на самом деле похожа ваша рабочая нагрузка.