Gemini Decision 1 против Drex Max v1.1: оба читают 262 тыс. токенов, но только один считает документы

Поставьте Gemini Decision 1 и Drex Max v1.1 рядом, и спецификации почти совпадут: обе — модели принятия решений, у обеих окно в 262 144 токена, обе читают изображения вместе с текстом, обе возвращают вероятности вместо связного текста. Разрыв возникает в одном месте. В компоненте принятия решений по документам индекса Artificial Analysis Decision Index v2.1 — тесте с весом 30%, который требует, чтобы модель извлекла пять решений и десять фактов из одного плотного документа и правильно ответила по всем пятнадцати, — Drex Max v1.1 проходит 63% документов, а Gemini Decision 1 — 33%. Именно этот компонент в основном объясняет, почему одна набирает 73, а другая 66.

Остальная часть разницы — это арифметика, на которую можно опереться. Drex Max v1.1 стоит $0,03 за миллион входных токенов, а Gemini Decision 1 — $0,10; на миллионе задач это $103 против $345. При этом Gemini Decision 1 обрабатывает до 1000 вопросов за запрос по общим входным данным, тогда как Drex Max v1.1 ожидает одно состояние с несколькими прикреплёнными вопросами. Какое из этих чисел определит ваш выбор, полностью зависит от того, принимаете ли вы решения по одному документу за раз или по сорока правилам за раз.

Две разные формы одной и той же идеи

Обе модели отказываются генерировать текст, и у обеих есть одно свойство, важное для моделирования затрат: входные данные считываются один раз, и каждый вопрос оценивается относительно них. Различаются они тем, что именно позволяют помещать в эти входные данные.

• Типы ответов — Drex Max v1.1 предлагает choice, noul и score — структуру запроса, которую определил Jev из TypeSafe и принял Nace. Gemini Decision 1 предлагает те же три типа: с 2–255 вариантами для choice и 2–255 уровнями рубрики, рекомендуется 2–10.

• Вопросов на вызов — до 1 000 для Gemini Decision 1, каждый оценивается независимо за один проход, ключи предоставляете вы; несколько на состояние для Drex Max v1.1, где единица работы — один элемент и его вопросы.

• Модальность — Gemini Decision 1 принимает текст, изображения, видео, аудио и PDF; Drex Max v1.1 принимает текст и до восьми изображений на запрос. Ни один из них не принимает медиафайлы внутри инструкций вопроса; в Gemini Decision 1 это документированное ограничение, и там медиафайлы должны находиться в общих входных данных.

• Окно — 262 144 токена для Gemini Decision 1 на общий ввод и все вопросы вместе; Drex Max v1.1 документирует 131 072 токена на вопрос, при этом токены изображений учитываются внутри этого лимита, а предельный размер упакованного запроса — 262 144.

• Биллинг — Gemini Decision 1 взимает $0,10 за миллион входных токенов и явно повторно выставляет счёт за повторяющиеся общие входные данные в полном объёме, без кэширования и без Batch API. Drex Max v1.1 взимает $0,03 за миллион входных токенов; Nace вдвое снизил эту ставку, когда vv1.1 заменил v1 на месте.

• Доступ — Gemini Decision 1 в Gemini Developer API на v1beta, с бесплатным тарифом и неограниченным числом ежедневных запросов начиная с Tier 2. Drex Max v1.1, размещённый Nace.AI по адресу POST /v1/systemone, без чекпоинта для скачивания.

Прочитайте этот список как одно предложение: Drex Max v1.1 создан для экрана или страницы и нескольких суждений о ней, а Gemini Decision 1 создан для большого контекста и объёмного свода правил. Потолок в 1 000 вопросов — это не украшение из спецификации. Это разница между моделью, к которой вы обращаетесь сорок раз за запрос, и моделью, к которой вы обращаетесь один раз.

Откуда на самом деле берётся разрыв в 6,6 пункта

Decision Index присваивает веса шести оценкам, и обе модели были прогнаны по всем шести. Сопоставление их компонентов информативнее, чем сводный показатель:

• AA-Paperclip, 30% — Drex Max v1.1 72.8, Gemini Decision 1 56.8. Пятнадцать ответов на документ, всё или ничего. Это разрыв в шестнадцать пунктов, который определяет рейтинг.

• EvalSafe-O*NET-AA, 15% — 88.3 против 87.1. На практике — ничья.

• When2Call, 10% — 95,3 против 80,5. Drex Max v1.1 здесь второй на поле; Gemini Decision 1 — четырнадцатый из восемнадцати.

• AA-Omniscience-Decision v1.1, 15% — 60,3 против 66,3. В этом противостоянии побеждает Gemini Decision 1, и её сырая точность 44,8% — самая высокая среди всех decision-моделей в рейтинге.

• HLE-MultiChoice v1.1, 15% — 46,6 против 48,7. Близко: оба близки к вершине, у обоих однозначная сырая точность.

• AA-Symmetry v1.1, 15% — 79,8 против 70,5. Drex Max v1.1 сохраняет свой ответ при переупорядочивании и отрицании в 53,3% случаев; Gemini Decision 1 — 38,3%.

Закономерность устойчива. Drex Max v1.1 побеждает в двух компонентах, которые проверяют, воспроизводимо ли решение и структурно ли оно обосновано. Gemini Decision 1 побеждает в двух, которые проверяют, знает ли он факты и знает ли, когда не знает. Оба продукта имеют право на существование; они отвечают на разные вопросы о том, для чего нужна модель принятия решений.

Одна оговорка по показателю Drex: $103 за миллион задач, о которых сообщает Artificial Analysis, отражают временную стартовую цену, и в сноске правление отмечает, что стандартная цена удвоит стоимость. По прайс-листу Drex Max v1.1 стоит около $206 за миллион задач — по-прежнему значительно ниже $345 у Gemini Decision 1, но уже не составляет трети от этой суммы. С задержкой ситуация обратная: 283 миллисекунды на задачу у Drex Max v1.1 против 211 у Gemini Decision 1, и оба показателя медленнее медианы по рынку в 209.

Выбирайте по форме вашего запроса, а не по оценке.

Возьмите Drex Max v1.1, если ваше решение касается одного артефакта с ответом, который должен оставаться верным. Триаж страховых требований по сканированной форме, управление агентом на основе скриншотов, где то же решение о клике запрашивается повторно после перерисовки, проверка договоров, где перевёрнутый ответ «да/нет» — настоящая ошибка. Показатель прохождения по документам 63% и показатель прохождения по симметрии 53,3% — это цифры, которые там окупают себя, а $0.03 за миллион входных токенов делают аргумент об объёме простым.

Выбирайте Gemini Decision 1, если ваше решение — это свод правил, применяемый к одному входу, или если входные данные — не текст и изображения. Сорок проверок политик по одному обращению в поддержку за один вызов — это рабочая нагрузка, для которой был документирован Gemini Decision 1, а Drex Max v1.1 — нет; а если входные данные — запись звонка или PDF, только один из этих двух сможет их прочитать. В документации Google перечислены четырнадцать неподдерживаемых возможностей наряду с одной поддерживаемой, поэтому пригодность легко проверить до принятия решения: калиброванные решения, всё остальное отключено.

Не выбирайте ни один из них — но только если решение зависит от затрат при масштабировании. В Gemini Decision 1 нет Batch API и кэширования контекста, а значит, ночной прогон миллиона исторических заявок оплачивается по полному тарифу, причём документ политики каждый раз читается заново. Стартовая цена Drex Max v1.1 временная. Сейчас ни один из продуктов не предлагает структуру скидок, которая делает бэкфилл дешёвым, а для того, кто считает затраты на год заявок, это будет важнее шести индексных пунктов.

Запуск обоих без второго контракта

OrcaRouter не поддерживает ни один из этих двух. Оба являются эндпоинтами, возвращающими только вероятности, а не целями chat-completions, и мы говорим об этом прямо, не подразумевая обратного — в каталоге в категории моделей для принятия решений указана typesafe/jev-1.14 от TypeSafe, которая в том же рейтинге занимает 66.23 между двумя моделями из этого материала.

Что на самом деле стоит вам сравнительный тест — это та часть, которая никогда не попадает в бенчмарк: два SDK, две истории управления ключами, два набора лимитов, которые нужно учитывать. Именно поэтому генеративная половина конвейера принятия решений должна находиться за роутером, даже когда половина со скорингом — не может.списочная цена провайдера, передаваемая с наценкой 0 %, и переключение при деградации провайдера. Направьте вызов скоринга напрямую в Google или Nace, а вызов для написания текста оставьте переносимым. Модель, которую вы не можете маршрутизировать, — это дешёвая часть; модель, которую можете, — та, которую вы захотите поменять.

Если вы всё же протестируете оба на собственной разметке — а вам стоит это сделать, потому что ни один из поставщиков не публикует кривую калибровки на ваших данных — запустите их на одних и тех же 200 документах с одним и тем же набором вопросов и сравните долю успешных прохождений, а не индекс. Разрыв в 30 пунктов по Paperclip у совета директоров — сильная априорная предпосылка. Это не измерение ваших документов.