Google: Gemini 3.1 Pro Preview Custom Tools vs google/gemini-pro-latest

Для нагрузок, чувствительных к задержке, google/gemini-pro-latest возвращает первый token быстрее. По качеству benchmark Google: Gemini 3.1 Pro Preview Custom Tools лидирует в сводном индексе.

И Google: Gemini 3.1 Pro Preview Custom Tools, и google/gemini-pro-latest доступны через один и тот же эндпоинт OrcaRouter по цене провайдера с нулевой наценкой на токены, поэтому переключение между ними — это изменение в одну строку, а цифры ниже — это то, что вы платите на самом деле. Это сравнение подтягивает актуальные цены, опубликованное context window, а также собственные замеры latency и throughput OrcaRouter, чтобы вы могли взвесить стоимость и производительность под свою конкретную нагрузку, а не полагаться на витринный benchmark поставщика. Правильный выбор почти всегда зависит от формы вашего трафика — длины промпта, объёма генерируемого текста, того, насколько ваши пользователи чувствительны к latency, и насколько тяжело рассуждение, — поэтому разделы ниже разбирают решение по одному измерению за раз и завершаются конкретной рекомендацией. Везде, где для одной из двух моделей метрика отсутствует, соответствующая строка опускается, а не додумывается, так что каждое утверждение здесь подкреплено реальным числом.

На входных токенах Google: Gemini 3.1 Pro Preview Custom Tools стоит $4.00 за 1 млн против $4.00 у google/gemini-pro-latest, а на выходе $18.00 против $18.00 за 1 млн. Счёт обычно решается на выходных токенах: нагрузка чата или agent, генерирующая длинные ответы, определяется выходной ставкой, поэтому модель, выглядящая дешевле на входе, всё равно может оказаться более дорогим выбором от начала до конца. Оцените своё реальное соотношение вход-выход, прежде чем выбирать только по цене — промпт с интенсивным поиском и коротким ответом и короткий промпт с длинной генерацией оказываются на противоположных краях этой таблицы. Практический способ оценить это — взять репрезентативную выборку своих промптов, посчитать среднее число входных и выходных токенов и умножить каждое на соответствующие ставки двух моделей; модель с меньшей смешанной (blended) стоимостью на вашем реальном наборе — та, которую нужно превзойти. Помните, что обе цены здесь — это чистая ставка провайдера — OrcaRouter не добавляет наценки, — так что сравнение честное, и рассчитанная экономия — это та экономия, которую вы оставляете себе.

Latency и throughput определяют, каково работать с моделью в продакшене. Медианная (p50) latency отклика — это время ожидания типичного запроса до первого токена; throughput (токенов в секунду) задаёт, как быстро ответ стримится после начала. Для интерактивного чата и циклов agent важнее всего низкая p50 latency, потому что пользователь ждёт первый токен; для пакетной генерации и длинных выводов общее время определяет throughput, потому что ответ длинный. Графики трендов за 7 дней выше показывают, стабильна latency каждой модели или дрейфует — то, что единичное громкое число скрывает: модель с отличным средним, но шумным хвостом всё равно может не уложиться в строгий p95 SLA. Если у вашего продукта есть бюджет latency, читайте и медиану, и форму кривой, и помните, что сквозная latency включает также ваш сетевой хоп и любые запросы поиска или вызовы инструментов, которые вы делаете вокруг модели.

Оценки benchmark приближают способности, но не заменяют тестирование на ваших собственных промптах. Показанные здесь сводные индексы агрегируют несколько публичных оценок, а перцентиль отмечает, где каждая модель находится среди всех сопоставимых моделей каталога — полезный сигнал для короткого списка, но не гарантия для вашей задачи. Модель, лидирующая по индексу общего интеллекта, всё равно может отставать в вашей области (кодинг, извлечение, многоязычность, рассуждение на длинном контексте), поэтому используйте benchmark, чтобы сузить круг, а затем прогоните обе модели на репрезентативном срезе вашего трафика. Обращайте внимание на конкретный индекс, соответствующий вашему сценарию, а не на итоговое число: продукту с упором на код стоит взвешивать индекс кодинга, исследовательскому ассистенту — индекс рассуждения. Benchmark к тому же устаревают по мере обновления моделей, поэтому относитесь к ним как к стартовой гипотезе, которую вы подтверждаете собственным набором для оценки.

Если стоимость — жёсткое ограничение, начните с более дешёвой модели на вашем реальном сочетании вход-выход и переходите выше только если не хватает качества. Если приоритет — отзывчивость (чат для пользователей, agent, любой случай, где кто-то ждёт), придавайте p50 latency и throughput больший вес, чем небольшой разнице в цене. Если вы выжимаете самое тяжёлое рассуждение, кодинг или работу на длинном контексте, пусть ведёт победитель по benchmark и context window, и принимайте более высокую ставку там, где она себя окупает. Поскольку обе модели стоят за одним и тем же API, малорисковый ход — направить часть реального трафика на каждую и сравнить стоимость, latency и качество ответов на своих промптах, прежде чем определяться. Распространённый приём — многоуровневость (tier): отправляйте основную массу простых, высокочастотных запросов на более дешёвую или быструю модель, а более сильную модель приберегите для запросов, которым она действительно нужна, — это забирает большую часть выигрыша в качестве за долю стоимости. Что бы вы ни выбрали, держите переключение обратимым — изменением имени модели в одну строку вы вернёте трафик обратно, как только цифры или ваши требования изменятся.

За последние 7 дней google/gemini-pro-latest удерживает более низкую медианную задержку ответа.