Кэширование GPT-6.1 Terra: пять центов за чтение — и когда запись окупается

Тариф на кэшированный ввод GPT-6.1 Terra составляет $0.05 за миллион токенов — на 95% ниже стандартного тарифа на ввод $1.00, и это самая крупная единичная скидка во всей тарифной карте. Подвох кроется на другой стороне баланса: запись в кэш стоит $1.25 за миллион токенов при хранении 30 минут или $2.50 за миллион токенов при хранении 12 часов. Рабочая нагрузка, которая дважды читает один и тот же префикс, оказывается в выигрыше. Рабочая нагрузка, которая пересоздаёт свой префикс при каждом вызове, платит за запись и так и не получает скидку, а тарифная карта не подскажет, какой из этих вариантов у вас.

В этом материале выполняется расчёт: точная точка безубыточности, три проработанных сценария нагрузки в разных масштабах, взаимодействие с обрывом длинного контекста на 272K и привычки промпт-инжиниринга, которые незаметно разрушают кэши.

Четыре числа

• Стандартный ввод — 1,00 доллара США за миллион токенов.

• Кэшированный ввод — $0,05 за миллион, скидка 95%.

• Запись в кэш, хранение 30 минут — 1,25 $ за миллион.

• Запись в кэш, хранение 12 часов — $2,50 за миллион.

Свыше 272 000 входных токенов всё удваивается: $2,00 за вход, $0,10 за кэшированные данные, $2,50 за запись в кэш. Таким образом, порог длинного контекста не только повышает ставку за вход — он одновременно повышает стоимость и кэширования, и записи.

Для сравнения: кэшированный ввод GPT-6.1 Sol стоит $0.10, а у GPT-5.6 Terra — $0.20. Чтение за пять центов у Terra — самое дешёвое в семействе, и именно скидка 95% делает повторные вызовы с длинным контекстом экономически возможными в принципе.

Точный уровень безубыточности

Предположим, что префикс из P токенов переиспользуется в N вызовах, а вывод пока игнорируем.

Без кэширования: N × P × $1.00.

• С кэшированием: одна запись по $1.25 × P, затем N чтений по $0.05 × P.

Приравнивая их: 0,95N = 1,25, получаем N ≈ 1,32. На практике это означает, что второй вызов уже прибылен: запись стоит 1,25 за миллион, а каждое чтение экономит 0,95, поэтому два чтения покрывают больше, чем запись. При 12-часовом хранении запись стоит $2,50, а точка безубыточности — 2,63 чтения; третий вызов окупает запись.

Это более низкий порог, чем предполагает большинство команд. Распространённый миф состоит в том, что кэширование окупается только при очень высоком уровне повторного использования; на этой карте оно окупается уже со второго запроса — при условии, что префикс действительно совпадает.

Три рабочих нагрузки

Системный промпт на 50 000 токенов в 10 000 коротких запросах. Без кэширования: 10 000 × 50 000 × $1,00 за миллион токенов = $500 только за префикс. С кэшированием: одна запись 50 000 × $1,25 за миллион токенов = $0,0625 плюс 10 000 чтений по 50 000 × $0,05 за миллион токенов = $25. Итого $25,06 — экономия 95% на префиксе, а запись в кэш — это погрешность округления.

Репозиторий на 900 000 токенов для 20 вопросов. Без кэширования каждый запрос активирует тариф для длинного контекста: 900 000 × $2,00 за миллион = $1,80 за вызов, $36 за двадцать вызовов. С кэшированием: одна запись 900 000 × $2,50 за миллион = $2,25, затем двадцать чтений по 900 000 × $0,10 за миллион = $0,09 за каждое, итого $1,80. Всего $4,05 — экономия 89%, а разница в восемнадцать долларов — это вся маржа на некоторых продуктах.

Документ на 20 000 токенов и три вопроса, каждый со своей персоной и инструкциями. Это случай, когда кэширование не работает: если префикс меняется между вызовами — другой системный промпт, другой порядок инструкций, идентификатор пользователя, вставленный в начало — модель видит три разных префикса и создаёт три кэша. Без кэширования и с «кэшированием» стоимость одинакова, только вы ещё платите за записи. Решение структурное: вынесите всё изменяемое в конец промпта, а документ и стабильные инструкции держите в начале.

Что ломает кэш/p> p>Кэширование промптов OpenAI работает с неизменным префиксом запроса. Всё, что меняется в начале промпта, аннулирует всё, что идёт после него. Обычные виновники:/p> p>• Метка времени или ID запроса в системном промпте. Это самая распространённая причина 0% попаданий в кэш./p> p>• Пользовательская персонализация, вставленная в начале, а не в конце./p> p>• Переупорядоченные определения инструментов или список инструментов, который меняется между вызовами./p> p>• Этап извлечения, который каждый раз объединяет документы в другом порядке./p> p>• Изменения пробельных символов из-за шаблонизаторов — достаточно переформатировать блок JSON./p> p>• Переключение между Chat Completions и Responses посреди конвейера, что меняет сериализованный префикс./p> p>Диагностика проста: логируйте первые 2 000 токенов каждого запроса и хешируйте их. Если хеш меняется между вызовами, которые должны быть идентичными, кэш мёртв, и никакая настройка его не оживит./p> h2>Кэш и обрыв на 272K

Эти два фактора взаимодействуют так, что это легко упустить. Кэшированный префикс размером 250 000 токенов стоит $0.05 за миллион при чтении и $1.25 при записи. Увеличьте его до 300 000 токенов — и каждое число удваивается: $0.10 за чтение, $2.50 за запись, а некэшированная часть тарифицируется по $2.00. Пайплайн, пересекающий этот порог, платит по резкому скачку тарифа и на кэшированной, и на некэшированной стороне.

Это создаёт неочевидный стимул при проектировании: если рабочая нагрузка находится чуть выше 272K, сокращение префикса до 270K может вдвое уменьшить счёт без изменения задачи. Сокращение шаблонного раздела, удаление ненужного блока поиска или вынос примера из системного промпта на границе ценнее, чем где-либо ещё на карточке.

Кэширование в сравнении с альтернативами

• Кэширование — лучше всего подходит, когда один и тот же длинный префикс многократно используется в течение окна хранения, и этот префикс действительно стабилен.

• Чанкинг — лучше всего подходит, когда документ большой, но каждый вопрос затрагивает лишь небольшую его часть; извлечение обходится дешевле, чем отправка 900 тыс. токенов даже по тарифу для кэшированных токенов.

• Batch/Flex — скидка 50% от стандартной цены, но задержка пакетной обработки измеряется часами; она суммируется с кэшированием, но не с продуктами реального времени.

• Более дешёвая модель — GPT-6 Luna по цене $0.10/$0.50 может оказаться дешевле кэшированной ставки Terra для простых задач, потому что некэшированный ввод Luna всего лишь вдвое превышает кэшированный ввод Terra.

Последнее сравнение — то, которое команды забывают. Кэширование — это скидка на Terra, а не гарантия того, что Terra — самый дешёвый способ ответить на вопрос. Для классификации по промпту в 50 000 токенов Luna с кэшированием по $0.01 за миллион чтений всё ещё остаётся более дешёвым вариантом, если задача достаточно проста.

Что можно запустить сегодня

GPT-6.1 Terra на момент написания отсутствует в каталоге OrcaRouter, поэтому её поведение при кешировании приходится измерять напрямую на OpenAI. Модели, которые доступны — GPT-6.1 Sol по $2/$10 со ставкой кеширования $0.10, GPT-5.6 Terra по $2/$12 с $0.20, GPT-6 Luna по $0.10/$0.50 — все можно протестировать на одном ключе с наценкой 0% к прейскурантной цене провайдера.

Показатель, который нужно построить, — не «работает ли кэширование» (оно работает), а «какая доля моего трафика имеет стабильный префикс». Эта доля — единственное число, которое определяет, имеет ли пятицентовое чтение Terra значение для вашего счёта, и это свойство ваших промптов, а не модели.