Заплатите полную цену один раз. Используйте повторно по кэшированному тарифу.

Повторяющиеся токены промптов тарифицируются по кэш-ставке провайдера — зачастую это доля от цены входных данных — и экономия отражается в чеке, а не в прогнозе.

Подходящие для кэширования префиксы тарифицируются по кэш-ставке провайдера в рамках эфемерных окон длительностью 5 минут и 1 час.
cached_tokens фигурирует в каждом чеке, поэтому экономия поддаётся проверке, а не просто декларируется.
Ничего настраивать на стороне клиента не нужно — cache_control передаётся напрямую провайдеру, который его поддерживает.

Большая часть вашего промпта никогда не меняется.

Системный промпт, схема, примеры few-shot, анализируемый документ — одни и те же токены отправляются снова и снова. В кэше они тарифицируются по цене кэша провайдера, которая, как правило, составляет десятую часть от стоимости входящих токенов.

И вы можете проверить расчёты.

cached_tokens отображается в каждом счёте рядом с токенами, оплаченными по полной цене. Экономия — это конкретная сумма, которую можно подсчитать в конце месяца, а не процент из презентации для клиентов.