Pague o preço integral uma vez. Reutilize com a taxa de cache.

Tokens de prompt repetidos são cobrados pela tarifa de cache do provedor — muitas vezes uma fração do preço de entrada — e a economia aparece no recibo, não em uma projeção.

Prefixos elegíveis ao cache são cobrados pela tarifa de cache do provedor em janelas efêmeras de 5 minutos e 1 hora.
cached_tokens aparece em cada recibo, tornando a economia auditável em vez de apenas declarada.
Nada a configurar no seu cliente — cache_control é repassado diretamente ao provedor que o suporta.

A maior parte do seu prompt nunca muda.

O prompt do sistema, o esquema, os exemplos de few-shot, o documento sobre o qual você está perguntando — os mesmos tokens, enviados repetidamente. Em cache, eles são cobrados pela tarifa de cache do provedor, que costuma ser um décimo do preço de entrada.

E você pode conferir as contas.

cached_tokens aparece em cada recibo ao lado dos tokens que você pagou pelo preço cheio. A economia é um número que você pode somar ao final do mês, não um percentual em uma apresentação de vendas.