Paga el precio completo una vez. Reutiliza al precio de caché.
Los tokens de prompt repetidos se facturan a la tarifa de caché del proveedor — a menudo una fracción del precio de entrada — y el ahorro aparece en el recibo en lugar de en una proyección.
- Los prefijos elegibles para caché se facturan a la tarifa de caché del proveedor en ventanas efímeras de 5 minutos y 1 hora.
- cached_tokens aparece en cada recibo, de modo que el ahorro es auditable y no solo una afirmación.
- No hay nada que configurar en tu cliente — cache_control se transmite directamente al proveedor que lo admite.
La mayor parte de tu prompt nunca cambia.
El prompt del sistema, el esquema, los ejemplos de few-shot, el documento sobre el que preguntas — los mismos tokens, enviados una y otra vez. Al estar en caché, se facturan a la tarifa de caché del proveedor, que habitualmente es una décima parte del precio de entrada.
Y puedes comprobar los números.
cached_tokens aparece en cada recibo junto a los tokens que pagaste a precio completo. El ahorro es una cifra que puedes sumar a final de mes, no un porcentaje en una presentación de ventas.