최초 1회만 전체 요금을 지불하세요. 이후에는 캐시 요금으로 재사용하세요.
반복되는 프롬프트 토큰은 제공업체의 캐시 요금 — 대개 입력 가격의 일부 — 으로 청구되며, 절감액은 예측치가 아닌 영수증에 직접 반영됩니다.
- 캐시 적합 프리픽스는 5분 및 1시간 임시 창 기준으로 제공업체의 캐시 요금으로 청구됩니다.
- cached_tokens가 모든 영수증에 표시되어, 절감액을 주장이 아닌 감사 가능한 데이터로 확인할 수 있습니다.
- 클라이언트에서 별도로 설정할 필요가 없습니다 — cache_control은 이를 지원하는 제공업체에 그대로 전달됩니다.
프롬프트의 대부분은 변하지 않습니다.
시스템 프롬프트, 스키마, 퓨샷 예시, 참조 문서 — 동일한 토큰이 반복해서 전송됩니다. 캐시되면 프로바이더의 캐시 요금으로 청구되며, 이는 일반적으로 입력 가격의 10분의 1 수준입니다.
계산을 직접 확인할 수 있습니다.
cached_tokens는 모든 영수증에서 정가로 지불한 토큰 옆에 함께 표시됩니다. 절감액은 홍보용 퍼센트가 아니라 월말에 직접 합산할 수 있는 실제 숫자입니다.