全价只付一次,后续按缓存价复用。
重复出现的提示词令牌按服务商缓存费率计费——通常仅为输入价格的一小部分——节省金额直接体现在账单上,而非停留在预测数据里。
- 符合缓存条件的前缀按服务商缓存费率计费,支持 5 分钟和 1 小时两种临时缓存窗口。
- 每张账单都显示 cached_tokens,因此节省金额有据可查,而非仅凭声明。
- 客户端无需任何配置——cache_control 会直接透传给支持该功能的服务商。
您的提示词大部分内容从不改变。
系统提示词、结构定义、少样本示例、您正在查询的文档——这些相同的 token 被一次次重复发送。启用缓存后,它们按服务商的缓存费率计费,通常仅为输入价格的十分之一。
您可以自行核算。
每张账单上都会在全价 token 旁边列出 cached_tokens。节省的金额是一个可在月末逐项相加的具体数字,而非宣传材料中的某个百分比。