全額を支払うのは最初の一回だけ。あとはキャッシュ料金で再利用。
繰り返し使用するプロンプトトークンはプロバイダーのキャッシュ料金（多くの場合、入力価格のわずかな割合）で課金され、その削減額は予測値ではなく実際の明細に反映されます。
- キャッシュ適用可能なプレフィックスは、5分間および1時間のエフェメラルウィンドウ内でプロバイダーのキャッシュ料金にて課金されます。
- cached_tokensはすべての明細に表示されるため、削減効果は主張ではなく監査可能な事実となります。
- クライアント側の設定変更は不要です。cache_controlはそのままサポート対象プロバイダーに渡されます。
プロンプトのほとんどは変化しません。
システムプロンプト、スキーマ、few-shotの例、参照しているドキュメント——これらの同じトークンが何度も繰り返し送信されます。キャッシュされると、プロバイダーのキャッシュ料金で課金され、通常は入力価格の10分の1程度です。
計算を自分で確認できます。
cached_tokensは、正規料金で支払ったトークンと並んで、すべての明細に表示されます。節約額は月末に合算できる具体的な数字であり、提案資料に書かれたパーセンテージではありません。