Bayar harga penuh sekali. Gunakan ulang dengan tarif cache.
Token prompt yang berulang ditagih dengan tarif singgahan penyedia — sering kali sebagian kecil dari harga masukan — dan penghematannya tercatat di tanda terima, bukan dalam proyeksi.
- Awalan yang memenuhi syarat singgahan ditagih dengan tarif singgahan penyedia dalam jendela sementara 5 menit dan 1 jam.
- cached_tokens muncul di setiap tanda terima, sehingga penghematan dapat diaudit, bukan sekadar diklaim.
- Tidak perlu konfigurasi di sisi klien — cache_control diteruskan langsung ke penyedia yang mendukungnya.
Sebagian besar prompt Anda tidak pernah berubah.
System prompt, skema, contoh few-shot, dokumen yang Anda tanyakan — token yang sama, dikirim berulang kali. Setelah di-cache, token tersebut ditagih dengan tarif cache penyedia, yang umumnya sepersepuluh dari harga input.
Dan Anda bisa memeriksa perhitungannya.
cached_tokens tercantum di setiap rincian tagihan di samping token yang Anda bayar dengan harga penuh. Penghematannya adalah angka yang bisa Anda jumlahkan di akhir bulan, bukan persentase dalam bahan presentasi.