จ่ายราคาเต็มครั้งเดียว นำกลับมาใช้ในราคาแคช
Token ของ Prompt ที่ซ้ำกันจะคิดราคาตามอัตราแคชของผู้ให้บริการ ซึ่งมักเป็นเพียงเศษหนึ่งส่วนของราคา Input และการประหยัดจะแสดงในใบเสร็จ ไม่ใช่ในแผนการคาดการณ์
- Prefix ที่มีสิทธิ์แคชจะถูกคิดราคาตามอัตราแคชของผู้ให้บริการ ในช่วงเวลาชั่วคราว 5 นาทีและ 1 ชั่วโมง
- cached_tokens จะปรากฏในใบเสร็จทุกใบ ทำให้การประหยัดตรวจสอบได้จริง ไม่ใช่แค่ประมาณการ
- ไม่ต้องตั้งค่าใดๆ ในฝั่งไคลเอนต์ — cache_control จะถูกส่งผ่านตรงไปยังผู้ให้บริการที่รองรับ
Prompt ส่วนใหญ่ของคุณไม่เคยเปลี่ยนแปลง
System Prompt สคีมา ตัวอย่างสาธิต เอกสารที่คุณถามถึง — Token เดิมๆ ถูกส่งซ้ำแล้วซ้ำเล่า เมื่อแคชไว้แล้ว จะถูกเรียกเก็บเงินในอัตราแคชของผู้ให้บริการ ซึ่งโดยทั่วไปอยู่ที่หนึ่งในสิบของราคา Input ปกติ
และคุณสามารถตรวจสอบตัวเลขได้เอง
cached_tokens จะปรากฏในทุกใบเสร็จควบคู่กับ Token ที่คุณจ่ายในราคาเต็ม ตัวเลขที่ประหยัดได้คือสิ่งที่คุณรวมได้จริงปลายเดือน ไม่ใช่แค่เปอร์เซ็นต์ในสไลด์นำเสนอ