שלם מחיר מלא פעם אחת. השתמש שוב במחיר המטמון.

טוקני פרומפט חוזרים מחויבים לפי תעריף המטמון של הספק — לעיתים קרוב שבריר ממחיר הקלט — והחיסכון מופיע בקבלה ולא רק בתחזית.

קידומיות הכשירות למטמון מחויבות לפי תעריף המטמון של הספק בחלונות זמניים של 5 דקות ושעה אחת.
cached_tokens מופיע בכל קבלה, כך שהחיסכון ניתן לביקורת במקום להיות מוערך בלבד.
אין מה להגדיר בצד הלקוח — cache_control מועבר ישירות לספק שתומך בו.

רוב הפרומפט שלך לעולם לא משתנה.

פרומפט המערכת, הסכמה, דוגמאות ה-few-shot, המסמך שאתה שואל עליו — אותם טוקנים, שנשלחים שוב ושוב. כשהם במטמון, הם מחויבים לפי תעריף המטמון של הספק, שהוא לרוב עשירית ממחיר הקלט.

ואפשר לבדוק את החשבון.

‏cached_tokens מופיע בכל קבלה לצד הטוקנים ששילמת עליהם מחיר מלא. החיסכון הוא מספר שאפשר לסכום בסוף החודש — לא אחוז על שקף מכירות.