Betala fullt pris en gång. Återanvänd till cachepriser.

Upprepade prompttokens faktureras till leverantörens cachepris — ofta en bråkdel av inmatningspriset — och besparingen syns på kvittot snarare än i en prognos.

Cachningsbara prefix faktureras till leverantörens cachepris inom 5-minuters- och 1-timmesfönster.
cached_tokens visas på varje kvitto, så besparingen är granskningsbar snarare än påstådd.
Inget att konfigurera i din klient — cache_control skickas direkt vidare till den leverantör som stöder det.

Merparten av din prompt förändras aldrig.

Systempromptens, schemat, few-shot-exemplen, dokumentet du frågar om — samma tokens, skickade om och om igen. Cachelagrade faktureras de till leverantörens cachepris, vilket vanligtvis är en tiondel av ordinarie inpris.

Och du kan kontrollera räkningen.

cached_tokens visas på varje kvitto bredvid de tokens du betalade fullt pris för. Besparingen är en siffra du kan summera i slutet av månaden — inte ett procenttal i en säljpresentation.