Einmal zum vollen Preis. Wiederverwenden zum Cache-Tarif.

Wiederholte Prompt-Token werden zum Cache-Tarif des Anbieters abgerechnet — oft ein Bruchteil des Eingabepreises — und die Ersparnis erscheint auf dem Beleg statt in einer Hochrechnung.

Cache-fähige Präfixe werden zum Cache-Tarif des Anbieters abgerechnet — über kurzlebige Fenster von 5 Minuten und 1 Stunde.
cached_tokens erscheint auf jedem Beleg, sodass die Ersparnis prüfbar ist und nicht nur behauptet wird.
Keine Konfiguration auf Client-Seite erforderlich — cache_control wird direkt an den unterstützenden Anbieter weitergeleitet.

Der Großteil Ihres Prompts ändert sich nie.

Der System-Prompt, das Schema, die Few-Shot-Beispiele, das Dokument, über das Sie fragen – dieselben Token, immer wieder gesendet. Im Cache werden sie zum Cache-Tarif des Anbieters abgerechnet, der üblicherweise einem Zehntel des normalen Eingabepreises entspricht.

Und Sie können die Rechnung selbst nachprüfen.

cached_tokens erscheint auf jeder Abrechnung neben den Token, für die Sie den vollen Preis gezahlt haben. Die Ersparnis ist eine Zahl, die Sie am Monatsende zusammenzählen können – kein Prozentwert aus einem Verkaufsgespräch.