GPT-6.1 Terra Caching: Fem cent per läsning, och när skrivningen lönar sig

GPT-6.1 Terras pris för cachad indata är $0,05 per miljon tokens – 95 % under standardpriset för indata på $1,00 och den största enskilda rabatten på hela prislistan. Haken finns på andra sidan av räkenskaperna: att skriva till cachen kostar $1,25 per miljon för 30 minuters lagring eller $2,50 per miljon för 12 timmar. En arbetsbelastning som läser samma prefix två gånger går plus. En arbetsbelastning som bygger upp sitt prefix på nytt vid varje anrop betalar skrivavgiften och får aldrig rabatten, och prislistan säger inte vilken av dem du kör.

Den här artikeln räknar igenom saken: den exakta break-even-punkten, tre genomräknade arbetsbelastningar i olika skalor, samspelet med 272K-stupen för lång kontext och de promptteknikvanor som tyst förstör cachar.

De fyra talen

• Standardindata – 1,00 USD per miljon tokens.

• Cachad indata — $0,05 per miljon, en rabatt på 95 %.

• Cacheskrivning, kvarhållning i 30 minuter — 1,25 USD per miljon.

• Cacheskrivning, 12 timmars kvarhållning – 2,50 USD per miljon.

Över 272 000 indatatokens fördubblas allt: $2,00 för indata, $0,10 för cachade, $2,50 för cacheskrivning. Så långkontextklämman höjer inte bara indatapriset – den höjer priset för både cachning och skrivning samtidigt.

Som jämförelse kostar GPT-6.1 Sols cachade indata 0,10 USD och GPT-5.6 Terras 0,20 USD. Terras femcentläsning är den billigaste i familjen, och det är 95-procentrabatten som över huvud taget gör upprepade långkontextanrop ekonomiskt möjliga.

Den exakta nollpunkten

Anta att ett prefix på P tokens återanvänds över N anrop, och ignorera utdata för ett ögonblick.

• Utan cachning: N × P × $1.00.

• Med cachelagring: en skrivning till $1.25 × P, sedan N läsningar till $0.05 × P.

Om vi sätter dem lika: 0.95N = 1.25, så N ≈ 1.32. I praktiken innebär det att det andra anropet redan är lönsamt: skrivningen kostar 1.25 per miljon och varje läsning sparar 0.95, så två läsningar återvinner mer än skrivningen. Med 12 timmars kvarhållning är skrivningen $2.50 och nollpunkten är 2.63 läsningar — det tredje anropet betalar för den.

Det är en lägre ribba än de flesta team antar. Den vanliga myten är att cachning bara lönar sig vid mycket hög återanvändning; på det här kortet lönar det sig från och med den andra förfrågan, förutsatt att prefixet faktiskt matchar.

Tre arbetsbelastningar

En systemprompt på 50 000 token över 10 000 korta förfrågningar. Utan cache: 10 000 × 50 000 × 1,00 USD per miljon = 500 USD bara för prefixet. Med cache: en skrivning på 50 000 × 1,25 USD per miljon = 0,0625 USD, plus 10 000 läsningar vid 50 000 × 0,05 USD per miljon = 25 USD. Totalt 25,06 USD – en besparing på 95 % för prefixet, och cache-skrivningen är ett avrundningsfel.

Ett arkiv med 900 000 token över 20 frågor. Utan cache utlöser varje begäran långkontexttaxan: 900 000 × 2,00 USD per miljon = 1,80 USD per anrop, 36 USD för tjugo. Med cache: en skrivning på 900 000 × 2,50 USD per miljon = 2,25 USD, sedan tjugo läsningar till 900 000 × 0,10 USD per miljon = 0,09 USD styck, 1,80 USD totalt. Totalt 4,05 USD – en besparing på 89 %, och skillnaden på arton dollar är hela marginalen på vissa produkter.

Ett dokument på 20 000 token över tre frågor, var och en med en annan persona och olika instruktioner. Det här är fallet där cachning misslyckas: om prefixet ändras mellan anrop – olika systemprompt, olika instruktionsordning, ett användar-ID som interpoleras i början – ser modellen tre olika prefix och skriver tre cachar. Ocachat och "cachat" kostar lika mycket, förutom att du betalade för skrivningarna. Lösningen är strukturell: lägg allt variabelt i slutet av prompten och behåll dokumentet och de stabila instruktionerna först.

Vad som bryter en cache/p> p>OpenAI:s promptcachning fungerar på det oförändrade prefixet i en förfrågan. Allt som ändras tidigt i prompten ogiltigförklarar allt som kommer efter. De vanligaste orsakerna:/p> p>• En tidsstämpel eller ett förfrågnings-ID i systemprompten. Det är den vanligaste orsaken till en cacheträffsfrekvens på 0 %./p> p>• Personalisering per användare som infogas högst upp i stället för längst ned./p> p>• Omordnade verktygsdefinitioner eller en verktygslista som ändras mellan anrop./p> p>• Ett hämtningssteg som sammanfogar dokument i en annan ordning varje gång./p> p>• Ändringar i blanksteg från mallmotorer – att omformatera ett JSON-block räcker./p> p>• Att byta mellan Chat Completions och Responses mitt i pipelinen, vilket ändrar det serialiserade prefixet./p> p>Diagnostiken är enkel: logga de första 2 000 tokens i varje förfrågan och beräkna hash för dem. Om hashen ändras mellan anrop som borde vara identiska är cachen död, och ingen justering kan återuppliva den./p> h2>Cache och 272K-stupet

De två samverkar på ett sätt som är lätt att missa. Ett cachelagrat prefix på 250 000 token kostar 0,05 USD per miljon att läsa och 1,25 USD att skriva. Öka det till 300 000 token så fördubblas varje siffra: 0,10 USD att läsa, 2,50 USD att skriva, och den icke-cachelagrade delen debiteras till 2,00 USD. En pipeline som passerar tröskeln betalar prishoppet på både den cachelagrade och den icke-cachelagrade sidan.

Detta skapar ett designincitament som inte är uppenbart: om en arbetsbelastning ligger strax över 272K kan en krympning av prefixet till 270K halvera kostnaden utan att uppgiften ändras. Att trimma ett standardavsnitt, ta bort ett onödigt hämtningsblock eller flytta ett exempel ut ur systemprompten är värt mer vid gränsen än någon annanstans på kortet.

Cachning jämfört med alternativen

• Cachning – bäst när samma långa prefix återanvänds många gånger inom kvarhållningsfönstret och prefixet är genuint stabilt.

• Chunkning – bäst när dokumentet är stort men varje fråga bara berör en liten del; hämtning är billigare än att skicka 900K tokens även till det cachelagrade priset.

• Batch/Flex — 50 % rabatt jämfört med standard, men batch-latens mäts i timmar; det kan kombineras med cachning, inte med realtidsprodukter.

• En billigare modell — GPT-6 Luna för $0,10/$0,50 kan slå Terras cachade pris för enkla uppgifter, eftersom Lunas icke-cachade indata bara kostar dubbelt så mycket som Terras cachade indata.

Den sista jämförelsen är den som team glömmer bort. Cachning är en rabatt på Terra, inte en garanti för att Terra är det billigaste sättet att besvara en fråga. För klassificering över en prompt på 50 000 tokens är Luna cachad till $0.01 per miljon läsningar fortfarande det billigare alternativet om uppgiften är enkel nog.

Vad du kan köra idag

GPT-6.1 Terra finns inte i OrcaRouter-katalogen när detta skrivs, så dess cache-beteende måste mätas direkt mot OpenAI. Modellerna som är live – GPT-6.1 Sol till $2/$10 med ett cachat pris på $0.10, GPT-5.6 Terra till $2/$12 med $0.20, GPT-6 Luna till $0.10/$0.50 – kan alla testas med en enda nyckel med 0 % påslag jämfört med leverantörens listpris.

Det mått som ska byggas är inte "fungerar cachelagring" – det gör den – utan "vilken andel av min trafik som har ett stabilt prefix". Den andelen är det enda tal som avgör om Terrás läsning för fem cent spelar någon roll för din faktura, och den är en egenskap hos dina prompter, inte hos modellen.