GPT-6.1 Terra Caching: pięć centów za odczyt — i kiedy zapis się opłaca

Stawka GPT-6.1 Terra za wejście z pamięci podręcznej wynosi 0,05 USD za milion tokenów — czyli 95% mniej niż standardowa stawka 1,00 USD za milion, i jest to największa pojedyncza zniżka w całym cenniku. Haczyk jest po drugiej stronie bilansu: zapis do pamięci podręcznej kosztuje 1,25 USD za milion przy 30-minutowym przechowywaniu albo 2,50 USD za milion przy 12 godzinach. Obciążenie, które czyta ten sam prefiks dwukrotnie, wychodzi na plus. Obciążenie, które odbudowuje prefiks przy każdym wywołaniu, płaci opłatę za zapis i nigdy nie odbiera zniżki, a cennik nie powie ci, z którym przypadkiem masz do czynienia.

Ten tekst przeprowadza obliczenia: dokładny próg rentowności, trzy przykładowe obciążenia w różnych skalach, interakcję z progiem długiego kontekstu 272K oraz nawyki w inżynierii promptów, które po cichu niszczą pamięci podręczne.

Te cztery liczby

• Standardowe wejście — 1,00 USD za milion tokenów.

• Buforowane dane wejściowe — 0,05 USD za milion, czyli 95% zniżki.

• Zapis do pamięci podręcznej, przechowywanie przez 30 minut — 1,25 USD za milion.

• Zapis do pamięci podręcznej, przechowywanie przez 12 godzin — 2,50 USD za milion.

Powyżej 272 000 tokenów wejściowych wszystko się podwaja: 2,00 USD za dane wejściowe, 0,10 USD za dane z pamięci podręcznej, 2,50 USD za zapis do pamięci podręcznej. Zatem próg długiego kontekstu nie tylko podnosi stawkę za dane wejściowe — jednocześnie podnosi cenę zarówno odczytu z pamięci podręcznej, jak i zapisu do niej.

Dla porównania, buforowane wejście GPT-6.1 Sol kosztuje 0,10 USD, a GPT-5.6 Terra – 0,20 USD. Odczyt za pięć centów w Terra jest najtańszy w rodzinie, a 95% zniżka jest tym, co w ogóle czyni powtarzane wywołania długiego kontekstu ekonomicznie możliwymi.

Dokładny próg rentowności

Załóżmy, że prefiks o długości P tokenów jest używany wielokrotnie w N wywołaniach, a przez chwilę zignoruj wyjście.

• Bez buforowania: N × P × $1.00.

• Z użyciem cache: jeden zapis po $1.25 × P, następnie N odczytów po $0.05 × P.

Przyrównując je: 0,95N = 1,25, więc N ≈ 1,32. W praktyce oznacza to, że drugie wywołanie jest już opłacalne: zapis kosztuje 1,25 za milion, a każdy odczyt oszczędza 0,95, więc dwa odczyty zwracają więcej niż zapis. Przy 12-godzinnym przechowywaniu zapis kosztuje 2,50 USD, a próg opłacalności wynosi 2,63 odczytu — trzecie wywołanie pokrywa jego koszt.

To niższy próg, niż zakłada większość zespołów. Powszechny mit głosi, że buforowanie opłaca się tylko przy bardzo wysokim współczynniku ponownego wykorzystania; na tej karcie opłaca się już od drugiego żądania, pod warunkiem że prefiks faktycznie się zgadza.

Trzy obciążenia

Systemowy prompt o rozmiarze 50,000 tokenów w 10,000 krótkich żądań. Bez cache: 10,000 × 50,000 × $1.00 za milion = $500 tylko za prefiks. Z cache: jeden zapis 50,000 × $1.25 za milion = $0.0625, plus 10,000 odczytów przy 50,000 × $0.05 za milion = $25. Razem $25.06 — 95% oszczędności na prefiksie, a zapis do cache to błąd zaokrąglenia.

Repozytorium o 900 000 tokenów w 20 pytaniach. Bez buforowania każde żądanie uruchamia stawkę za długi kontekst: 900 000 × $2.00 za milion = $1.80 za wywołanie, $36 za dwadzieścia. Z buforowaniem: jednokrotny zapis 900 000 × $2.50 za milion = $2.25, następnie dwadzieścia odczytów po 900 000 × $0.10 za milion = $0.09 każdy, łącznie $1.80. Razem $4.05 — oszczędność 89%, a różnica osiemnastu dolarów to cała marża na niektórych produktach.

Dokument liczący 20 000 tokenów podzielony na trzy pytania, każde z inną personą i instrukcjami. To przypadek, w którym buforowanie zawodzi: jeśli prefiks zmienia się między wywołaniami — inny prompt systemowy, inna kolejność instrukcji, identyfikator użytkownika wstawiony na początku — model widzi trzy różne prefiksy i tworzy trzy cache’e. Koszt bez buforowania i z „buforowaniem” jest taki sam, poza tym że zapłaciłeś za zapisy. Rozwiązaniem jest zmiana strukturalna: umieść wszystko zmienne na końcu promptu, a dokument i stałe instrukcje trzymaj na początku.

Co psuje pamięć podręczną/p> p>Buforowanie promptów OpenAI działa na niezmienionym prefiksie żądania. Wszelkie zmiany we wczesnej części promptu unieważniają wszystko, co następuje później. Najczęstsze przyczyny:/p> p>• Znacznik czasu lub identyfikator żądania w prompcie systemowym. To najczęstsza przyczyna zerowego współczynnika trafień w pamięć podręczną./p> p>• Personalizacja dla użytkownika wstawiona na górę zamiast na dół./p> p>• Zmieniona kolejność definicji narzędzi lub lista narzędzi, która zmienia się między wywołaniami./p> p>• Etap wyszukiwania, który za każdym razem łączy dokumenty w innej kolejności./p> p>• Zmiany białych znaków powodowane przez silniki szablonów — wystarczy przeformatować blok JSON./p> p>• Przełączanie się między Chat Completions a Responses w trakcie potoku, co zmienia zserializowany prefiks./p> p>Diagnostyka jest prosta: zapisz w logu pierwsze 2000 tokenów każdego żądania i oblicz dla nich hash. Jeśli hash zmienia się między wywołaniami, które powinny być identyczne, pamięć podręczna jest martwa i żadne dostrajanie jej nie ożywi./p> h2>Pamięć podręczna a klif 272K

Te dwie rzeczy współdziałają w sposób łatwy do przeoczenia. Prefiks w pamięci podręcznej o rozmiarze 250 000 tokenów kosztuje 0,05 USD za milion tokenów przy odczycie i 1,25 USD za milion tokenów przy zapisie. Po zwiększeniu go do 300 000 tokenów każda liczba się podwaja: 0,10 USD za odczyt, 2,50 USD za zapis, a część nieobjęta pamięcią podręczną jest rozliczana po 2,00 USD. Potok, który przekroczy ten próg, ponosi skokowy wzrost kosztów zarówno po stronie pamięci podręcznej, jak i po stronie części nieobjętej pamięcią podręczną.

Tworzy to nieoczywisty bodziec projektowy: jeśli obciążenie robocze plasuje się tuż powyżej 272K, skrócenie prefiksu do 270K może zmniejszyć rachunek o połowę bez zmiany zadania. Usunięcie sekcji boilerplate, pominięcie niepotrzebnego bloku retrieval lub przeniesienie przykładu poza prompt systemowy jest warte więcej na tej granicy niż gdziekolwiek indziej na karcie.

Buforowanie a alternatywy

• Buforowanie — sprawdza się najlepiej, gdy ten sam długi prefiks jest wielokrotnie wykorzystywany w ramach okresu przechowywania i gdy prefiks jest rzeczywiście stabilny.

• Dzielenie na fragmenty — najlepsze, gdy dokument jest duży, ale każde pytanie dotyczy tylko niewielkiej jego części; wyszukiwanie jest tańsze niż wysyłanie 900 tys. tokenów, nawet po stawce z pamięci podręcznej.

• Batch/Flex — 50% zniżki względem standardu, ale opóźnienie wsadowe mierzy się w godzinach; łączy się z cache'owaniem, a nie z produktami czasu rzeczywistego.

• Tańszy model — GPT-6 Luna w cenie $0.10/$0.50 może pobić stawkę Terra z cache w prostych zadaniach, ponieważ nieocache'owane wejście Luna to zaledwie dwukrotność ocache'owanego wejścia Terra.

Ostatnie porównanie to to, o którym zespoły zapominają. Caching to zniżka na Terra, a nie gwarancja, że Terra jest najtańszym sposobem odpowiedzi na pytanie. W przypadku klasyfikacji na promptcie o 50 000 tokenów Luna z cache'owaniem przy $0.01 za milion odczytów nadal pozostaje tańszym wariantem, jeśli zadanie jest wystarczająco proste.

Co możesz uruchomić już dziś

GPT-6.1 Terra nie znajduje się w katalogu OrcaRouter w momencie pisania tego tekstu, więc jego zachowanie w zakresie cachowania trzeba mierzyć bezpośrednio względem OpenAI. Modele, które są dostępne — GPT-6.1 Sol w cenie $2/$10 ze stawką $0.10 za cached, GPT-5.6 Terra w cenie $2/$12 z $0.20, GPT-6 Luna w cenie $0.10/$0.50 — można wszystkie testować na jednym kluczu przy 0% narzutu względem ceny listowej dostawcy.

Metryką, którą należy zbudować, nie jest „czy cache działa” — działa — ale „jaka część mojego ruchu ma stabilny prefiks”. Ta część to jedyna liczba, która decyduje, czy pięciocentowy odczyt Terra ma znaczenie dla Twojego rachunku, i jest ona właściwością Twoich promptów, a nie modelu.