GPT-6.1 Terra 캐싱: 읽기 한 번에 5센트, 그리고 쓰기가 이득이 되는 때

GPT-6.1 Terra의 캐시 입력 요율은 100만 토큰당 $0.05입니다 — $1.00의 표준 입력 요율보다 95% 낮으며, 전체 요율표에서 가장 큰 단일 할인입니다. 주의할 점은 원장의 다른 쪽에 있습니다. 캐시에 쓰는 비용은 30분 보존 시 100만 토큰당 $1.25, 12시간 보존 시 $2.50입니다. 동일한 프리픽스를 두 번 읽는 워크로드는 이득을 봅니다. 매 호출마다 프리픽스를 재구성하는 워크로드는 쓰기 요금을 내고 할인은 전혀 받지 못하며, 요율표는 당신이 어느 쪽을 실행 중인지 알려주지 않습니다.

이 글은 정확한 손익분기점, 서로 다른 규모에서의 세 가지 실제 워크로드, 272K 장문 컨텍스트 클리프와의 상호작용, 그리고 캐시를 조용히 파괴하는 프롬프트 엔지니어링 습관을 계산해 다룹니다.

네 개의 숫자

• 표준 입력 — 100만 토큰당 $1.00.

• 캐시된 입력 — 100만 개당 $0.05, 95% 할인.

• 캐시 쓰기, 30분 보존 — 100만 개당 $1.25.

• 캐시 쓰기, 12시간 보존 — 백만 건당 $2.50.

272,000 입력 토큰을 초과하면 모든 가격이 두 배가 됩니다. 입력 $2.00, 캐시 $0.10, 캐시 쓰기 $2.50입니다. 즉, 장문맥 절벽은 입력 요율만 높이는 것이 아니라 캐싱과 쓰기 가격까지 동시에 높입니다.

비교하자면, GPT-6.1 Sol의 캐시된 입력은 $0.10이고 GPT-5.6 Terra의 캐시된 입력은 $0.20입니다. Terra의 5센트 읽기는 패밀리에서 가장 저렴하며, 95% 할인이야말로 반복적인 장문맥 호출을 애초에 경제적으로 가능하게 만드는 요인입니다.

정확한 손익분기점

P 토큰으로 구성된 프리픽스가 N번의 호출에서 재사용된다고 가정하고, 잠시 출력은 무시하겠습니다.

• 캐싱 사용 안 함: N × P × $1.00.

• 캐싱 사용 시: $1.25 × P로 한 번 쓰고, 이어서 $0.05 × P로 N회 읽습니다.

둘을 같다고 놓으면 0.95N = 1.25이므로 N ≈ 1.32입니다. 실제로 이는 두 번째 호출이 이미 수익성이 있다는 뜻입니다. 쓰기 비용은 100만 건당 1.25이고 각 읽기는 0.95씩 절약하므로, 두 번의 읽기로 쓰기 비용보다 더 많은 비용을 회수합니다. 12시간 보존 기간에서는 쓰기 비용이 $2.50이고 손익분기점은 2.63회 읽기입니다 — 세 번째 호출이 그 비용을 충당합니다.

그것은 대부분의 팀이 생각하는 것보다 낮은 기준입니다. 흔한 오해는 캐싱이 재사용률이 아주 높을 때만 효과가 있다는 것인데, 이 카드에서는 접두사가 실제로 일치한다면 두 번째 요청부터 효과가 있습니다.

세 가지 워크로드

10,000개의 짧은 요청에 걸쳐 사용되는 50,000토큰 시스템 프롬프트. 캐시하지 않는 경우: 10,000 × 50,000 × 백만 토큰당 $1.00 = 프리픽스에만 $500. 캐시하는 경우: 50,000 × 백만 토큰당 $1.25의 쓰기 1회 = $0.0625, 여기에 10,000회 읽기 × 50,000 × 백만 토큰당 $0.05 = $25. 총 $25.06 — 프리픽스 기준 95% 절감이며, 캐시 쓰기 비용은 반올림 오차에 불과하다.

20개 질문에 걸친 900,000토큰 리포지토리. 캐시하지 않으면 모든 요청이 롱 컨텍스트 요금에 해당합니다: 900,000 × 백만 토큰당 $2.00 = 호출당 $1.80, 20회면 $36. 캐시 사용 시: 900,000 × 백만 토큰당 $2.50 쓰기 1회 = $2.25, 그다음 900,000 × 백만 토큰당 $0.10 읽기 20회 = 회당 $0.09, 총 $1.80. 합계 $4.05 — 89% 절감이며, 18달러 차액은 일부 제품의 전체 마진입니다.

20,000 토큰 문서를 세 개의 질문에 걸쳐 사용하며, 각 질문에는 서로 다른 페르소나와 지침이 있습니다. 이것이 캐싱이 실패하는 사례입니다. 호출 간에 프리픽스가 바뀌면 — 시스템 프롬프트가 다르고, 지침 순서가 다르며, 사용자 ID가 맨 앞에 보간되면 — 모델은 서로 다른 세 개의 프리픽스를 보고 세 개의 캐시를 작성합니다. 캐시되지 않은 경우와 "캐시된" 경우의 비용은 동일합니다. 단지 캐시 쓰기 비용을 지불했을 뿐입니다. 해결책은 구조적입니다. 변하는 모든 요소를 프롬프트 끝에 두고, 문서와 안정적인 지침은 앞부분에 유지하세요.

캐시를 깨는 원인/p> p>OpenAI의 프롬프트 캐싱은 요청에서 변경되지 않은 접두사 부분을 기준으로 동작합니다. 프롬프트 앞부분에서 무엇이든 변경되면 그 뒤의 모든 내용이 무효화됩니다. 흔한 원인은 다음과 같습니다:/p> p>• 시스템 프롬프트에 타임스탬프나 요청 ID가 포함된 경우. 이는 0% 캐시 적중률의 가장 흔한 원인입니다./p> p>• 사용자별 개인화를 하단이 아닌 상단에 삽입한 경우./p> p>• 도구 정의의 순서가 바뀌었거나 호출 간에 도구 목록이 변경되는 경우./p> p>• 검색 단계에서 매번 문서를 다른 순서로 연결하는 경우./p> p>• 템플릿 엔진으로 인한 공백 변경 — JSON 블록을 다시 포맷하는 것만으로도 충분합니다./p> p>• 파이프라인 중간에 Chat Completions와 Responses 사이를 전환하는 경우. 이는 직렬화된 접두사를 변경합니다./p> p>진단은 간단합니다: 각 요청의 첫 2,000 토큰을 기록하고 해시하세요. 동일해야 하는 호출 간에 해시가 변경되면 캐시는 죽은 것이며 어떤 튜닝으로도 되살릴 수 없습니다./p> h2>캐시와 272K 절벽

두 요소는 쉽게 놓치기 쉬운 방식으로 상호작용합니다. 25만 토큰의 캐시된 프리픽스는 읽기에 100만 토큰당 $0.05, 쓰기에 $1.25가 듭니다. 이를 30만 토큰으로 늘리면 모든 수치가 두 배가 됩니다. 읽기 $0.10, 쓰기 $2.50이며, 캐시되지 않은 부분에는 $2.00이 청구됩니다. 임계값을 넘는 파이프라인은 캐시된 쪽과 캐시되지 않은 쪽 모두에서 비용 절벽을 부담합니다.

이는 분명하지 않은 설계상 인센티브를 만듭니다. 워크로드가 272K를 약간 넘는 경우, 프리픽스를 270K로 줄이면 작업을 변경하지 않고도 청구서를 절반으로 줄일 수 있습니다. 상용구 섹션을 다듬거나, 불필요한 검색 블록을 제거하거나, 예시를 시스템 프롬프트 밖으로 옮기는 것은 경계 지점에서 카드의 다른 어느 곳보다 더 큰 가치를 지닙니다.

캐싱 대 다른 대안

• 캐싱 — 동일한 긴 프리픽스가 보존 기간 내에서 여러 번 재사용되고 해당 프리픽스가 정말로 안정적인 경우에 가장 적합합니다.

• 청킹 — 문서는 크지만 각 질문이 일부만 건드릴 때 가장 적합합니다. 캐시된 요율이라도 900K 토큰을 보내는 것보다 검색이 더 저렴합니다.

• Batch/Flex — Standard 대비 50% 할인이지만, 배치 지연 시간은 시간 단위로 측정됩니다. 캐싱과는 중첩 적용되지만 실시간 제품과는 중첩 적용되지 않습니다.

• 더 저렴한 모델 — $0.10/$0.50의 GPT-6 Luna는 간단한 작업에서 Terra의 캐시 요금을 능가할 수 있습니다. Luna의 비캐시 입력이 Terra의 캐시 입력의 두 배에 불과하기 때문입니다.

마지막 비교는 팀들이 자주 잊는 부분입니다. 캐싱은 Terra에 대한 할인일 뿐, Terra가 질문에 답하는 가장 저렴한 방법이라는 보장은 아닙니다. 50,000토큰 프롬프트에 대한 분류 작업이라면, 백만 읽기당 $0.01로 캐시된 Luna가 작업이 충분히 단순할 경우 여전히 더 저렴한 선택입니다.

오늘 실행할 수 있는 것

GPT-6.1 Terra는 이 글을 쓰는 시점에 OrcaRouter 카탈로그에 없으므로, 캐시 동작은 OpenAI를 직접 대상으로 측정해야 합니다. 실제 제공 중인 모델들 — 캐시 요금 $0.10인 $2/$10의 GPT-6.1 Sol, $0.20인 $2/$12의 GPT-5.6 Terra, $0.10/$0.50의 GPT-6 Luna — 은 모두 제공업체 정가 대비 0% 마크업으로 하나의 키에서 테스트해 볼 수 있습니다.

구축해야 할 측정은 "캐싱이 작동하는가"가 아니라 — 작동합니다 — "내 트래픽 중 안정적인 프리픽스를 가진 비율은 얼마인가"입니다. 그 비율만이 Terra의 5센트 읽기가 귀하의 청구서에 영향을 주는지 결정하는 유일한 숫자이며, 그것은 모델의 속성이 아니라 프롬프트의 속성입니다.