Cache do GPT-6.1 Terra: cinco centavos por leitura e quando a escrita compensa

A tarifa de entrada em cache do GPT-6.1 Terra é de US$ 0,05 por milhão de tokens — 95% abaixo da tarifa padrão de entrada de US$ 1,00, e o maior desconto individual de toda a tabela. A pegadinha está do outro lado do balanço: gravar no cache custa US$ 1,25 por milhão para retenção de 30 minutos ou US$ 2,50 por milhão para 12 horas. Uma carga de trabalho que lê o mesmo prefixo duas vezes sai ganhando. Uma carga de trabalho que reconstrói seu prefixo a cada chamada paga a taxa de gravação e nunca recebe o desconto, e a tabela de preços não vai dizer qual das duas você está executando.

Este artigo faz as contas: o ponto de equilíbrio exato, três cargas de trabalho analisadas em diferentes escalas, a interação com o penhasco de contexto longo de 272K e os hábitos de engenharia de prompt que, silenciosamente, destroem os caches.

Os quatro números

• Entrada padrão — US$ 1,00 por milhão de tokens.

• Entrada em cache — US$ 0,05 por milhão, um desconto de 95%.

• Gravação em cache, retenção de 30 minutos — $1,25 por milhão.

• Gravação em cache, retenção de 12 horas — US$ 2,50 por milhão.

Acima de 272.000 tokens de entrada, tudo dobra: US$ 2,00 de entrada, US$ 0,10 em cache, US$ 2,50 de gravação em cache. Portanto, o precipício de contexto longo não apenas eleva a tarifa de entrada — ele eleva ao mesmo tempo o preço tanto do cache quanto da gravação em cache.

Para efeito de comparação, a entrada em cache do GPT-6.1 Sol custa US$ 0,10 e a do GPT-5.6 Terra, US$ 0,20. A leitura de cinco centavos do Terra é a mais barata da família, e o desconto de 95% é o que torna as chamadas repetidas de contexto longo economicamente viáveis.

O ponto de equilíbrio exato

Suponha um prefixo de P tokens reutilizado em N chamadas, e ignore a saída por um momento.

• Sem cache: N × P × $ 1,00.

• Com cache: uma gravação a $1.25 × P, depois N leituras a $0.05 × P.

Igualando as duas expressões: 0,95N = 1,25, então N ≈ 1,32. Na prática, isso significa que a segunda chamada já é lucrativa: a gravação custa 1,25 por milhão e cada leitura economiza 0,95, então duas leituras recuperam mais do que a gravação. Com retenção de 12 horas, a gravação custa US$ 2,50 e o ponto de equilíbrio é 2,63 leituras — a terceira chamada cobre esse custo.

Esse é um patamar mais baixo do que a maioria das equipes supõe. O mito comum é que o cache só compensa quando há reutilização muito alta; neste cartão, ele compensa a partir da segunda requisição, desde que o prefixo realmente corresponda.

Três cargas de trabalho

Um prompt de sistema de 50.000 tokens em 10.000 solicitações curtas. Sem cache: 10.000 × 50.000 × US$ 1,00 por milhão = US$ 500 apenas pelo prefixo. Com cache: uma gravação de 50.000 × US$ 1,25 por milhão = US$ 0,0625, mais 10.000 leituras a 50.000 × US$ 0,05 por milhão = US$ 25. Total de US$ 25,06 — uma economia de 95% no prefixo, e a gravação no cache é um erro de arredondamento.

Um repositório de 900.000 tokens distribuído em 20 perguntas. Sem cache, cada requisição aciona a tarifa de contexto longo: 900.000 × US$ 2,00 por milhão = US$ 1,80 por chamada, US$ 36 pelas vinte. Com cache: uma gravação de 900.000 × US$ 2,50 por milhão = US$ 2,25, depois vinte leituras a 900.000 × US$ 0,10 por milhão = US$ 0,09 cada, US$ 1,80 no total. Total de US$ 4,05 — uma economia de 89%, e a diferença de dezoito dólares representa toda a margem de alguns produtos.

Um documento de 20.000 tokens dividido em três perguntas, cada uma com uma persona e instruções diferentes. Este é o caso em que o cache falha: se o prefixo mudar entre as chamadas — prompt de sistema diferente, ordem das instruções diferente, um ID de usuário interpolado no topo — o modelo vê três prefixos diferentes e grava três caches. O custo sem cache e o custo "com cache" são iguais, exceto que você pagou pelas gravações. A correção é estrutural: coloque tudo o que é variável no final do prompt e mantenha o documento e as instruções estáveis no início.

O que quebra um cache/p> p>O cache de prompts da OpenAI funciona sobre o prefixo inalterado de uma solicitação. Qualquer alteração no início do prompt invalida tudo o que vem depois dele. Os culpados habituais:/p> p>• Um carimbo de data/hora ou ID de solicitação no prompt do sistema. É a causa mais comum de uma taxa de acerto do cache de 0%./p> p>• Personalização por usuário inserida no topo em vez da parte final./p> p>• Definições de ferramentas reordenadas ou uma lista de ferramentas que muda entre chamadas./p> p>• Uma etapa de recuperação que concatena documentos em uma ordem diferente a cada vez./p> p>• Alterações de espaços em branco provenientes de mecanismos de template — reformatar um bloco JSON já basta./p> p>• Alternar entre Chat Completions e Responses no meio do pipeline, o que altera o prefixo serializado./p> p>O diagnóstico é simples: registre os primeiros 2.000 tokens de cada solicitação e calcule o hash deles. Se o hash mudar entre chamadas que deveriam ser idênticas, o cache está morto e nenhum ajuste será suficiente para ressuscitá-lo./p> h2>Cache e o limite crítico de 272K

Os dois interagem de um modo fácil de passar despercebido. Um prefixo em cache de 250.000 tokens custa US$ 0,05 por milhão para leitura e US$ 1,25 para escrita. Aumente-o para 300.000 tokens e todos os números dobram: US$ 0,10 para leitura, US$ 2,50 para escrita, e a parte não armazenada em cache é cobrada a US$ 2,00. Um pipeline que cruza o limiar paga o salto abrupto tanto do lado do cache quanto do lado sem cache.

Isso cria um incentivo de design nada óbvio: se uma carga de trabalho estiver logo acima de 272K, reduzir o prefixo para 270K pode cortar a conta pela metade sem alterar a tarefa. Enxugar uma seção de boilerplate, remover um bloco de recuperação desnecessário ou tirar um exemplo do prompt do sistema vale mais no limite do que em qualquer outro ponto do cartão.

Cache versus as alternativas

• Cache — melhor quando o mesmo prefixo longo é reutilizado muitas vezes dentro da janela de retenção, e o prefixo é genuinamente estável.

• Chunking — melhor quando o documento é grande, mas cada pergunta afeta apenas uma pequena parte; a recuperação é mais barata do que enviar 900 mil tokens mesmo à tarifa de cache.

• Batch/Flex — 50% de desconto sobre o padrão, mas a latência em lote é medida em horas; acumula com cache, não com produtos em tempo real.

• Um modelo mais barato — o GPT-6 Luna a $0,10/$0,50 pode superar a tarifa com cache do Terra em tarefas simples, porque a entrada sem cache do Luna custa apenas o dobro da entrada com cache do Terra.

A última comparação é a que as equipes esquecem. O cache é um desconto no Terra, não uma garantia de que o Terra seja a maneira mais barata de responder a uma pergunta. Para classificação sobre um prompt de 50.000 tokens, o Luna em cache a US$ 0,01 por milhão de leituras continua sendo a opção mais barata se a tarefa for simples o suficiente.

O que você pode executar hoje

O GPT-6.1 Terra não está no catálogo do OrcaRouter no momento em que escrevo, portanto seu comportamento de cache precisa ser medido diretamente contra a OpenAI. Os modelos ativos — GPT-6.1 Sol a $2/$10 com uma taxa de cache de $0.10, GPT-5.6 Terra a $2/$12 com $0.20, GPT-6 Luna a $0.10/$0.50 — podem todos ser testados com uma única chave, com 0% de markup sobre o preço de tabela do provedor.

A métrica a construir não é "o cache funciona" — funciona —, mas "que fração do meu tráfego tem um prefixo estável". Essa fração é o único número que decide se a leitura de cinco centavos da Terra importa para a sua fatura, e é uma propriedade dos seus prompts, não do modelo.