Mise en cache de GPT-6.1 Terra : cinq centimes par lecture, et quand l'écriture devient rentable

Le tarif d'entrée mis en cache de GPT-6.1 Terra est de 0,05 $ par million de tokens — soit 95 % de moins que le tarif d'entrée standard de 1,00 $, et la remise ponctuelle la plus importante de toute la grille tarifaire. Le hic se trouve de l'autre côté du grand livre : l'écriture dans le cache coûte 1,25 $ par million pour une conservation de 30 minutes, ou 2,50 $ par million pour 12 heures. Une charge de travail qui lit deux fois le même préfixe s'en sort gagnante. Une charge de travail qui reconstruit son préfixe à chaque appel paie les frais d'écriture sans jamais bénéficier de la remise, et la grille tarifaire ne vous dira pas dans lequel de ces deux cas vous vous trouvez.

Cet article fait le calcul : le seuil de rentabilité exact, trois charges de travail détaillées à différentes échelles, l'interaction avec la falaise du contexte long de 272K, et les habitudes d'ingénierie de prompt qui détruisent discrètement les caches.

Les quatre nombres

• Entrée standard — 1,00 $ par million de jetons.

• Entrée mise en cache — 0,05 $ par million, soit une réduction de 95 %.

• Écriture dans le cache, rétention de 30 minutes — 1,25 $ par million.

• Écriture de cache, rétention de 12 heures — 2,50 $ par million.

Au-delà de 272 000 tokens d'entrée, tout double : 2,00 $ en entrée, 0,10 $ en cache, 2,50 $ en écriture de cache. Ainsi, la falaise tarifaire du long contexte ne se contente pas d'augmenter le tarif d'entrée — elle augmente en même temps le prix de la mise en cache et de l'écriture.

À titre de comparaison, l’entrée mise en cache de GPT-6.1 Sol coûte 0,10 $ et celle de GPT-5.6 Terra 0,20 $. La lecture à cinq cents de Terra est la moins chère de la famille, et c’est la remise de 95 % qui rend tout simplement économiquement possibles les appels répétés à contexte long.

Le seuil de rentabilité exact

Supposons qu’un préfixe de P tokens soit réutilisé sur N appels, et ignorons la sortie pour un instant.

• Sans mise en cache : N × P × 1,00 $.

• Avec mise en cache : une écriture à 1,25 $ × P, puis N lectures à 0,05 $ × P.

En les égalant : 0,95N = 1,25, donc N ≈ 1,32. En pratique, cela signifie que le deuxième appel est déjà rentable : l’écriture coûte 1,25 par million et chaque lecture économise 0,95, donc deux lectures récupèrent plus que l’écriture. Avec une rétention de 12 heures, l’écriture coûte 2,50 $ et le seuil de rentabilité est de 2,63 lectures — le troisième appel le rembourse.

C’est un seuil moins élevé que ne le pensent la plupart des équipes. Le mythe courant veut que la mise en cache ne soit rentable qu’en cas de très forte réutilisation ; sur cette carte, elle l’est dès la deuxième requête, à condition que le préfixe corresponde réellement.

Trois charges de travail

Un prompt système de 50 000 tokens sur 10 000 requêtes courtes. Sans cache : 10 000 × 50 000 × 1,00 $ par million = 500 $ rien que pour le préfixe. Avec cache : une écriture de 50 000 × 1,25 $ par million = 0,0625 $, plus 10 000 lectures à 50 000 × 0,05 $ par million = 25 $. Total 25,06 $ — soit 95 % d’économie sur le préfixe, et l’écriture du cache est une erreur d’arrondi.

Un dépôt de 900 000 tokens réparti sur 20 questions. Sans cache, chaque requête déclenche le tarif de contexte long : 900 000 × 2,00 $ par million = 1,80 $ par appel, soit 36 $ pour vingt. Avec cache : une écriture de 900 000 × 2,50 $ par million = 2,25 $, puis vingt lectures à 900 000 × 0,10 $ par million = 0,09 $ chacune, soit 1,80 $ au total. Total : 4,05 $ — une économie de 89 %, et la différence de dix-huit dollars représente l’intégralité de la marge sur certains produits.

Un document de 20 000 tokens réparti sur trois questions, chacune avec une persona et des instructions différentes. C’est le cas où la mise en cache échoue : si le préfixe change d’un appel à l’autre — prompt système différent, ordre des instructions différent, un ID utilisateur interpolé en tête — le modèle voit trois préfixes différents et crée trois entrées de cache. Le coût sans cache et le coût « avec cache » sont identiques, à ceci près que vous avez payé pour les écritures. La correction est structurelle : placez tout ce qui est variable à la fin du prompt, et gardez le document et les instructions stables au début.

Ce qui casse un cache/p> p>Le cache de prompts d'OpenAI fonctionne sur le préfixe inchangé d'une requête. Tout ce qui change tôt dans le prompt invalide tout ce qui suit. Les coupables habituels :/p> p>• Un horodatage ou un ID de requête dans le prompt système. C'est la cause la plus fréquente d'un taux de réussite du cache de 0 %./p> p>• Une personnalisation par utilisateur insérée en haut plutôt qu'en bas./p> p>• Des définitions d'outils réordonnées ou une liste d'outils qui change d'un appel à l'autre./p> p>• Une étape de récupération qui concatène des documents dans un ordre différent à chaque fois./p> p>• Des modifications d'espaces blancs dues aux moteurs de templates — reformater un bloc JSON suffit./p> p>• Le passage de Chat Completions à Responses au milieu du pipeline, qui modifie le préfixe sérialisé./p> p>Le diagnostic est simple : journaliser les 2 000 premiers tokens de chaque requête et les hacher. Si le hachage change entre des appels censés être identiques, le cache est mort et aucun réglage ne le ressuscitera./p> h2>Le cache et la falaise des 272K

Les deux interagissent d’une manière qui peut facilement passer inaperçue. Un préfixe mis en cache de 250 000 jetons coûte 0,05 $ par million en lecture et 1,25 $ en écriture. Faites-le passer à 300 000 jetons et tous les montants doublent : 0,10 $ en lecture, 2,50 $ en écriture, et la portion non mise en cache est facturée à 2,00 $. Un pipeline qui franchit le seuil subit l’effet de falaise à la fois du côté mis en cache et du côté non mis en cache.

Cela crée une incitation de conception peu évidente : si une charge de travail se situe juste au-dessus de 272K, réduire le préfixe à 270K peut diviser la facture par deux sans modifier la tâche. Supprimer une section de texte standard, retirer un bloc de récupération inutile ou déplacer un exemple hors du prompt système vaut plus à la limite qu’ailleurs sur la carte.

La mise en cache face aux alternatives

• Mise en cache — optimale lorsque le même long préfixe est réutilisé de nombreuses fois pendant la fenêtre de rétention, et que ce préfixe est réellement stable.

• Chunking — idéal lorsque le document est volumineux mais que chaque question ne concerne qu'une petite partie ; la récupération coûte moins cher que l'envoi de 900K tokens, même au tarif mis en cache.

• Batch/Flex — 50 % de réduction sur le tarif standard, mais la latence du mode batch se mesure en heures ; cette offre est cumulable avec la mise en cache, pas avec les produits en temps réel.

• Un modèle moins cher — GPT-6 Luna à 0,10 $/0,50 $ peut battre le tarif avec cache de Terra pour les tâches simples, car l’entrée non mise en cache de Luna ne coûte que deux fois l’entrée mise en cache de Terra.

La dernière comparaison est celle que les équipes oublient. Le cache est une réduction sur Terra, pas une garantie que Terra soit le moyen le moins cher de répondre à une question. Pour une classification sur une invite de 50 000 tokens, Luna avec cache à 0,01 $ par million de lectures reste l'option la moins chère si la tâche est suffisamment simple.

Ce que vous pouvez exécuter aujourd'hui

GPT-6.1 Terra ne figure pas au catalogue OrcaRouter au moment de la rédaction, son comportement de cache doit donc être mesuré directement auprès d’OpenAI. Les modèles disponibles — GPT-6.1 Sol à $2/$10 avec un tarif de cache à $0,10, GPT-5.6 Terra à $2/$12 avec $0,20, GPT-6 Luna à $0,10/$0,50 — peuvent tous être testés avec une seule clé, sans majoration de 0 % par rapport au prix catalogue du fournisseur.

La mesure à mettre en place n’est pas « est-ce que la mise en cache fonctionne » — elle fonctionne — mais « quelle proportion de mon trafic a un préfixe stable ». Cette proportion est le seul chiffre qui détermine si la lecture à cinq cents de Terra compte pour votre facture, et c’est une propriété de vos prompts, pas du modèle.