מטמון GPT-6.1 Terra: חמישה סנט לקריאה, ומתי הכתיבה משתלמת

שיעור הקלט המטמון של GPT-6.1 Terra עומד על $0.05 למיליון טוקנים — 95% מתחת לשיעור הקלט הסטנדרטי של $1.00, וזו ההנחה הבודדת הגדולה ביותר בכל לוח התעריפים. המלכוד נמצא בצד השני של המאזן: כתיבה למטמון עולה $1.25 למיליון עבור שמירה של 30 דקות או $2.50 למיליון עבור 12 שעות. עומס עבודה שקורא את אותו פריפיקס פעמיים יוצא מורווח. עומס עבודה שבונה מחדש את הפריפיקס בכל קריאה משלם את דמי הכתיבה ולעולם אינו זוכה בהנחה, ולוח התעריפים לא יגיד לכם באיזה מהשניים אתם פועלים.

המאמר הזה עושה את החשבון: נקודת האיזון המדויקת, שלושה עומסי עבודה מדוגמים בקני מידה שונים, האינטראקציה עם צוק ההקשר הארוך של 272K, והרגלי הנדסת הפרומפטים שהורסים בשקט מטמונים.

ארבעת המספרים

• קלט סטנדרטי — $1.00 למיליון טוקנים.

קלט במטמון — $0.05 למיליון, הנחה של 95%.

• כתיבת מטמון, שמירה ל-30 דקות — 1.25 דולר למיליון.

• כתיבה למטמון, שמירה ל־12 שעות — $2.50 למיליון.

מעל 272,000 טוקני קלט הכול מוכפל: $2.00 קלט, $0.10 במטמון, $2.50 כתיבה למטמון. לכן צוק ההקשר הארוך לא רק מעלה את תעריף הקלט — הוא מעלה בו-זמנית את המחיר של גם האחסון במטמון וגם הכתיבה.

לשם השוואה, הקלט השמור במטמון של GPT-6.1 Sol עומד על $0.10 וזה של GPT-5.6 Terra על $0.20. הקריאה בחמישה סנט של Terra היא הזולה במשפחה, וההנחה של 95% היא זו שמאפשרת בכלל קריאות חוזרות עם הקשר ארוך באופן כלכלי.

נקודת האיזון המדויקת

נניח שקידומת של P טוקנים ממוחזרת על פני N קריאות, ולהתעלם מהפלט לרגע.

• ללא מטמון: N × P × $1.00.

• עם מטמון: כתיבה אחת בעלות $1.25 × P, ולאחר מכן N קריאות בעלות $0.05 × P.

השוואתם: 0.95N = 1.25, ולכן N ≈ 1.32. בפועל זה אומר שהקריאה השנייה כבר רווחית: הכתיבה עולה 1.25 למיליון וכל קריאה חוסכת 0.95, כך ששתי קריאות מחזירות יותר מהכתיבה. עם שמירה של 12 שעות, הכתיבה היא $2.50 ונקודת האיזון היא 2.63 קריאות — הקריאה השלישית מכסה את העלות.

זהו רף נמוך יותר ממה שרוב הצוותים מניחים. המיתוס הנפוץ הוא שקאשינג משתלם רק בשימוש חוזר גבוה מאוד; בכרטיס הזה הוא משתלם מהבקשה השנייה, בתנאי שהקידומת אכן תואמת.

שלושה עומסי עבודה

פרומפט מערכת בן 50,000 טוקנים על פני 10,000 בקשות קצרות. ללא מטמון: 10,000 × 50,000 × $1.00 למיליון = $500 רק עבור הקידומת. עם מטמון: כתיבה אחת של 50,000 × $1.25 למיליון = $0.0625, בתוספת 10,000 קריאות ב-50,000 × $0.05 למיליון = $25. סה״כ $25.06 — חיסכון של 95% על הקידומת, וכתיבת המטמון היא שגיאת עיגול.

מאגר של 900,000 טוקנים על פני 20 שאלות. ללא מטמון, כל בקשה מפעילה את תעריף ההקשר הארוך: 900,000 × $2.00 למיליון = $1.80 לכל בקשה, $36 עבור עשרים בקשות. עם מטמון: כתיבה אחת של 900,000 × $2.50 למיליון = $2.25, ואז עשרים קריאות במחיר 900,000 × $0.10 למיליון = $0.09 כל אחת, $1.80 בסך הכול. סה״כ $4.05 — חיסכון של 89%, וההפרש של 18 דולר הוא כל שולי הרווח בחלק מהמוצרים.

מסמך בן 20,000 טוקנים על פני שלוש שאלות, כל אחת עם פרסונה והוראות שונות. זה המקרה שבו המטמון נכשל: אם הקידומת משתנה בין קריאות — פרומפט מערכת שונה, סדר הוראות שונה, מזהה משתמש שמושתל בראש — המודל רואה שלוש קידומות שונות וכותב שלושה מטמונים. מצב ללא מטמון ומצב "עם מטמון" עולים אותו דבר, אלא ששילמת על הכתיבות. התיקון הוא מבני: לשים את כל מה שמשתנה בסוף הפרומפט, ולהשאיר את המסמך ואת ההוראות הקבועות בהתחלה.

מה שובר את המטמון/p> p>מטמון הפרומפטים של OpenAI פועל על הקידומת שאינה משתנה של בקשה. כל דבר שמשתנה מוקדם בפרומפט מבטל את כל מה שאחריו. הגורמים השכיחים:/p> p>• חותמת זמן או מזהה בקשה בפרומפט המערכת. זהו הגורם השכיח ביותר לשיעור פגיעות במטמון של 0%./p> p>• התאמה אישית לכל משתמש שמוכנסת בראש במקום בתחתית./p> p>• הגדרות כלים מסודרות מחדש או רשימת כלים שמשתנה בין קריאות./p> p>• שלב אחזור שמשרשר מסמכים בסדר שונה בכל פעם./p> p>• שינויי רווחים שמקורם במנועי תבניות — עיצוב מחדש של בלוק JSON מספיק./p> p>• מעבר בין Chat Completions ל-Responses באמצע תהליך העיבוד, מה שמשנה את הקידומת שעוברת סריאליזציה./p> p>האבחון פשוט: תעד ביומן את 2,000 הטוקנים הראשונים של כל בקשה ובצע להן גיבוב. אם הגיבוב משתנה בין קריאות שאמורות להיות זהות, המטמון מת, ושום כיוונון לא יחיה אותו./p> h2>המטמון וצוק ה-272K

שני אלה פועלים יחד בדרך שקל לפספס. קידומת ממוטנת בגודל 250,000 טוקנים עולה $0.05 למיליון לקריאה ו-$1.25 לכתיבה. הגדילו אותה ל-300,000 טוקנים, וכל מספר מוכפל: $0.10 לקריאה, $2.50 לכתיבה, והחלק שאינו ממוטנן מחויב ב-$2.00. צינור עיבוד שחוצה את הסף משלם את קפיצת המחיר גם בצד הממוטנן וגם בצד הלא-ממוטנן.

זה יוצר תמריץ תכנוני שאינו מובן מאליו: אם עומס עבודה נמצא ממש מעל 272K, הקטנת הקידומת ל-270K יכולה לחתוך את החשבון בחצי בלי לשנות את המשימה. קיצוץ של קטע תבנית, הסרת בלוק אחזור מיותר או העברת דוגמה מחוץ להנחיית המערכת שווה יותר בגבול מאשר בכל מקום אחר בכרטיס.

מטמון לעומת החלופות

• מטמון — מיטבי כאשר אותה תחילית ארוכה נעשה בה שימוש חוזר פעמים רבות בתוך חלון השימור, והתחילית אכן יציבה.

• פילוח — מתאים ביותר כאשר המסמך גדול אך כל שאלה נוגעת רק בחלק קטן; אחזור זול יותר משליחת 900K טוקנים אפילו בתעריף המטמון.

• Batch/Flex — 50% הנחה מהמחיר הסטנדרטי, אך זמן האחזור של Batch נמדד בשעות; זה מצטבר עם caching, ולא עם מוצרים בזמן אמת.

• מודל זול יותר — GPT-6 Luna בתעריף $0.10/$0.50 יכול לגבור על התעריף השמור במטמון של Terra במשימות פשוטות, מכיוון שהקלט הלא שמור במטמון של Luna הוא רק פי שניים מהקלט השמור במטמון של Terra.

ההשוואה האחרונה היא זו שצוותים נוטים לשכוח. שמירה במטמון היא הנחה על Terra, לא ערובה לכך ש-Terra היא הדרך הזולה ביותר לענות על שאלה. עבור סיווג על פרומפט בן 50,000 טוקנים, Luna עם מטמון במחיר של $0.01 למיליון קריאות היא עדיין האפשרות הזולה יותר אם המשימה פשוטה מספיק.

מה ניתן להריץ כיום

GPT-6.1 Terra אינו נמצא בקטלוג של OrcaRouter נכון לכתיבת שורות אלה, ולכן יש למדוד את התנהגות המטמון שלו מול OpenAI ישירות. המודלים הפעילים — GPT-6.1 Sol במחיר $2/$10 עם תעריף מטמון של $0.10, GPT-5.6 Terra במחיר $2/$12 עם $0.20, ו-GPT-6 Luna במחיר $0.10/$0.50 — כולם ניתנים להפעלה באמצעות מפתח אחד בתוספת של 0% מעל מחיר המחירון של הספק.

"המדידה שצריך לבנות אינה „האם המטמון עובד” — הוא עובד — אלא „איזה חלק מהתעבורה שלי בעל קידומת יציבה”. החלק הזה הוא המספר היחיד שקובע אם הקריאה בעלות חמישה סנטים של Terra משפיעה על החשבון שלך, והוא מאפיין של הפרומפטים שלך, לא של המודל."