GPT-6.1 Terra Caching: ห้าเซนต์ต่อการอ่านหนึ่งครั้ง และเมื่อใดการเขียนจึงคุ้มค่า

อัตราค่าอินพุตแบบแคชของ GPT-6.1 Terra อยู่ที่ 0.05 ดอลลาร์ต่อล้านโทเคน — ต่ำกว่าอัตราอินพุตมาตรฐานที่ 1.00 ดอลลาร์ถึง 95% และเป็นส่วนลดเดี่ยวที่มากที่สุดบนตารางราคาทั้งใบ กับดักอยู่ที่อีกด้านของบัญชี: การเขียนลงแคชมีค่าใช้จ่าย 1.25 ดอลลาร์ต่อล้านโทเคนสำหรับการเก็บรักษา 30 นาที หรือ 2.50 ดอลลาร์ต่อล้านโทเคนสำหรับ 12 ชั่วโมง เวิร์กโหลดที่อ่านคำนำหน้าเดิมซ้ำสองครั้งจะได้เปรียบ ส่วนเวิร์กโหลดที่สร้างคำนำหน้าใหม่ทุกครั้งที่เรียกจะต้องจ่ายค่าธรรมเนียมการเขียนและไม่เคยได้รับส่วนลด และตารางราคาก็ไม่บอกคุณว่าคุณกำลังใช้แบบไหนอยู่

บทความนี้ลงมือคำนวณให้เลย: จุดคุ้มทุนที่แน่นอน ภาระงานตัวอย่างสามแบบที่สเกลต่างกัน ปฏิสัมพันธ์กับจุดทรุดตัวของบริบท{long}ที่ 272K และพฤติกรรมการออกแบบพรอมต์ที่ค่อย ๆ ทำลายแคชอย่างเงียบ ๆ

ตัวเลขทั้งสี่

• อินพุตมาตรฐาน — $1.00 ต่อหนึ่งล้านโทเค็น

• อินพุตที่แคชไว้ — $0.05 ต่อล้าน (ส่วนลด 95%)

• การเขียนแคช, เก็บรักษา 30 นาที — $1.25 ต่อล้าน

• การเขียนแคช, เก็บรักษา 12 ชั่วโมง — $2.50 ต่อล้าน

เมื่อมีโทเค็นอินพุตเกิน 272,000 ทุกอย่างจะเพิ่มเป็นสองเท่า: อินพุต $2.00, แคช $0.10, การเขียนแคช $2.50 ดังนั้นจุดเปลี่ยนของบริบทแบบยาวไม่ได้แค่เพิ่มอัตราค่าอินพุตเท่านั้น — แต่ยังเพิ่มราคาของทั้งการแคชและการเขียนในเวลาเดียวกัน

เพื่อเปรียบเทียบ อินพุตแคชของ GPT-6.1 Sol อยู่ที่ $0.10 และของ GPT-5.6 Terra อยู่ที่ $0.20 การอ่านในราคาห้าเซนต์ของ Terra นั้นถูกที่สุดในตระกูลนี้ และส่วนลด 95% คือสิ่งที่ทำให้การเรียกใช้บริบทยาวซ้ำ ๆ เป็นไปได้ในเชิงเศรษฐกิจเลยด้วยซ้ำ

จุดคุ้มทุนที่แน่นอน

สมมติว่ามี Prefix ขนาด P โทเคนที่ถูกใช้ซ้ำในการเรียก N ครั้ง และชั่วคราวให้ไม่สนใจเอาต์พุตไปก่อน

• หากไม่มีการแคช: N × P × $1.00

• ด้วยการใช้แคช: เขียนหนึ่งครั้งที่ $1.25 × P จากนั้นอ่าน N ครั้งที่ $0.05 × P

ตั้งให้เท่ากัน: 0.95N = 1.25 ดังนั้น N ≈ 1.32 ในทางปฏิบัติ นั่นหมายความว่าการเรียกครั้งที่สองมีกำไรอยู่แล้ว: การเขียนมีต้นทุน 1.25 ต่อล้าน และการอ่านแต่ละครั้งประหยัดได้ 0.95 ดังนั้นการอ่านสองครั้งจึงชดเชยได้มากกว่าต้นทุนการเขียน ด้วยระยะเก็บรักษา 12 ชั่วโมง การเขียนมีต้นทุน $2.50 และจุดคุ้มทุนคือการอ่าน 2.63 ครั้ง — การเรียกครั้งที่สามจึงชดเชยต้นทุนนั้นได้

นั่นคือเกณฑ์ที่ต่ำกว่าที่ทีมส่วนใหญ่มักคาดคิดกัน ความเชื่อผิด ๆ ที่แพร่หลายคือแคชจะคุ้มค่าก็ต่อเมื่อมีการใช้ซ้ำในระดับสูงมากเท่านั้น แต่บนการ์ดนี้ แคชให้ผลตอบแทนตั้งแต่คำขอที่สองเป็นต้นไป ตราบใดที่คำนำหน้านั้นตรงกันจริง

เวิร์กโหลดสามรายการ

พรอมต์ระบบขนาด 50,000 โทเค็น ในคำขอสั้น ๆ 10,000 ครั้ง แบบไม่แคช: 10,000 × 50,000 × $1.00 ต่อล้าน = $500 สำหรับส่วนพรีฟิกซ์เพียงอย่างเดียว แบบแคช: เขียนหนึ่งครั้ง 50,000 × $1.25 ต่อล้าน = $0.0625 บวกกับการอ่าน 10,000 ครั้งที่ 50,000 × $0.05 ต่อล้าน = $25 รวมเป็น $25.06 — ประหยัดได้ 95% สำหรับส่วนพรีฟิกซ์ และการเขียนแคชก็เป็นเพียงความคลาดเคลื่อนจากการปัดเศษเท่านั้น

รีพอซิทอรีขนาด 900,000 โทเคนสำหรับ 20 คำถาม เมื่อไม่แคช ทุกคำขอจะตกอยู่ในอัตราคอนเท็กซ์ยาว: 900,000 × $2.00 ต่อล้าน = $1.80 ต่อครั้ง, $36 สำหรับ 20 ครั้ง เมื่อแคช: เขียนหนึ่งครั้ง 900,000 × $2.50 ต่อล้าน = $2.25 จากนั้นอ่าน 20 ครั้งที่ 900,000 × $0.10 ต่อล้าน = $0.09 ต่อครั้ง รวม $1.80 รวมทั้งหมด $4.05 — ประหยัด 89% และส่วนต่าง 18 ดอลลาร์คือกำไรทั้งหมดของผลิตภัณฑ์บางรายการ

เอกสารขนาด 20,000 โทเคนกระจายอยู่ในสามคำถาม โดยแต่ละคำถามมีบุคลิกและคำสั่งที่ต่างกัน นี่คือกรณีที่แคชล้มเหลว: หากคำนำหน้าเปลี่ยนไประหว่างการเรียก — พรอมต์ระบบต่างกัน ลำดับคำสั่งต่างกัน หรือมี ID ผู้ใช้แทรกอยู่ด้านบน — โมเดลจะเห็นคำนำหน้าที่ต่างกันสามแบบและเขียนแคชสามชุด แบบไม่ใช้แคชกับแบบ "ใช้แคช" มีต้นทุนเท่ากัน ยกเว้นว่าคุณต้องจ่ายสำหรับการเขียนแคช วิธีแก้คือเชิงโครงสร้าง: วางทุกอย่างที่แปรผันไว้ท้ายพรอมต์ และเก็บเอกสารกับคำสั่งที่คงที่ไว้ด้านหน้า

อะไรทำให้แคชพัง/p> p>การแคชพรอมต์ของ OpenAI ทำงานบนส่วนนำหน้าของคำขอที่ไม่มีการเปลี่ยนแปลง สิ่งใดก็ตามที่เปลี่ยนในช่วงต้นของพรอมต์จะทำให้ทุกอย่างหลังจากนั้นใช้ไม่ได้ สาเหตุที่พบบ่อย:/p> p>• การประทับเวลาหรือ ID คำขอในพรอมต์ระบบ นี่คือสาเหตุที่พบบ่อยที่สุดของอัตราการฮิตแคช 0%/p> p>• การปรับแต่งเฉพาะผู้ใช้ที่แทรกไว้ด้านบนแทนที่จะเป็นด้านล่าง/p> p>• คำจำกัดความของเครื่องมือที่ถูกจัดลำดับใหม่ หรือรายการเครื่องมือที่เปลี่ยนไประหว่างการเรียก/p> p>• ขั้นตอนการดึงข้อมูลที่นำเอกสารมาต่อกันในลำดับที่แตกต่างกันในแต่ละครั้ง/p> p>• การเปลี่ยนแปลงช่องว่างจากเอนจินเทมเพลต — แค่จัดรูปแบบบล็อก JSON ใหม่ก็เพียงพอ/p> p>• การสลับระหว่าง Chat Completions และ Responses กลางไปป์ไลน์ ซึ่งจะเปลี่ยนพรีฟิกซ์ที่ถูกซีเรียลไลซ์/p> p>การวินิจฉัยนั้นง่าย: บันทึก 2,000 โทเคนแรกของแต่ละคำขอแล้วแฮชค่าเหล่านั้น หากค่าแฮชเปลี่ยนไประหว่างการเรียกที่ควรจะเหมือนกัน แคชก็ตายแล้ว และไม่ว่าจะปรับแต่งแค่ไหนก็ไม่สามารถทำให้กลับมาใช้งานได้/p> h2>แคชและหน้าผา 272K

สองสิ่งนี้มีปฏิสัมพันธ์กันในลักษณะที่มองข้ามได้ง่าย พรีฟิกซ์ที่แคชไว้ขนาด 250,000 โทเคนมีค่าใช้จ่ายในการอ่าน $0.05 ต่อล้านโทเคน และเขียน $1.25 ต่อล้านโทเคน หากขยายเป็น 300,000 โทเคน ตัวเลขทุกตัวจะเพิ่มเป็นสองเท่า: อ่าน $0.10 เขียน $2.50 และส่วนที่ไม่ได้แคชจะถูกคิดค่าบริการที่ $2.00 ไปป์ไลน์ที่ข้ามเกณฑ์นี้จะต้องจ่ายราคาที่กระโดดเป็นหน้าผาทั้งในฝั่งที่แคชและฝั่งที่ไม่ได้แคช

สิ่งนี้สร้างแรงจูงใจด้านการออกแบบที่ไม่ชัดเจน: หากปริมาณงานอยู่เหนือ 272K เพียงเล็กน้อย การย่อ prefix ให้เหลือ 270K ก็สามารถลดค่าใช้จ่ายลงได้ครึ่งหนึ่งโดยไม่ต้องเปลี่ยนงาน การตัดทอนส่วน boilerplate การทิ้งบล็อก retrieval ที่ไม่จำเป็น หรือการย้ายตัวอย่างออกจาก system prompt นั้นให้ผลตอบแทนมากกว่า ณ จุดขอบเขตนี้ เมื่อเทียบกับจุดอื่นใดบนการ์ดราคา

การแคชเมื่อเทียบกับทางเลือกอื่น

• การแคช (Caching) — เหมาะที่สุดเมื่อคำนำหน้าแบบยาวเดียวกันถูกนำกลับมาใช้ซ้ำหลายครั้งภายในหน้าต่างเวลาการเก็บรักษาข้อมูล และคำนำหน้านั้นมีเสถียรภาพอย่างแท้จริง

• Chunking — เหมาะที่สุดเมื่อเอกสารมีขนาดใหญ่แต่แต่ละคำถามเกี่ยวข้องกับเพียงส่วนเล็ก ๆ; การดึงข้อมูลมีต้นทุนต่ำกว่าการส่ง 900K โทเค็น แม้จะใช้อัตราแบบแคชก็ตาม

• Batch/Flex — ลด 50% จากราคามาตรฐาน แต่ความหน่วงแบบแบตช์วัดเป็นชั่วโมง; ใช้ร่วมกับการแคชได้ แต่ใช้ร่วมกับผลิตภัณฑ์แบบเรียลไทม์ไม่ได้

• โมเดลที่ถูกกว่า — GPT-6 Luna ในราคา $0.10/$0.50 สามารถเอาชนะอัตราแบบแคชของ Terra สำหรับงานง่าย ๆ ได้ เพราะอินพุตแบบไม่แคชของ Luna มีราคาเพียงสองเท่าของอินพุตแบบแคชของ Terra

การเปรียบเทียบสุดท้ายคือสิ่งที่ทีมต่างๆ มักลืม แคชเป็นส่วนลดบน Terra ไม่ใช่การรับประกันว่า Terra เป็นวิธีที่ถูกที่สุดในการตอบคำถาม สำหรับการจำแนกประเภทบนพรอมต์ขนาด 50,000 โทเคน Luna ที่แคชไว้ในราคา $0.01 ต่อล้านการอ่านยังคงเป็นตัวเลือกที่ถูกกว่าหากงานนั้นเรียบง่ายพอ

สิ่งที่คุณสามารถรันได้ในวันนี้

ณ เวลาที่เขียนบทความนี้ GPT-6.1 Terra ยังไม่มีอยู่ในแค็ตตาล็อกของ OrcaRouter ดังนั้นจึงต้องวัดพฤติกรรมแคชของโมเดลนี้เทียบกับ OpenAI โดยตรง โมเดลที่เปิดให้ใช้งานอยู่ ได้แก่ GPT-6.1 Sol ในราคา $2/$10 โดยมีอัตราแคชที่ $0.10, GPT-5.6 Terra ในราคา $2/$12 โดยมีอัตราแคชที่ $0.20 และ GPT-6 Luna ในราคา $0.10/$0.50 ล้วนสามารถทดลองใช้งานได้ทั้งหมดด้วยคีย์เดียว โดยบวกเพิ่ม 0% จากราคาปกติของผู้ให้บริการ

การวัดที่ต้องสร้างไม่ใช่ "แคชทำงานได้ไหม" — มันทำงานได้ — แต่เป็น "สัดส่วนเท่าไรของทราฟฟิกของฉันที่มีพรีฟิกซ์ที่เสถียร" สัดส่วนนั้นคือตัวเลขเดียวที่ตัดสินว่าการอ่านในราคาห้าเซนต์ของ Terra มีผลต่อบิลของคุณหรือไม่ และมันเป็นคุณสมบัติของพรอมต์ของคุณ ไม่ใช่ของโมเดล