Context Window ของ Mistral Large 4: อ้าง 1M แต่วัดได้ 524K และเหตุใดส่วนต่างจึงถูกคิดเงิน

การ์ดโมเดลของ Mistral ระบุไว้อย่างหนึ่ง ขณะที่การวัดผลอิสระระบุอีกอย่างหนึ่ง และช่องว่างระหว่างกันไม่ใช่เรื่องผิวเผิน การ์ดระบุหน้าต่างคอนเท็กซ์ 1M โทเคน ส่วน Artificial Analysis ซึ่งประเมินการกำหนดค่าที่它能รันได้จริง วัดได้ 524,288 โทเคน อินพุตทุกโทเคนที่คุณส่งจะถูกคิดค่าบริการ ดังนั้นคำถามที่ว่า "ฉันมีคอนเท็กซ์มากแค่ไหน" จึงเป็นคำถามเดียวกันกับ "ฉันได้รับอนุญาตให้ใช้จ่ายในคำขอเดียวได้มากแค่ไหน"

ความแตกต่างระหว่างตัวเลขสองจำนวนนั้นคือ 2× ซึ่งสำหรับโมเดลที่คิดราคา $1.36 ต่ออินพุตหนึ่งล้านโทเคน ถือว่าไม่ใช่ความคลาดเคลื่อนเล็กน้อยจากการปัดเศษ

ตัวเลขคืออะไร และแต่ละตัวมาจากไหน

• 1,048,576 โทเค็น — ค่าที่อยู่ในไฟล์การกำหนดค่าที่ Mistral จัดส่งมาพร้อมกับค่าน้ำหนัก เป็นเพดานที่ผู้จำหน่ายกำหนดไว้ และการ์ดโมเดลระบุซ้ำว่า "1M"

• 524,288 โทเค็น — สิ่งที่ Artificial Analysis วัดได้บนการกำหนดค่าที่ทดสอบ ซึ่งเป็นครึ่งหนึ่งของเพดาน

• ค่าใช้จ่ายของสิ่งนี้ — ที่ราคา $1.36 ต่อล้าน การเติม 524K มีค่าใช้จ่ายประมาณ $0.71 ต่อคำขอ; การเติมเต็ม 1M จะมีค่าใช้จ่าย $1.43 ทั้งสองเป็นฝั่งอินพุตของการเรียกครั้งเดียว ก่อนจะมีเอาต์พุตใด ๆ

ตัวเลขจากผู้ขายไม่ใช่คำโกหก และตัวเลขที่วัดได้จริงก็ไม่ใช่บั๊ก หน้าต่างบริบทเป็นความสามารถของสถาปัตยกรรม สิ่งที่คอนฟิกูเรชันการให้บริการหนึ่งๆ จะรับได้จริง — ด้วยงบ KV cache, tensor parallelism และ batch size ของมัน — นั้นเล็กกว่า และช่องว่างระหว่างสองสิ่งนี้เป็นเรื่องปกติทั่วทั้งอุตสาหกรรมนี้ เพียงแต่ไม่ค่อยมีการระบุไว้ในบรรทัดเดียวกับราคา

ทำไมเรื่องนี้จึงสำคัญกว่าที่อื่น

เหตุผลสามข้อที่เฉพาะกับรุ่นนี้

มันคือ MoE ระดับล้านล้านพารามิเตอร์ 1.05 ล้านล้านพารามิเตอร์ โดยมี 52,000 ล้านพารามิเตอร์ที่ทำงานอยู่ต่อโทเคน บวกกับ vision encoder ขนาด 1,600 ล้านพารามิเตอร์ KV cache สำหรับบริบทยาวบนโมเดลระดับนี้คือข้อจำกัดที่ผูกมัดการให้บริการ ไม่ใช่เจตนาที่ระบุในไฟล์ config ตัวเลขที่วัดได้คือตัวเลขที่ซื่อตรงสำหรับการวางแผน

คิดราคาตามจำนวนโทเคน ไม่ใช่ตามจำนวนคำขอ คำขอแบบ long-context บนการ์ดใบนี้ถือเป็นรายการค่าใช้จ่ายที่ขยายเป็นเส้นตรงตามปริมาณที่คุณส่งไป คุณไม่ได้กำลังซื้อ "หน้าต่าง 1M" แต่คุณกำลังซื้อโทเคน และหน้าต่างนั้นเป็นเพียงตัวกำหนดว่ามีโทเคนได้กี่รายการที่มาถึงในการเรียกครั้งเดียว

น้ำหนักโมเดลมาพร้อมกับคอนฟิก เมื่อคุณดาวน์โหลด bf16 ขนาด 1,060.6 GB และอ่าน code>config.json/code> คุณจะเห็นค่า 1,048,576 และคุณจะอดใจไม่ได้ที่จะวางแผนโดยยึดตามค่านั้น สูตรการใช้งานของ vLLM กำหนดให้ใช้ tensor parallelism ที่ 8 พร้อมแคช KV แบบ FP8 ซึ่งเป็นรูปแบบการกำหนดค่าแบบที่หน้าต่างที่ให้บริการกับหน้าต่างที่กำหนดค่าไว้เริ่มไม่ตรงกันพอดี

วิธีวัดเพดานของคุณเองในเวลาเพียงบ่ายเดียว

ส่งคำขอที่เกินกว่าที่คุณคิดว่าเป็นขีดจำกัด แล้วอ่านข้อความข้อผิดพลาด — ผู้ให้บริการมักส่งข้อความระบุจำนวนโทเค็นกลับมา แทนที่จะตัดข้อความทิ้งอย่างเงียบ ๆ ในกรณีส่วนใหญ่ ซึ่งจะทำให้คุณได้เพดานที่ให้บริการจริงบนโฮสต์ที่คุณใช้อยู่ และนั่นคือตัวเลขเดียวที่งบประมาณของคุณควรมี

จากนั้นส่งคำขอที่ 80% ของเพดานนั้น แล้วสังเกตเวลาตอบสนอง โมเดลที่มีพารามิเตอร์หนึ่งล้านล้านตัวซึ่งอ่านบริบทแบบยาวจะมีเวลาถึงโทเคนแรกที่เพิ่มขึ้นตามความยาวของพรอมต์ ตัวเลข 524K เป็นเพียงหน้าต่างความจุ ไม่ใช่คำสัญญาเรื่องความเร็ว

สุดท้าย ให้เปรียบเทียบเพดานที่ได้กับความยาวอินพุตที่เปอร์เซ็นไทล์ที่ 95 แทนที่จะเป็นค่าเฉลี่ย ค่าเฉลี่ยไม่เคยเป็นตัวกำหนดขอบเขต หางของการกระจายต่างหากคือจุดที่ไปป์ไลน์การแบ่งชิ้นซึ่งคุณไม่ได้เผื่อไว้จะปรากฏขึ้น

หน้าต่างของคู่แข่งมีหน้าตาเป็นอย่างไร

• DeepSeek V4 Pro — บริบท 1M, เอาต์พุต 384K, ราคาอินพุต $0.66 และเอาต์พุต $1.98 ในช่วงนอกเวลาเร่งด่วน

• Grok 4.7 —บริบท 500K, เอาต์พุต 450K, ราคา $2.00 และ $6.00 แบบคงที่

• Qwen3-Max —บริบท 262K, เอาต์พุต 65K, $0.36 และ $1.43

• Mistral Large 4 — อ้าง 1M วัดได้ 524K ราคาตามรายการ $1.36 และ $4.18

เมื่อเทียบกับคู่แข่งในตลาดนั้น หน้าต่างบริบทที่วัดได้ของ Mistral อยู่ระหว่างตัวเลขที่อ้างว่า 262K กับ 1M — ใกล้ตรงกลางมากกว่ายอดบน หากบริบทคือเหตุผลที่คุณกำลังพิจารณามัน ตัวเลขที่วัดได้คือตัวเลขที่ควรอยู่ในตารางเปรียบเทียบ และมันต้องแลกมาด้วยการเสียตัวเลขพาดหัวไปครึ่งหนึ่ง

{{1}}Mistral Large 4{{/1}} ไม่ได้อยู่ใน{{2}}แคตตาล็อกของ OrcaRouter{{/2}} ดังนั้นนี่จึงไม่ใช่เส้นทางที่เราเสนอได้; แต่สามารถเรียกใช้งานได้ผ่าน API ของ Mistral เองและโฮสต์ของบุคคลที่สาม โดยทั่วไปสิ่งที่เราให้บริการคือปลายทางเดียวที่เข้ากันได้กับ OpenAI ซึ่งรองรับมากกว่า 224 โมเดล ในราคาตามรายการของผู้ให้บริการโดยไม่บวกเพิ่ม — โดยหน้าต่างของผู้ขาย ไม่ว่าจะออกมาเป็นอย่างไร ก็คือหน้าต่างที่คุณจะถูกเรียกเก็บเงินตาม