Pareto 26.10 กับ Pareto 26.9: ตัวเลขเดียวที่แยกสองรีลีสนี้

การเปรียบเทียบ Pareto 26.10กับ Pareto 26.9ส่วนใหญ่แล้วเป็นการศึกษาสิ่งที่ไม่เปลี่ยนแปลง ผู้จำหน่ายรายเดิม สถาปัตยกรรมแบบคอมโพสิตแบบเดิม คำตอบสูงสุด 131,072 โทเคนแบบเดิม พารามิเตอร์ที่ประกาศไว้ห้าตัวแบบเดิม อัตราราคาที่เผยแพร่บนหน้าข้อมูลราคาของผู้จำหน่ายเองแบบเดิม และ — ในเบนช์มาร์กเดียวที่ทั้งสองรุ่นใช้ร่วมกัน — ความแตกต่างหนึ่งในสิบของคะแนนที่เอื้อต่อรุ่นที่เก่ากว่า ในมิติที่ผู้คนมักใช้เปรียบเทียบโมเดลกัน ทั้งสองเป็นผลิตภัณฑ์เดียวกันที่สวมหมายเลขเวอร์ชันต่างกัน แต่มีมิติหนึ่งที่ต่างกัน และเป็นมิติที่กำหนดว่าภาระงานใดจะใช้รุ่นใดรุ่นหนึ่งได้เลย นั่นคือหน้าต่างบริบท ซึ่ง 26.9 ให้ 262,144 โทเคน และ 26.10 ให้ 1,048,576ความล้มเหลวของ AI และเหตุการณ์ที่เกี่ยวกับเอเจนต์ซึ่งมีการบันทึกไว้และอยู่เบื้องหลังการเปิดตัวแบบนี้ ถูกรวบรวมไว้ใน the OrcaRouter AI Incident Archive โดยแต่ละรายการมีแหล่งอ้างอิง ระดับความรุนแรง เกรดความเชื่อมั่น และสถานะข้อโต้แย้งของตัวเอง

ทั้งสองรุ่นเปิดใช้งานจริงแล้ว pareto-26.10 คือรีลีสที่กลายเป็นค่าเริ่มต้นภายใต้ alias pareto เมื่อวันที่ 15 ตุลาคม 2026 เมื่อ Unbiased ย้ายรีลีสที่พร้อมใช้งานทั่วไปของตนมาไว้บนรุ่นนี้; pareto-26.9 คือรีลีสเดือนกันยายนที่ผู้ขายกล่าวว่า “ยังคงมีให้ใช้งาน” สำหรับใครก็ตามที่ต้องการอยู่ในรุ่นเดิม นั่นคือการตัดสินใจทั้งหมดที่อยู่ตรงหน้าผู้ที่ติดต่อเข้ามาในวันนี้ และส่วนที่เหลือของหน้านี้คือรายละเอียดเบื้องหลังการตัดสินใจดังกล่าว

ข้อเท็จจริงแวดล้อม

โมเดลทั้งสองได้รับการระบุไว้ในเอกสารว่ารองรับอินพุตข้อความและภาพ และส่งคืนข้อความ และทั้งคู่ไม่ได้เผยแพร่ตัวระบุ Hugging Face — น้ำหนักโมเดลถูกปิดทั้งสองฝั่งของการเปรียบเทียบนี้ จึงไม่มีอะไรให้ดาวน์โหลดและโฮสต์เอง ทั้งสองไม่มี Benchmark อิสระ โมเดลทั้งสองให้บริการโดยผู้ให้บริการรายเดียวคือ Unbiased เอง ซึ่งหมายความว่าไม่มีโฮสต์ที่สองให้สลับไปใช้เมื่อเกิดความล้มเหลวภายในสแต็กของผู้ขายเองสำหรับทั้งสองรุ่น ดังนั้นการเปรียบเทียบด้านล่างจึงเป็นการเปรียบเทียบระหว่างการกำหนดค่าสองแบบของสายผลิตภัณฑ์เดียวจากผู้ขายรายเดียว ไม่ใช่ระหว่างสองระบบนิเวศ

บริบทคือข้อโต้แย้งทั้งหมด

การเพิ่มบริบทขึ้น 4× ฟังดูเหมือนเป็นแค่บรรทัดหนึ่งในสเปก จนกว่าคุณจะนำมันไปจับคู่กับสิ่งที่ผู้คนทำจริง ๆ กับโมเดลที่รองรับบริบทขนาดยาว

ที่ 262,144 โทเค็น เซสชันเอเจนต์ที่ทำงานกับทั้งรีโพซิทอรี ทรานสคริปต์การสนับสนุนที่ยาว หรือเธรดการวิจัยที่ใช้เวลาหลายชั่วโมง ถือเป็นปัญหาการแบ่งข้อมูลเป็นก้อน คุณต้องเรียกคืนข้อมูล สรุปข้อมูล เก็บหน้าต่างแบบเลื่อน และยอมรับว่าโมเดลเห็นเพียงการสร้างภารกิจขึ้นใหม่ ไม่ใช่ภารกิจจริง ที่ 1,048,576 โทเค็น งานเหล่านั้นพอดี — ไม่ใช่พอดีแบบสบาย ๆ เสมอไป และไม่ใช่ถูก ๆ ที่ 0.80 ดอลลาร์ต่อโทเค็นอินพุตหนึ่งล้านโทเค็นเมื่อไม่มีแคชฮิต — แต่ก็พอดี ความแตกต่างในทางปฏิบัติระหว่างสองรีลีสคือไปป์ไลน์ของคุณต้องมีเลเยอร์เรียกคืนข้อมูลคั่นระหว่างข้อมูลกับโมเดลหรือไม่

นั่นคือการตัดสินใจทางวิศวกรรมที่แท้จริง และยังเป็นเพียงเรื่องเดียวในหน้านี้ที่มีคำตอบที่โต้แย้งได้อย่างมีเหตุผล ส่วนเรื่องอื่น ๆ นั้นใกล้เคียงกันมากพอจนควรเลือกจากปัจจัยอื่นที่ไม่ใช่คุณภาพ

เคียงข้างกัน ทีละมิติ

• สตริงโมเดล — pareto-26.10 (ค่าเริ่มต้นเบื้องหลัง pareto ตั้งแต่ 2026-10-15) เทียบกับ pareto-26.9 (คงไว้ ไม่ใช่ค่าเริ่มต้น)

• หน้าต่างบริบท — 1,048,576 โทเค็น เทียบกับ 262,144 โทเค็น

• การตอบกลับสูงสุด — 131,072 โทเค็นในทั้งสองรายการ ไม่เปลี่ยนแปลงระหว่างการเผยแพร่

• รูปแบบข้อมูล — อินพุตข้อความ + รูปภาพ, เอาต์พุตข้อความ, ทั้งสองแบบ

• พารามิเตอร์ที่ประกาศไว้ — max_tokens, temperature, top_p, tools, tool_choice บน 26.10; ชุดเดียวกันพร้อม response_format บน 26.9

• การเรียกใช้เครื่องมือ — tool_choice ถูกจำกัดให้เป็น auto ใน 26.10; โมเดลจะเป็นผู้ตัดสินใจว่าจะเรียกหรือไม่ คุณไม่สามารถบังคับได้

• เวตของโมเดล — ปิดทั้งสองรายการ; ไม่มีตัวระบุ Hugging Face ในบันทึกใดเลย

• ผู้ให้บริการเสิร์ฟ — มีเพียงรายเดียว คือผู้ขาย ทั้งสองฝ่าย

• อัตราที่ประกาศ — $0.80 อินพุต / $0.03 แคช / $3.20 เอาต์พุต ต่อล้าน สำหรับทั้งสอง ตามหน้าค่าบริการปัจจุบันของผู้ให้บริการ

• DeepSWE v1.1 — 69.9% ที่ $0.24 ต่องานใน 26.10 เทียบกับ 70.0% ที่ $0.29 ต่องานใน 26.9 โดยทั้งสองรายการดำเนินการโดยผู้ขาย

สองแถวในนั้นสมควรมีย่อหน้าเป็นของตัวเอง เพราะ它们是แถวที่มักถูกรายงานผิดพลาด

ความแตกต่างของ structured output ที่ไม่มีใครโฆษณา

รายการพารามิเตอร์ไม่เหมือนกัน บันทึกแค็ตตาล็อกสำหรับ 26.9 ระบุ response_format ไว้ในพารามิเตอร์ที่รองรับ ส่วนบันทึกสำหรับ 26.10 ไม่ระบุ พื้นผิวที่ประกาศไว้สำหรับ 26.10 คือ max_tokens, temperature, top_p, tools และ tool_choice เท่านั้น

อ่านให้ละเอียดแทนที่จะอ่านแค่พาดหัว: การที่พารามิเตอร์ตัวหนึ่งไม่ปรากฏอยู่ในรายการที่ประกาศไว้ ไม่ได้เป็นหลักฐานว่า endpoint จะปฏิเสธพารามิเตอร์นั้น และเอกสาร API ของผู้ขายเองก็ไม่ได้แจกแจงรายการใดในสองรายการนี้เลย แต่ถ้าไปป์ไลน์ของคุณพึ่งพา JSON-mode หรือเอาต์พุตที่ถูกจำกัดด้วยสคีมา และคุณกำลังย้ายจาก 26.9 ไปเป็น 26.10 โดยตั้งสมมติฐานว่ารุ่นใหม่เป็น superset แบบเข้มงวด สมมติฐานนั้นก็ไม่มีอะไรที่เผยแพร่แล้วรองรับ ทดสอบกับทราฟฟิกของคุณเองก่อนย้าย หรือวางแผนตรวจสอบเอาต์พุตฝั่งไคลเอนต์ไว้ มันเป็นเรื่องเล็ก ๆ ที่กลายเป็นอินซิเดนต์ได้ในวันอังคาร

บัตรอัตราค่าบริการที่เปิดใช้งานอยู่สองใบให้ข้อมูลไม่ตรงกันว่า 26.9 มีราคาเท่าไร

นี่คือส่วนที่ยุ่งเหยิงที่สุดของการเปรียบเทียบ และเป็นส่วนที่มีแนวโน้มมากที่สุดที่จะส่งผลต่อการตัดสินใจจริง

Unbiased เผยแพร่ตารางราคาเพียงชุดเดียว — อินพุต $0.80, อินพุตที่แคชไว้ $0.03, เอาต์พุต $3.20 — และไม่แยกเวอร์ชันตามการเปิดตัว หากตีความตามตัวอักษร นั่นหมายความว่า 26.10 และ 26.9 มีค่าใช้จ่ายต่อโทเค็นเท่ากันในวันนี้ ซึ่งทำให้การย้ายระบบไม่มีค่าใช้จ่าย และการเพิ่มขึ้นของคอนเท็กซ์เป็นตัวแปรเดียว ในขณะที่บันทึกข้อมูลทางเทคนิคของโมเดลเองยังคงมีตัวเลขของเดือนกันยายนสำหรับ 26.9: อินพุต $2.50, แคชไว้ $0.25, เอาต์พุต $7.50 แหล่งข้อมูลทั้งสองยังใช้งานได้ในขณะที่เขียนข้อความนี้ ทั้งสองแหล่งไม่มีวันที่กำกับ และผู้จำหน่ายยังไม่ได้เผยแพร่บันทึกการเปลี่ยนแปลงใด ๆ ที่อธิบายการเปลี่ยนแปลงนี้ ดังนั้นจึงไม่มีข้อความที่อ้างอิงได้ว่า "ในวันนี้ ราคาได้ลดลง" อยู่ที่ใดเลยในบันทึก

คำแนะนำเชิงปฏิบัติไม่{{1}}หวือหวา{{/1}} ให้ถือว่า{{2}}การ์ดราคาที่ต่ำกว่า{{/2}}เป็นตัวตั้ง เพราะสองในสามแหล่งข้อมูลที่คุณอ่านได้เผยแพร่ตัวเลขนี้ และหนึ่งในนั้นคือหน้าที่ลูกค้าถูกเรียกเก็บเงินตาม — จากนั้นตรวจสอบซ้ำก่อนที่คุณจะกำหนดตัวเลขในงบประมาณ หากคุณกำลังปักหมุดรีลีสใดรีลีสหนึ่งเพื่อการจัดสรรต้นทุน โปรดทราบว่าเดือนแบบผสมที่มีช่วงเปลี่ยนผ่านวันที่ 15 ตุลาคมจะไม่สามารถแยกองค์ประกอบได้อย่างสะอาดย้อนหลัง เพราะรีลีสเหล่านั้นถูกตั้งราคาแตกต่างกันในแต่ละช่วงเวลา และผู้ขายไม่ระบุวันที่ของการเปลี่ยนแปลง

หนึ่งคะแนน หนึ่งในสิบของคะแนน และไม่มีสิ่งใดให้สรุป

เบนช์มาร์กเดียวที่ทั้งสองรีลีสมีร่วมกันคือ DeepSWE v1.1 และตัวเลขจากผู้ขายเองระบุว่า 26.9 อยู่ที่ 70.0% และ 26.10 อยู่ที่ 69.9% ตัวเลขทั้งสองมาจากการรันโดยผู้ขาย โดยตัวเลขที่เก่ากว่าอยู่บนชุดงานย่อย 30 งาน ไม่ใช่ชุดประเมินเต็ม และการเปรียบเทียบทั้งหมดถูก Unbiased ระบุว่ายังไม่ได้รับการตรวจสอบยืนยันอย่างอิสระ

การตีความอย่างตรงไปตรงมาคือ การวัดนี้ไม่ได้แยกความแตกต่างระหว่างรีลีสทั้งสองได้ ส่วนต่างหนึ่งในสิบของคะแนนบนสไลซ์งานบางส่วนนั้นอยู่ในช่วงความแปรปรวนของการรันเพียงครั้งเดียว และการถือมันเป็นการจัดอันดับไม่ว่าทิศทางใดก็ตาม — "26.10 ถดถอยลง" หรือ "26.10 ดีกว่าเพราะต้นทุนต่องานต่ำกว่า" — คือการเดาแบบอ่านใบชา ตัวเลขต้นทุนต่องานแตกต่างกันมากกว่า ($0.24 เทียบกับ $0.29) และแม้แต่ตัวเลขเหล่านี้ก็มาจากการรันในเดือนที่ต่างกันบนโมเดลแบบผสมซึ่งผู้จำหน่ายไม่เปิดเผยองค์ประกอบพื้นฐาน

สิ่งที่ตารางข้อมูลบอกคุณได้ก็คือจุดที่ไม่ควรไปดู ถ้าคุณกำลังเลือกระหว่างสองตัวนี้โดยพิจารณาจากคุณภาพ คุณกำลังเลือกโดยอิงตัวเลขที่ไม่สามารถรองรับการเลือกนั้นได้ หลักฐานที่แยกทั้งสองออกจากกันเป็นเรื่องเชิงสถาปัตยกรรม — หน้าต่างบริบทและพื้นผิวพารามิเตอร์ — และทั้งสองอย่างนี้ตรวจสอบได้ในลักษณะที่คะแนนทำไม่ได้

จะเรียกใช้อันไหน ตามปริมาณงาน

• การเขียนโค้ดด้วยเอเจนต์บนรีโพซิทอรีแบบเต็ม — 26.10 หน้าต่าง 1M คือความแตกต่างระหว่างการส่งรีโพซิทอรีทั้งชุดกับการส่งเพียงสรุปของมัน

{{1}}การวิเคราะห์เอกสารยาวหรือข้อความถอดเสียงยาว{{/1}} — {{2}}26.10{{/2}} ด้วยเหตุผลเดียวกัน และให้ระวังค่าใช้จ่ายฝั่งอินพุต: {{3}}1M โทเค็นที่ไม่มีการฮิตแคชคือ $0.80 ต่อคำขอเฉพาะค่าอินพุตอย่างเดียว{{/3}}

• ไปป์ไลน์เอาต์พุตแบบ JSON-mode หรือแบบที่จำกัดด้วยสคีมา — ใช้ 26.9 ไปก่อนจนกว่าคุณจะทดสอบพฤติกรรมของ 26.10 ด้วยตัวเอง เพราะรายการพารามิเตอร์ที่ประกาศไว้ของ 26.9 มี response_format แต่ของ 26.10 ไม่มี

• เวิร์กโหลดที่ใช้งานในโปรดักชันอยู่แล้วและพอดีภายใน 262K — {{1}}26.9{{/1}} ไม่มีหลักฐานที่เผยแพร่ยืนยันว่าการย้ายจะช่วยปรับปรุงเอาต์พุต และการปักหมุดเป็นทางเลือกที่ประหยัดกว่า

• ทุกกรณีที่คุณต้องการค่าเริ่มต้นปัจจุบันของผู้ให้บริการโดยไม่ต้องดูแล pin — 26.10 ผ่าน alias pareto แบบเปล่า โดยเข้าใจว่า alias จะเป็นไปตามปฏิทินของผู้ให้บริการ ไม่ใช่ของคุณ

สำหรับทีมที่ดำเนินการทั้งสองด้านของวงจร build-and-verify รูปแบบที่เป็นประโยชน์คือการปักหมุด 26.10 ไว้สำหรับรอบที่ใช้บริบทแบบยาว และคง 26.9 ไว้เป็นสายการเปรียบเทียบ — ซึ่งเป็นสิ่งที่เลเยอร์การกำหนดเส้นทางมีไว้เพื่อการนี้โดยแท้ OrcaRouter ไม่มีโมเดล Unbiased ใด ๆ ดังนั้นทั้งสองสตริงจึงถูกเรียกผ่าน API ของผู้ให้บริการเอง; สิ่งที่เราให้คือ คีย์เดียวและการผสานรวมเดียวสำหรับโมเดลที่คุณจะใช้ทดสอบสมรรถนะ 26.10 เทียบกับ ดังนั้นการประเมินการสลับจึงไม่หมายถึงการลงนามในสัญญาฉบับที่สอง OrcaRouter ส่งราคาตามรายการของผู้ให้บริการผ่านมาโดยตรงด้วยมาร์กอัป 0% ซึ่งเป็นคำกล่าวเกี่ยวกับโมเดลที่เราให้บริการอยู่จริง ไม่ใช่เกี่ยวกับโมเดลนี้

การโยกย้ายที่ไม่มีใครกำหนดเวลาไว้

เหตุผลที่การเปรียบเทียบนี้เป็นเรื่องจริงที่เกิดขึ้นอยู่ ไม่ใช่แค่เชิงวิชาการ ก็คือการเปลี่ยนแปลงนี้เกิดขึ้นแล้วกับผู้คนที่ไม่ได้ขอให้เกิดขึ้น เมื่อวันที่ 15 ตุลาคม alias pareto ถูกย้ายจากรุ่นที่เผยแพร่ในเดือนกันยายนไปเป็น 26.10 ใครก็ตามที่เรียกสตริงเปล่า ๆ จะได้หน้าต่างบริบทเพิ่มขึ้นสี่เท่าและพื้นผิวพารามิเตอร์ที่ต่างออกไปโดยไม่มีการแก้โค้ด — และเนื่องจากเอกสารของผู้ให้บริการระบุว่าตัวระบุโมเดลที่ไม่รู้จักจะไม่ถูกปฏิเสธ การปักหมุดที่พิมพ์ผิดจึงยังถูกให้บริการและเรียกเก็บเงินในชื่อ Pareto แทนที่จะล้มเหลวอย่างชัดเจน

หากคุณอยู่ในสตริง preview แทน เส้นทางนั้นปิดแล้ว: Unbiased บอกให้ผู้ใช้ preview ย้ายไปที่ pareto หรือ pareto-26.10 หากคุณอยู่บน pareto และถือว่ามีความเสถียร สมมติฐานนั้นก็ปรากฏอยู่ในบันทึกของคุณเองแล้ว ไม่ว่าจะก่อให้เกิดปัญหาหรือไม่ก็ตาม

{{1}}ไม่ว่าจะทางไหน การแก้ไขก็เหมือนกันและใช้เพียงบรรทัดเดียว: ระบุรุ่นที่คุณทดสอบ{{/1}} {{2}}สตริงที่ระบุเวอร์ชันคือสิ่งที่ทำให้โมเดลต้นทุนสามารถหักลบได้และทำให้การถดถอยสามารถระบุสาเหตุได้ และเป็นกลไกเดียวที่ผู้ขายรายนี้มอบให้คุณสำหรับทั้งสองอย่าง{{/2}}

อะไรที่ยังไม่ได้รับการยืนยัน

ยังไม่มีการเปิดตัวใดที่มี Benchmark ที่เป็นอิสระ Artificial Analysis ไม่มีหน้าสำหรับทั้งสองรุ่น และยังไม่มีผู้ประเมินรายใดเผยแพร่การรันซ้ำด้วยชุดทดสอบของผู้จำหน่าย ตัวเลขทุกตัวในการเปรียบเทียบนี้ — คะแนนทั้งสี่ ตัวเลขต้นทุนต่องาน และหน้าต่างบริบท — ล้วนมาจากผู้จำหน่ายหรืออ่านจากบันทึกข้อมูลทางเทคนิคของโมเดล และคะแนนโดยเฉพาะนั้นมีป้ายกำกับของผู้จำหน่ายเองว่า "preliminary" และ "not independently validated"

นั่นไม่ใช่เหตุผลที่จะหลีกเลี่ยงโมเดลใดเลย แต่เป็นเหตุผลให้ตัดสินใจในสิ่งที่ตรวจสอบได้: ภาระงานของคุณพอดีกับ 262K หรือไม่, pipeline ของคุณต้องการ response_format หรือไม่, และคุณต้องการอยู่บน alias หรือบน pin สามคำถามนี้มีคำตอบ ส่วนคำถามว่าโมเดลไหนดีกว่านั้นไม่มีคำตอบ และการอ่านเอกสารที่เผยแพร่มากแค่ไหนก็ไม่ได้คำตอบนั้น