
ค่าแก้ไขงานของ Sol ใน GPT-6.2: ถูกต่อโทเคน แต่แพงต่อการแก้ไข
- Orcaใหม่OrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 ต่อ 1 ล้านโทเค็น · 185 tok/s
- tencentใหม่Tencent: Hy4 Flash2026-11-16$0.02 / $0.07 ต่อ 1 ล้านโทเค็น · 826 tok/s
- Alibabaใหม่Qwen: Qwen4 Max2026-11-16$1.50 / $4.50 ต่อ 1 ล้านโทเค็น · 407 tok/s
- Googleใหม่Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 ต่อ 1 ล้านโทเค็น · 87 tok/s
- Anthropicใหม่Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 ต่อ 1 ล้านโทเค็น · 150 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 ต่อ 1 ล้านโทเค็น · 99 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 134 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 ต่อ 1 ล้านโทเค็น · 83 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 ต่อ 1 ล้านโทเค็น · 120 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 108 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 67 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 90 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447ความฉลาด
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 212 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929ความฉลาด
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 ต่อ 1 ล้านโทเค็น · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733ความฉลาด
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 ต่อ 1 ล้านโทเค็น · 160 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740ความฉลาด
ในเช้าวันที่ 20 พฤศจิกายน นักวิจารณ์ AI ภาษาจีน 宝玉 (@dotey) ได้โพสต์คำตัดสินเกี่ยวกับGPT-6.2 Solที่ใครก็ตามที่ได้ใช้โมเดลนี้มาหนึ่งสัปดาห์จะต้องจำได้ งานง่าย ๆ ก็ทำได้ดี งานเขียนโค้ดที่ซับซ้อนนั้นไม่ได้แค่แย่กว่าClaude Opus 5.5เพียงเล็กน้อยเท่านั้น — งานที่ Sol ทำเสร็จยังต้องมี Opus ตามมาเก็บกวาดต่อ ดังนั้นคุณจะดีกว่าหากมอบงานให้ Opus ตั้งแต่แรก โพสต์นี้เป็นเพียงรายงานการใช้งานเท่านั้น ไม่มีอะไรมากไปกว่านั้น: ไม่มีฮาร์เนส ไม่มีรายการงาน ไม่มี diff มีไลก์ 124 ครั้ง ณ เวลาที่เขียน และมีเธรดคอมเมนต์ที่โต้เถียงกันเรื่องนี้ นอกจากนี้ยังเป็นสิ่งที่ตรวจสอบได้ในแบบที่ความเห็นในช่วงสัปดาห์เปิดตัวส่วนใหญ่ทำไม่ได้ เพราะสิ่งที่มันอธิบายนั้นมีรูปแบบที่จับต้องได้ โมเดลที่ทำได้ดีกับงานง่ายแต่พังทลายลงเมื่อเจองานยาก ควรแสดงรูปแบบที่เฉพาะเจาะจงในการประเมิน — เก่งด้านการลงมือทำ อ่อนด้านความเข้าใจ — และตัวเลขที่เผยแพร่ก็มีรูปแบบนั้นหรือไม่มี
ส่วนใหญ่ก็เป็นเช่นนั้น OpenAI เปิดตัว GPT-6.2 Sol เมื่อวันที่ 17 พฤศจิกายน 2026 ในราคา 2 ดอลลาร์ต่ออินพุต 1 ล้านโทเค็น และ 10 ดอลลาร์ต่อเอาต์พุต 1 ล้านโทเค็น บน Coding Agent Index อิสระของ Artificial Analysis มันอยู่ต่ำกว่าโมเดลที่มันมาแทน และองค์ประกอบที่ฉุดมันลงคือส่วนที่โมเดลต้องอ่านโค้ดเบสและกล่าวสิ่งที่เป็นจริงเกี่ยวกับโค้ดนั้น นั่นคือกลไกเบื้องหลังวลี “ต้องตามเก็บกวาดทีหลัง” ในรูปแบบของตัวเลข สิ่งที่ทวีตไม่ได้ทำ และสิ่งที่บทความนี้พยายามทำ คือการประเมินต้นทุนของการเก็บกวาด — เพราะเมื่อคุณคำนวณจริง ข้อเสนอเรื่องงานแก้ซ้ำกลับมีน้ำหนักกว่ามากในแง่เวลาจริงมากกว่าในแง่ตัวเงิน และทั้งสองอย่างนำไปสู่การตัดสินใจที่แตกต่างกัน
สิ่งที่โพสต์กล่าวอ้างจริง ๆ
วันนี้ผมทดสอบ GPT-6.2 Sol แบบหนัก ๆ งานง่าย ๆ ก็โอเคดี แต่กับงานเขียนโค้ดที่ซับซ้อนขึ้นมานิดหน่อย มันไม่ได้แค่ด้อยกว่า Opus 5.5 นิดเดียว — งานที่มันทำเสร็จยังต้องให้ Opus 5.5 มาตามเก็บกวาดให้อีก ดังนั้นคุณควรปล่อยให้ Opus 5.5 ทำตั้งแต่แรกจะดีกว่า
ในนั้นมีข้อกล่าวอ้างที่แยกออกจากกันได้สามข้อ ข้อแรก เป็นข้อกล่าวอ้างด้านคุณภาพ: Sol แย่กว่าอย่างมีนัยสำคัญเมื่อเทียบกับ Opus 5.5 ในการเขียนโค้ดที่ซับซ้อน ข้อที่สอง เป็นข้อกล่าวอ้างด้านเวิร์กโฟลว์: ช่องว่างนั้นปรากฏออกมาในรูปของงานที่ต้องทำซ้ำ มากกว่าจะเป็นความล้มเหลวที่เห็นได้ชัด — คุณได้ผลลัพธ์ออกมา มันดูเสร็จแล้ว และโมเดลที่แข็งแกร่งกว่าต้องเข้ามาแก้ไข ข้อที่สาม เป็นข้อกล่าวอ้างเชิงเศรษฐกิจ: งานที่ต้องทำซ้ำนั้นทำให้สิ่งที่ราคาโทเคนประหยัดได้นั้นหมดไป
สองข้อแรกสามารถทดสอบเทียบกับผลการประเมินที่เผยแพร่แล้วได้ ข้อที่สามเป็นการคำนวณ และขึ้นอยู่กับตัวเลขที่ยังไม่มีใครเผยแพร่ — ต้นทุนของรอบการซ่อมเมื่อเทียบกับการทำภารกิจหนึ่งครั้งด้วยโมเดลราคาแพงนั้นเป็นเท่าใด ทุกอย่างด้านล่างนี้แยกข้อกล่าวอ้างทั้งสามข้อออกจากกัน เพราะข้อกล่าวอ้างเหล่านี้ไม่ได้ผ่านการพิสูจน์เท่ากันทั้งหมด
การเปรียบเทียบที่สะอาดทำงานภายในฮาร์เนสเดียว
ขอเตือนหนึ่งอย่างก่อนจะพูดถึงตัวเลขใด ๆ เพราะนี่คือวิธีที่การเปรียบเทียบนี้มักถูกทำอย่างไม่สุจริตมากที่สุด Artificial Analysis วัดเอเจนต์เขียนโค้ดโดยมองเป็นการจับคู่ระหว่างโมเดล และฮาร์เนส: Codex สำหรับโมเดลของ OpenAI, Claude Code สำหรับของ Anthropic ต้นทุนต่องาน การใช้โทเคน และเวลาตามนาฬิกา ล้วนแปรผันไปตามฮาร์เนสพอ ๆ กับที่แปรผันตามโมเดล ดังนั้นการเปรียบเทียบแบบหยาบ ๆ ว่า "Sol ราคา $1.22, Opus ราคา $12.61" จึงเป็นการวัดเครื่องจักรที่แตกต่างกันสองเครื่อง
สิ่งที่รอดพ้นจากข้อโต้แย้งนั้นคือการเปรียบเทียบใด ๆ ภายในฮาร์เนส ภายใน Codex นั้น GPT-6.2 Sol สามารถนำมาเทียบกับ GPT-6.1 Sol และ GPT-6.2 Astra ได้โดยตรง บนงานที่เหมือนกัน ด้วยเครื่องมือชุดเดียวกัน และการให้คะแนนแบบเดียวกัน — และนั่นคือจุดที่การถดถอยอยู่ คู่ข้ามฮาร์เนสยังคงคุ้มค่าที่จะพิมพ์ออกมาโดยระบุป้ายกำกับให้ชัดเจน เพราะนั่นคือการเปรียบเทียบที่ผู้อ่านกำลังทำจริงเมื่อตัดสินใจเลือกระหว่างการสมัครสมาชิก OpenAI กับการสมัครสมาชิก Anthropic
• Codex, GPT-6.2 Sol (สูงสุด) — ดัชนี Coding Agent 48.6, $1.22 ต่องาน, 4.25M โทเค็น
• Codex, GPT-6.1 Sol (max) — ดัชนี 52.2, $1.51 ต่องาน, 4.33M โทเค็น
• Codex, GPT-6.2 Astra (max) — ดัชนี 53.5, 5.12 ดอลลาร์ต่องาน, 4.67 ล้านโทเค็น
• Claude Code, Claude Opus 5.5 (max) — ดัชนี 58.2, $12.61 ต่องาน, 15.89M โทเคน
อ่านสองบรรทัดแรกควบคู่กัน โมเดลใหม่ทำคะแนนได้ 3.6 คะแนน ต่ำกว่ารุ่นที่มันมาแทน บนฮาร์เนสเดียวกัน โดยใช้จ่ายโทเคนภายใน 2% ของรุ่นนั้น ราคาก็ไม่เปลี่ยนเช่นกัน — Sol คงราคา $2 และ $10 ไว้ตั้งแต่ 29 กันยายน และ GPT-6.2 Sol ก็คงตารางราคาไว้เหมือนเดิมทุกประการ ดังนั้นนี่จึงไม่ใช่โมเดลที่ถูกกว่าซึ่งแลกคุณภาพกับราคา แต่เป็นราคาเดิม ฮาร์เนสเดิม และความสามารถที่น้อยลงในสิ่งที่ดัชนีวัด การเปรียบเทียบของ @dotey เป็นการเทียบกับโมเดลของผู้จำหน่ายรายอื่น แต่การถดถอยที่เขารู้สึกได้นั้นปรากฏให้เห็นโดยไม่ต้องออกจากสายผลิตภัณฑ์ของ OpenAI เอง

จุดที่ช่องว่างของงานที่ซับซ้อนเป็นเรื่องจริง
ดัชนี Coding Agent Index เป็นการรวมกันของการประเมินสามรายการโดยให้น้ำหนักเท่ากัน: FrontierCode-AA 2.0 (งานวิศวกรรมซอฟต์แวร์ 132 งาน เขียนโดย Cognition และนำไปใช้โดย Artificial Analysis), Terminal-Bench 4.1 (งานเทอร์มินัลแบบเอเจนต์ 66 งาน จาก Laude Institute) และ SWE-Atlas-QnA-AA (งานถามตอบทางเทคนิค 124 งานบนฐานโค้ด จาก Scale AI โดยมีการปรับการให้คะแนนโดย Artificial Analysis) คะแนนแต่ละรายการเป็นค่าเฉลี่ยของการลองสามครั้งต่องานหนึ่งงาน
เมื่อแยก Sol เทียบกับรุ่นก่อนหน้าตามองค์ประกอบ รูปร่างที่ @dotey อธิบายไว้ก็จะปรากฏขึ้นทันที:
• SWE-Atlas-QnA-AA — GPT-6.2 Sol 46.2% เทียบกับ GPT-6.1 Sol 59.9% ลดลง 13.7 คะแนนภายในฮาร์เนสเดียวกัน
• FrontierCode-AA 2.0 — 41.5% เทียบกับ 42.5% แทบจะทรงตัว
• Terminal-Bench 4.1 — 58.1% เทียบกับ 54.0% เพิ่มขึ้น 4.1 จุด
ดังนั้นโมเดลจึงเก่งขึ้นในการลงมือทำ และแย่ลงในการรู้. งานในเทอร์มินัลคือการลงมือทำแล้วสังเกต: รันคำสั่ง อ่านผลลัพธ์ แล้วปรับ การถาม-ตอบเกี่ยวกับโค้ดเบสคือการค้นคืนและรายงาน: หาโค้ดที่เกี่ยวข้อง เข้าใจว่าทำไมมันจึงเป็นเช่นนั้น และอธิบายอย่างถูกต้อง โมเดลที่พัฒนาขึ้นในแบบแรกและลดลง 13.7 คะแนนในแบบที่สองจะผ่านการทดสอบแบบ smoke test และสร้างการแก้ไขที่ดูเหมือนถูกต้องแต่พลาดเหตุผลที่โค้ดถูกเขียนแบบนั้น นั่นคือรูปแบบความล้มเหลวที่ทำให้เกิดการทำงานซ้ำมากกว่าข้อความแจ้งข้อผิดพลาด และนี่คือเหตุผลที่คำบ่นมาในรูปของ “ต้องเก็บกวาดหน่อย” มากกว่า “มันใช้งานไม่ได้”
ช่องว่างสัมบูรณ์เมื่อเทียบกับ Opus 5.5 ในการประเมินเดียวกันยังกว้างกว่าอีก — 46.2% เทียบกับ 65.9% — แต่การเปรียบเทียบนั้นข้ามฮาร์เนส จึงควรถือเป็นเพียงเชิงบ่งชี้เท่านั้น การลดลง 13.7 จุดภายใน Codex ไม่ใช่แค่เชิงบ่งชี้ เพราะเป็นฮาร์เนสเดียวกัน งาน 124 งานเดียวกัน ตัวให้คะแนนเดียวกัน และโมเดลเพียงตอบคำถามเกี่ยวกับโค้ดเบสได้แม่นยำน้อยกว่าโมเดลที่ถูกแทนที่

ที่ที่ Sol ดีจริง ๆ
อนุประโยคแรกของทวีตนี้ควรได้รับการปฏิบัติไม่ต่างจากอนุประโยคที่สอง “งานง่าย ๆ ก็โอเค” ไม่ใช่การยอมอ่อนข้อ ใน composite Intelligence Index ซึ่งรันทุกโมเดลผ่านชุดทดสอบเดียวกันทั้งหมด แทนที่จะผ่านฮาร์เนสของผู้ขายแต่ละราย GPT-6.2 Sol ที่ความพยายามสูงสุดเอาชนะ Claude Opus 5.5 ที่ความพยายามสูงสุดได้อย่างชัดเจนในหลายองค์ประกอบ:
• Terminal-Bench-Science 0.1 — 67.6% เทียบกับ 59.0% โดย Sol ชนะไป 8.6 จุด
• AutomationBench-AA — 71.3% เทียบกับ 69.5%
• Terminal-Bench 4.0 — 60.1% เทียบกับ 59.6%
• GDP.pdf ผ่านทั้งหมด — 30.0% เทียบกับ 26.2%
และมันแพ้ในกรณีที่ต้องจดจำข้อเท็จจริงและรายงานออกมา:
• HLE-Diamond — 64.0% เทียบกับ 67.9%
• AnalystAgent — 53.8% เทียบกับ 56.3%
• AA-Omniscience — 40.4 ที่ความแม่นยำ 61.6% เทียบกับ 48.1 ที่ความแม่นยำ 65.5%
FrontierCode-AA 2.0 (เวอร์ชันดัชนี) — 44.4% เทียบกับ 46.4%
แถว Omniscience คือแถวที่ควรค่าแก่การใคร่ครวญ เป็นการประเมินที่วัดว่าโมเดลรู้หรือไม่ว่าตนเองไม่รู้อะไร: Sol ตอบถูก 61.6% ของครั้งทั้งหมด และมีอัตราการสร้างข้อมูลเท็จ 55.4% เทียบกับ 65.5% และ 50.3% ของ Opus 5.5 โมเดลที่ตอบถูกน้อยกว่าเกือบสี่จุดเปอร์เซ็นต์และสร้างสิ่งที่ไม่จริงบ่อยกว่าห้าจุดเปอร์เซ็นต์ คือโมเดลที่มนุษย์ต้องตรวจสอบผลลัพธ์ — ซึ่งเป็นข้อกล่าวอ้างเรื่องงานที่ต้องทำซ้ำ ที่มาจากอีกทิศทางหนึ่ง
Net, Sol ได้คะแนน 57.3 เทียบกับ 59.1 ในคะแนนรวม และทำได้ใน 9.6 นาทีต่องานแทนที่จะเป็น 25.7 ที่ราคา $1.01 แทนที่จะเป็น $10.04 ขณะที่ปล่อยโทเค็นเอาต์พุต 60.9 ล้านโทเค็นตลอดชุดทดสอบ เทียบกับ 218 ล้านของ Opus ไม่ว่าสิ่งอื่นจะเป็นอย่างไร โมเดลราคาถูกนี้ไม่ช้าและไม่เยิ่นเย้อ
แป้นหมุนปรับระดับความพยายามถูกกวาดไปเรียบร้อยแล้ว
ข้อโต้แย้งที่ชัดเจนจากใครก็ตามที่เคยใช้โมเดลการให้เหตุผลของ OpenAI ก็คือ นี่เป็นการตั้งค่าที่ผิด หากลดความพยายามลง โมเดลก็จะเลิกคิดมากเกินไป หากเพิ่มความพยายามขึ้น โมเดลก็จะเลิกทำแบบลัดขั้นตอน Artificial Analysis ได้รันการทดสอบแบบครอบคลุมทั้งหมดบน Coding Agent Index ภายใน Codex แล้ว และมันก็ไม่ได้ช่วยกู้สถานการณ์ได้:
• ต่ำ — 37.2
• ปานกลาง — 45.4
• สูง — 47.5
• xhigh — 49.8
• สูงสุด — 48.6
จุดสูงสุดอยู่ที่ xhigh ไม่ใช่ที่ max: การดันไปจนถึงความพยายามสูงสุดจริง ๆ แล้วต้องแลกกับ 1.2 คะแนน ซึ่งเป็นผลลัพธ์แบบไม่โมโนโทนิก (non-monotonic) ที่มักเกิดขึ้นเมื่อโมเดลเริ่มลังเลกับตัวเอง แต่ถึงอย่างนั้น การตั้งค่าที่ดีที่สุดคือ 49.8 ก็ยังต่ำกว่าคะแนนที่ GPT-6.1 Sol ทำได้ที่ max อยู่ 2.4 คะแนน และต่ำกว่า Claude Opus 5.5 อยู่ 8.4 คะแนน ไม่มีตำแหน่งบนหน้าปัดใดที่ทำให้ GPT-6.2 Sol กลายเป็นเอเจนต์เขียนโค้ดที่แข็งแกร่งกว่า มีเพียงทางเลือกว่าคุณต้องการจ่ายเท่าไรเพื่อแลกกับ 49.8
ต้นทุนของการเลือกนั้นคุ้มค่าที่จะรู้ เพราะมันสูงในแง่สัมพัทธ์แม้จะถูกในแง่สัมบูรณ์ บน Intelligence Index, Sol มีค่าใช้จ่าย $0.18 ต่องานที่ low effort, $0.41 ที่ medium, $0.56 ที่ high, $0.65 ที่ xhigh และ $1.01 ที่ max การขยับจาก medium เป็น xhigh ทำให้คุณภาพต่องานเพิ่มขึ้นประมาณสองเท่า — จาก 52.7 เป็น 55.7 บนดัชนีนั้น — และมีค่าใช้จ่ายสูงขึ้น 58% ค่าเริ่มต้นคือ medium ซึ่งเป็นค่าที่ให้คะแนนการเขียนโค้ด 45.4 หากคุณกำลังประเมิน Sol เทียบกับ Opus ให้ทำที่ xhigh หรือ max มิฉะนั้นคุณกำลังเปรียบเทียบการกำหนดค่าที่ผิด
ตัวเลขเดียวที่คาดการณ์งานที่ต้องแก้ไข
มีชุดข้อมูลชุดที่สองในการรันเดียวกันที่สื่อถึงประสบการณ์แบบ "ต้องทำความสะอาดกันหน่อย" โดยตรง และมันไม่ใช่คะแนนคุณภาพ Artificial Analysis บันทึกการปฏิเสธด้วยเหตุผลด้านความปลอดภัยในการประเมินแต่ละครั้ง และแยกความแตกต่างระหว่างการปฏิเสธที่ฮาร์เนสกู้คืนมาได้ กับการปฏิเสธที่ทำให้ความพยายามสิ้นสุดลง บน SWE-Atlas-QnA-AA จากการพยายามกว่า 372 ครั้ง:
• GPT-6.2 Sol (max) — การปฏิเสธ 25 ครั้ง ทุกครั้งเป็นการหยุดอย่างเด็ดขาด คิดเป็น 6.7% ของความพยายาม
• GPT-6.2 Sol (xhigh) — ปฏิเสธ 22 ครั้ง, 5.9%
• GPT-6.2 Sol (medium) — ปฏิเสธ 13 ครั้ง, 3.5%
• GPT-6.1 Sol (max) — การปฏิเสธ 15 ครั้ง, 4.0%
• GPT-6.2 Astra (max) — การปฏิเสธ 8 ครั้ง, 2.2%
• Claude Opus 5.5 — ปฏิเสธ 52 ครั้ง ไม่มีครั้งใดเป็นการหยุดแบบเด็ดขาด 14.0%
สาย Opus คือสายที่น่าสนใจ และมันสวนทางกับการตีความแบบผิวเผิน Opus 5.5 ปฏิเสธบ่อยกว่าโมเดลใด ๆ ในตารางนี้ — และฮาร์เนสกู้คืนได้ทั้ง 52 ครั้ง ดังนั้นจึงไม่มีครั้งใดทำให้การรันเสียหาย Sol ปฏิเสธน้อยกว่า และฮาร์เนสไม่สามารถกู้คืนได้แม้แต่ครั้งเดียวจาก 25 ครั้งของมัน การปฏิเสธที่จบเทิร์นของเอเจนต์คือ任務ที่มนุษย์ต้องมารับช่วงต่อในตอนนี้; การปฏิเสธที่ถูกกู้คืนได้คือการลองใหม่ ในการประเมินที่ใกล้เคียงกับ "ตอบคำถามเกี่ยวกับรีโพซิทอรีนี้" มากที่สุด โมเดลที่ทวีตกำลังบ่นถึงนั้นล้มเหลวในโหมดที่ก่อให้เกิดงานที่ทำไม่เสร็จ มากกว่างานที่ผิด
เมื่อพิจารณาควบคู่กับการลดลงของคะแนนความเข้าใจ 13.7 จุด สิ่งนี้เป็นเรื่องราวที่สอดคล้องกันมากกว่าจะเป็นตัวเลขสองตัวที่ไม่เกี่ยวข้องกัน: Sol มีความน่าเชื่อถือน้อยลงในส่วนของการดึงข้อมูลและรายงานผลของการเขียนโค้ด และเมื่อมันลดลง มันก็ลดลงในลักษณะที่ทำให้งานยังคงเปิดค้างอยู่
การกำหนดราคาสำหรับรอบการทำความสะอาด
ตอนนี้ข้อกล่าวอ้างที่สาม ข้อเกี่ยวกับเศรษฐกิจ ซึ่งเป็นจุดที่สัญชาตญาณมักเอาชนะการคำนวณได้บ่อยที่สุด ใช้ต้นทุนต่องานของ Intelligence Index เพราะชุดการทดสอบนั้นใช้ฮาร์เนสเดียวกันสำหรับทุกโมเดลที่อยู่บนชุดนั้น ตัวเลขจึงเปรียบเทียบกันได้โดยตรง: GPT-6.2 Sol $1.01, Claude Opus 5.5 $10.04

ลองพิจารณางานหนึ่งที่ Sol ทำเสร็จแล้ว Opus จึงซ่อมแซม สมมติให้pเป็นสัดส่วนของงานที่ต้องซ่อมแซม และrเป็นต้นทุนของการซ่อมแซมหนึ่งครั้งในรูปเศษส่วนของการทำงานเต็มรูปแบบหนึ่งรอบของ Opus การทำโดย Sol แล้วซ่อมแซมมีต้นทุน $1.01 + p × r × $10.04 Opus เพียงอย่างเดียวมีต้นทุน $10.04 การทำโดย Sol แล้วซ่อมแซมจะถูกกว่าเมื่อใดก็ตามที่ p × r ต่ำกว่า 0.899
นั่นเป็นเกณฑ์ที่ต้องผ่านสูงมาก หากการซ่อมมีค่าใช้จ่ายครึ่งหนึ่งของการรันเต็มหนึ่งรอบ คุณสามารถซ่อมทุก ๆ งานและยังถูกกว่าถึง 78% เมื่อเทียบกับการเรียกใช้ Opus โดยตรง เฉพาะเมื่อค่าใช้จ่ายในการซ่อมใกล้เคียงกับค่าทำใหม่ทั้งหมดในเกือบทุกงานเท่านั้น ค่าใช้จ่ายจึงจะพลิกกลับ: ที่ p = 1 และ r = 1 คุณจ่าย $11.05 สำหรับสิ่งที่ Opus จะทำในราคา $10.04 สำหรับหนึ่งพันงาน นั่นคือ $11,050 เทียบกับ $10,040 — ค่าใช้จ่ายที่แพงขึ้น 10% ไม่ใช่ความพ่ายแพ้ยับเยินอย่างที่ทวีตสื่อ
ดังนั้นหากพิจารณาแค่เรื่องเงิน ข้อร้องเรียนเรื่องงานแก้ไขก็ไม่ได้ล้มข้อโต้แย้งด้านราคา เว้นแต่ปริมาณงานแก้ไขจะใกล้เคียงกับทั้งหมด แต่เงินไม่ใช่ข้อจำกัดที่ทีมส่วนใหญ่เจอ เวลาต่างหากคือ:
• เวลาต่อหนึ่งงานใน Intelligence Index — GPT-6.2 Sol 9.6 นาที เทียบกับ Claude Opus 5.5 25.7 นาที
• เวลาที่งานจำเป็นต้องทำใหม่ทั้งหมดด้วย Opus — 9.6 + 25.7 = 35.3 นาที เทียบกับ 25.7 นาที
• การใช้โทเคนในชุดเดียวกัน — 60.9M เทียบกับ 218M โทเคนเอาต์พุต
ข้อเสนอเรื่องงานแก้ซ้ำนี้ใช้ได้โดยไม่มีข้อแม้ใด ๆ งานใดก็ตามที่ Sol ลองทำแล้วส่งคืนมา คืองานที่ใช้เวลานานกว่า 37% เมื่อเทียบกับถ้าคุณไปที่ Opus ก่อน และคุณไม่สามารถซื้อเวลานั้นคืนได้ด้วยโทเคนที่ถูกกว่า ถ้าข้อจำกัดของคุณคือเดดไลน์ไม่ใช่งบประมาณ ซึ่งเป็นสถานการณ์ที่นักพัฒนาส่วนใหญ่กำลังเผชิญจริงเมื่อโพสต์ข้อร้องเรียนนี้ @dotey พูดถูก และการโต้แย้งนี้เป็นเรื่องของปริมาณงานที่ทำได้ ไม่ใช่ราคา
อะไรจะทำให้คำตัดสินเปลี่ยนไป
สองเรื่อง และยังไม่มีเรื่องไหนพร้อมใช้งานเลย เรื่องแรกคืออัตราการแก้ไขซ้ำที่มีการเผยแพร่: สัดส่วนของ diff งานที่ซับซ้อนของ Sol ที่โมเดลที่แข็งแกร่งกว่าจำเป็นต้องแก้ไขจริงมีเท่าใด โดยวัดจากชุดงานที่กำหนดตายตัว ไม่มีใครเผยแพร่ตัวเลขนี้ เพราะต้องรันสองโมเดลบนทิกเก็ตเดียวกันแล้ว diff ผลลัพธ์ และมันเป็นตัวเลขเดียวที่จะยุติข้อโต้แย้งได้ เรื่องที่สองคือตัวเลขของ GPT-6.2 Sol ในการรันเขียนโค้ดด้วยฮาร์เนสของ Anthropic หรือ Opus 5.5 บน Codex ซึ่งจะเปลี่ยนการเปรียบเทียบข้ามฮาร์เนสข้างต้นให้เป็นการเผชิญหน้าแบบตัวต่อตัวจริง ๆ
เมื่อเทียบกับตรงนั้น ให้สังเกตสิ่งที่ได้ข้อยุติแล้ว การถดถอยนี้เป็นของจริงและเกิดขึ้นภายในฮาร์เนสเดียว การไล่ระดับ effort ไม่ได้แก้ปัญหานี้ การประเมินความเข้าใจ — ตัวที่ทำนายงานที่ต้องแก้ไขซ้ำ — ขยับผิดทางไป 13.7 คะแนน ผู้อ่านที่ต้องการเหตุผลเพื่อคงงานเขียนโค้ดที่ซับซ้อนไว้บน Opus 5.5 มีเหตุผลหนึ่งที่ไม่ขึ้นกับความประทับใจของใครต่อสัปดาห์เปิดตัว
กำลังรันการทดสอบกับงานของคุณเอง
อัตราการทำงานซ้ำสามารถวัดได้จาก backlog ของคุณเองภายในบ่ายวันเดียว และมันเป็นตัวเลขเวอร์ชันเดียวที่สำคัญกับคุณ หยิบงานยี่สิบงานที่ทีมของคุณส่งมอบจริงเมื่อเดือนที่แล้ว รันแต่ละงานผ่านทั้งสองโมเดลด้วยการตั้งค่าความพยายามเท่ากัน แล้ว diff แพตช์ที่ได้เทียบกับสิ่งที่มนุษย์นำมารวมในที่สุด สัดส่วนที่ต้องแก้ไขซ้ำอย่างมีนัยสำคัญคือp; ต้นทุนโทเค็นของการแก้ไขรอบนั้นคือr.
OrcaRouter ทำให้เรื่องนี้กลายเป็นการตัดสินใจด้านการกำหนดเส้นทาง มากกว่าการตัดสินใจด้านการจัดซื้อ: anthropic/claude-opus-5.5 และ openai/gpt-6.1-sol ต่างก็อยู่เบื้องหลังคีย์เดียว ในราคาตามรายการของผู้ให้บริการเอง โดยบวกเพิ่ม 0% และส่งต่อต้นทุนนั้นให้คุณเต็มจำนวน ดังนั้นตัวเลขข้างต้นคือตัวเลขที่คุณจะถูกเรียกเก็บเงินจริง เรื่องนี้สำคัญกว่าปกติในบริบทนี้ เพราะโมเดลที่ทวีตนั้นกำลังปกป้องอยู่ — GPT-6.2 Sol — ยังไม่อยู่ในแคตตาล็อกของเรา เราไม่ได้ให้บริการมัน และไม่ว่าการกำหนดเส้นทางจะทำอะไรได้มากแค่ไหนก็ไม่เปลี่ยนข้อเท็จจริงนั้น สิ่งที่เราให้บริการคือโมเดลที่ Sol เข้ามาแทนที่ ซึ่งเป็นตัวควบคุมที่เหมาะสมสำหรับการทดลอง: รัน 6.2 Sol ในที่ใดก็ตามที่คุณเข้าถึงได้ รัน GPT-6.1 Sol บนงานเดียวกันผ่านเรา และการลดลงของความเข้าใจ 13.7 จุดก็จะกลายเป็นสิ่งที่คุณยืนยันหรือหักล้างได้บนโค้ดของคุณเอง แทนที่จะเป็นชุดทดสอบสังเคราะห์
สำหรับรูปแบบการดีพลอยที่ข้อมูลบ่งชี้ DSL สำหรับกำหนดเส้นทางคือคำตอบที่ตรงไปตรงมา: ส่งขั้นตอนการวางแผนและทำความเข้าใจโค้ดเบสไปที่ Opus 5.5 ส่งการทำงานและลูปเทอร์มินัลไปยังโมเดลที่ถูกกว่า และให้การสลับสำรองอัตโนมัติรองรับกรณีที่ผู้ให้บริการหยุดชะงักกลางการรัน นั่นคือการกำหนดค่า ไม่ใช่สถาปัตยกรรม — และนี่คือสิ่งที่ "ใช้ Opus มาจัดการเก็บกวาดหลัง Sol" ดูเป็นอย่างไรเมื่อคุณเขียนมันออกมาเป็นไปป์ไลน์แทนที่จะเป็นการบ่น
สิ่งเดียวที่คุ้มค่าจะหยิบไปจากทวีตนี้ ไม่ว่าคุณจะเลือกโมเดลไหน: ค่าใช้จ่ายของงานเขียนโค้ดไม่ใช่จำนวนโทเคน แต่คือโทเคนบวกนาทีของมนุษย์บวกเวลานาฬิกาที่ผ่านไประหว่าง “เสร็จ” กับ “เสร็จจริง” Sol ชนะบรรทัดแรกของบัญชีนั้นอย่างชัดเจน Opus 5.5 ชนะบรรทัดที่สองและสามทุกครั้งที่งานถูกส่งกลับมา และไม่มีผู้ขายรายไหนเผยอัตราที่งานถูกส่งกลับมา จนกว่าจะมีคนทำได้ ตัวเลขเดียวที่เชื่อถือได้คือตัวเลขที่คุณวัดจาก diff ของคุณเอง
การเปรียบเทียบในบทความนี้1
ตรวจพบจากบทความนี้ · เบนช์มาร์ก: Artificial Analysis · อัปเดตทุกวัน
