Gemini 4 Pro กับ GPT-6 Astra ในการทดสอบคอนโทรลเลอร์ Xbox 360 — และทำไม Fable 5.2 ถึงไม่อยู่ในนั้น

โพสต์บน X โพสต์หนึ่งปรากฏขึ้นเมื่อวันที่ 21 กันยายน ประกอบด้วยชื่อสามชื่อ คลิปวิดีโอหนึ่งคลิป และคำว่า "SOTA comparison": Gemini 4 Pro, GPT-6 Astra, Claude Fable 5.2 สองในชื่อเหล่านั้นเป็นของโมเดลที่ไม่มีใครเรียกใช้ได้ ส่วนอีกหนึ่งชื่อเป็นของโมเดลที่วางจำหน่ายมาแล้วสิบแปดวัน และชิ้นงานที่โพสต์นั้นชี้ไป — เกมคอนโทรลเลอร์ที่วาดเป็นกราฟิกเวกเตอร์ในครั้งเดียวจากพรอมป์ต์เดียว — ตามคำบอกเล่าของคนที่รันมันจริง ๆ แล้ว เป็นการเปรียบเทียบแบบสองทางระหว่างสองชื่อแรก Claude Fable 5.2 ไม่ได้อยู่ในนั้น และ Claude Fable 5.1 ก็ไม่ได้อยู่ในนั้นเช่นกัน

ช่องว่างระหว่างการวางกรอบกับหลักฐานคือสถานะทั้งหมดของเรื่อง Gemini 4 Pro ในตอนนี้ และมันคุ้มค่าที่จะแยกออกมาอย่างละเอียดรอบคอบ แทนที่จะปัดทิ้ง การทดสอบคอนโทรลเลอร์ไม่ใช่เรื่องไร้ค่า มันเป็นชิ้นงานที่ดูเหมือนทำซ้ำได้มากที่สุดชิ้นเดียวที่ใครๆ ได้ผลิตออกมาเกี่ยวกับโมเดลแนวหน้าที่ยังไม่เปิดตัวในเดือนนี้ มันมีที่มาที่สืบย้อนไปสี่เดือนอยู่เบื้องหลัง และผู้คนจำนวนมากกำลังอ่านมันเป็นคำตัดสิน มันไม่ใช่คำตัดสิน มันคือผลเสมอจากการลองเพียงครั้งเดียว ซึ่งตัวผู้ทดสอบเองก็ทำซ้ำไม่ได้ในวันถัดมา และการรู้อย่างชัดเจนว่ามันไปได้ไกลแค่ไหนและไปไม่ถึงไหนนั้นมีประโยชน์มากกว่าทั้งกระแสฮือฮาหรืออาการกลอกตา

การทดสอบ และเหตุใด SVG จึงกลายเป็นเกณฑ์มาตรฐาน

พรอมป์ต์นี้เก่ากว่าโมเดลที่มันถูกนำมาใช้ตัดสินในตอนนี้ มันมีมาตั้งแต่ยุค Gemini 3.0 ซึ่งตอนนั้นถูกเผยแพร่ในรูปของ: "สร้างภาพ SVG ของคอนโทรลเลอร์ Xbox 360 แล้วแสดงผลออกมาในบล็อกโค้ดหลายบรรทัดแบบ Markdown" การใช้ถ้อยคำแบบนั้นมีความสำคัญ เพราะมันจงใจเป็นปฏิปักษ์ต่อโมเดลภาษา ภาพเวกเตอร์มีแต่โครงสร้างและไม่มีพื้นผิวเลย — ไม่มีสัญญาณรบกวนแบบภาพถ่ายให้โมเดลใช้เป็นที่กำบัง ไม่มีตัวสุ่มแบบ diffusion มาคอยกลบเกลื่อนความผิดพลาด ทุกเส้นโค้งต้องถูกระบุออกมาเป็นพิกัด คอนโทรลเลอร์จึงเป็นเป้าหมายที่ยากสำหรับงานนี้: ด้ามจับสมมาตรสองข้าง ส่วนกลางที่เว้าบุ๋ม ไกปืนที่ไหล่ซึ่งต้องเรนเดอร์ในมุมมองแบบทัศนียภาพ ปุ่มราวสิบหกปุ่มที่แต่ละปุ่มต้องมีตำแหน่งของตัวเอง และโครงร่างที่ดูผิดทันทีถ้าสัดส่วนใดสัดส่วนหนึ่งเพี้ยนไป และเพราะคำตอบออกมาเป็นข้อความที่คุณวางลงในโปรแกรมดูภาพได้ การเปรียบเทียบจึงมีต้นทุนต่ำและพกพาได้ ไม่มีใครต้องไปเชื่อภาพแคปเจอร์หน้าจอหน้าต่างแชตของคนอื่น

ในเดือนกันยายน ชุมชนกลับมาหยิบพรอมป์ตนี้ขึ้นมาอีกครั้ง ผลลัพธ์ที่แพร่กระจายจากเซสชันอารีนา — นกกระทุงขี่จักรยาน, คอนโทรลเลอร์ PlayStation 5 ที่เรนเดอร์จากห้ามุมกล้องมาโคร, เจดีย์ 3D ที่สลับแสงได้, ฉากวัดแบบว็อกเซล, หน้าเฮลิคอปเตอร์ Airbus H145 — ถูกอธิบายในรายงานว่าใช้เวลาประมาณแปดถึงยี่สิบนาทีต่อชิ้นที่ความพยายามในการคิดระดับสูง คอนโทรลเลอร์คือชิ้นที่ถูกแคปหน้าจอไปใส่ในการเปรียบเทียบ

สิ่งที่การเปรียบเทียบคอนโทรลเลอร์แสดงให้เห็นจริง ๆ

นี่คือผลลัพธ์ตามที่ผู้ทดสอบรายงาน และมันเป็นข้อกล่าวอ้างที่เล็กกว่าที่ไทม์ไลน์ได้กล่าวอ้างถึงมันมาก

• คำตัดสิน — เสมอกัน ผู้ที่รันการทดสอบนี้ ซึ่งโพสต์ในชื่อ Lumina เรียกผลลัพธ์ทั้งสองว่า “เกือบสมบูรณ์แบบ”

• ความไม่สมมาตรเพียงจุดเดียว — เวอร์ชันของ Astra มีโลโก้ที่ผิดเพี้ยนไปเล็กน้อย นั่นเป็นข้อได้เปรียบในรายละเอียดเพียงจุดเดียว และผู้ทดสอบก็พูดถึงมันในฐานะข้อได้เปรียบในรายละเอียดเพียงจุดเดียว ไม่ใช่การเป็นผู้นำโดยรวม

• ความครบถ้วนด้านภาพ — ผลการเรนเดอร์ทั้งสองชิ้นแสดงรายละเอียดของตัวเครื่องคอนโทรลเลอร์ ปุ่มควบคุม และการลงเงา ไม่มีชิ้นใดที่รูปทรงเสียไป

• สิ่งที่การเปรียบเทียบนี้ไม่ได้ยืนยัน — นั่นคือโมเดลที่ยังไม่เปิดตัวนั้นนำอยู่ เอาต์พุตสองรายการที่ถูกตัดสินว่าดีเท่ากันคือคำนิยามของการไม่ได้นำ

• ความสามารถในการทำซ้ำ — มีรายงานว่าผลลัพธ์ถูกสร้างขึ้นเมื่อคืนก่อน ใช้เวลาประมาณยี่สิบนาที และผู้ทดสอบไม่สามารถได้ผลลัพธ์ที่เทียบเคียงได้ในวันถัดไป

• อัตลักษณ์ — รายการในอารีนาที่ผลลัพธ์นี้มาจากถูกติดป้ายว่า gemini-3.8-flash ซึ่งเป็นชื่อที่เป็นของโมเดลที่ Google เปิดตัวไปแล้วเมื่อวันที่ 2 กันยายน และต่อมามีรายงานว่าถูกเปลี่ยนป้ายเป็น gemini-3.7-flash โมเดลใดกันแน่ที่อยู่เบื้องหลังนามแฝงนี้ยังไม่เป็นที่ยุติ และผู้ทดสอบอีกสองรายกล่าวในช่วงเวลาเดียวกันว่าพวกเขาก็ไม่สามารถยืนยันได้เช่นกันว่าตนใช้โมเดลใด

อ่านรายการตามลำดับ แล้วรูปร่างของหลักฐานจะชัดเจนขึ้น ข้อกล่าวอ้างที่น่าสนใจไม่ใช่ "โมเดลที่ยังไม่เปิดตัวชนะ" แต่มันคือการที่โมเดลที่ไม่มีใครระบุตัวตนได้ ซึ่งรันภายใต้ชื่อของโมเดลที่เปิดให้ใช้งานแล้ว ผลิตงานเวกเตอร์ได้ในการลองครั้งเดียว โดยผู้ทดสอบที่พิถีพิถันไม่สามารถแยกออกจากผลลัพธ์ของโมเดลระดับแนวหน้าที่เปิดให้ใช้งานทั่วไปมาเกือบทั้งเดือนกันยายน นั่นเป็นการสังเกตจริง และยังเป็นการสังเกตเกี่ยวกับช่วงบ่ายวันหนึ่งด้วย และผู้ทดสอบก็กล่าวเช่นนั้น

ผลลัพธ์แบบสองทางและข้อเรียกร้องแบบสามทาง

โพสต์ที่จุดประกายชิ้นนี้บอกว่ามีสามโมเดล บทความที่บรรยายเซสชันคอนโทรลเลอร์เดียวกันกลับบอกว่ามีสอง สถานะจริงของ Claude Fable 5.2 ในสัปดาห์นี้เป็นอีกเรื่องหนึ่งที่บังเอิญอยู่ในรอบข่าวเดียวกัน และก็คุ้มค่าที่จะพูดให้แม่นยำ เพราะการปนกันนี้กำลังทำหน้าที่ในทั้งสองทิศทาง

• สิ่งที่ถูกกล่าวอ้าง — บัญชี X @chetaslua โพสต์เมื่อวันที่ 18 กันยายนว่า Claude Fable 5.2 "ได้รับการทดสอบใน claude code โดยกำหนดเส้นทาง fable 5.1 ไปยังโมเดลดังกล่าว" นั่นเป็นข้อกล่าวอ้างเกี่ยวกับการกำหนดเส้นทาง (routing) ของ Claude Code จากบัญชีเดียว

• ชื่อนี้คืออะไร — เป็นข้อสันนิษฐานของผู้รายงานเอง ผู้ทดสอบที่โพสต์ในนาม JAZII ซึ่งบทความลงวันที่ 18 กันยายนของเขาเป็นบันทึกที่ละเอียดที่สุดเกี่ยวกับพฤติกรรมดังกล่าว ระบุไว้อย่างตรงไปตรงมาว่า "Fable 5.2" เป็นชื่อที่เขาตั้งขึ้นเอง ไม่ใช่ชื่อที่ใครยืนยัน ไม่มีโมเดลการ์ด ไม่มีตัวระบุ API ไม่มีหน้าราคา ไม่มีการ์ดระบบ และไม่มีสำนักข่าวแห่งที่สองที่รายงานเส้นทาง Fable 5.2 อย่างเป็นอิสระ

• สิ่งที่เรื่องราวการจัดเส้นทางของ Claude ที่ได้รับการยืนยันนั้นเกี่ยวข้องจริง ๆ คืออะไร — บล็อกนี้ได้รายงานไว้แยกต่างหากแล้ว: รายงานเรื่องการจัดเส้นทางแบบเงียบในช่วงกลางเดือนกันยายนที่สำนักข่าวอิสระหลายแห่งนำไปเผยแพร่นั้นเป็นเรื่องเกี่ยวกับเช็กพอยต์ระดับ Opus ที่ยังไม่เปิดตัว ไม่ใช่ Fable การระบุว่าเป็น Fable มาจากแหล่งเดียวเท่านั้น ควรถือเป็นรายงานของแหล่งข่าวรายเดียว ไม่ใช่ข้อค้นพบ

• สิ่งที่ผู้ทดสอบรายงานจริง — ที่ระดับความพยายามในการให้เหตุผลสูง Fable รุ่นถัดไปที่คาดกันว่าเป็น ได้รับความชื่นชอบมากกว่า GPT-6 Astra และช้ากว่าและแพงกว่า นั่นเป็นเพียงความชอบจากคนคนหนึ่ง กับงานของตัวเขาเอง

• สิ่งที่ได้รับการยืนยันเกี่ยวกับโมเดลที่เปิดให้ใช้งานแล้ว — Claude Fable 5.1 เปิดให้ใช้งานทั่วไปมาตั้งแต่วันที่ 1 กันยายน 2026 โมเดลนี้มีอยู่จริง มีการกำหนดราคา และสามารถเรียกใช้งานได้ในวันนี้

ดังนั้น เวอร์ชันที่ตรงไปตรงมาของการวางกรอบแบบสามทางก็คือ สองในสามชื่อในโพสต์นั้นเป็นโมเดลที่ยังไม่ประกาศ ซึ่งมีชื่อที่ชุมชนตั้งให้ การทดสอบคอนโทรลเลอร์เกี่ยวข้องกับเพียงชื่อเดียวที่อย่างน้อยตัวตนก็ยึดโยงกับรายการใน arena และคอลัมน์ Fable เป็นความชอบจากผู้ทดสอบเพียงคนเดียวที่ปฏิเสธอย่างชัดเจนที่จะระบุชื่อโมเดล นั่นไม่ใช่เหตุผลที่จะเพิกเฉยต่อสิ่งใดในนั้น แต่เป็นเหตุผลที่จะถือชื่อทั้งสามไว้ที่ระดับความเชื่อมั่นที่แตกต่างกันสามระดับ แทนที่จะเป็นระดับเดียว

ตารางเบนช์มาร์กที่ทำหน้าที่โต้แย้งแทนจริง ๆ

SVG ของคอนโทรลเลอร์เป็นชิ้นงานที่มองเห็นได้ สิ่งที่ทำหน้าที่โน้มน้าวได้จริง ๆ คือชีต benchmark ที่ปรากฏขึ้นราววันที่ 18 กันยายน และถูกนำมาลงซ้ำในสื่อเทคโนโลยีจีนและอังกฤษตั้งแต่นั้นเป็นต้นมา มันคุ้มค่าที่จะแจกแจงรายการ เพราะตัวเลขเหล่านั้นเจาะจงพอที่จะตรวจสอบได้ และยังไม่มีตัวเลขใดเลยที่ถูกตรวจสอบ

• DeepSWE v1.1 — 88.7% โดยระบุว่าสูงกว่า GPT-6 Astra อยู่ราวสองจุด

• GDPval-AA v2 — 2,064 Elo โดยได้รับการอธิบายว่าเป็นรายการเดียวในการเปรียบเทียบข้างต้นที่สูงกว่า 2,000

• Terminal-bench 2.1 — 95.3% ซึ่งเป็นคะแนนสูงสุดในตาราง

• OSWorld-2.0 — 86.8% อยู่นำหน้าทั้ง GPT-6 Astra และ Claude Fable 5.1

• ราคาที่อ้างไว้ — $2.25 ต่อล้านโทเค็นอินพุต และ $11.25 ต่อล้านโทเค็นเอาต์พุต

• สเปกที่อ้าง — ขีดจำกัดอินพุต 10 ล้านโทเคน เพดานเอาต์พุต 256K โทเคน หน่วยความจำข้ามบทสนทนา

ทุกบรรทัดด้านบนเป็นคำกล่าวอ้างจากชุมชน Google ไม่ได้ยืนยันเรื่องเหล่านี้แม้แต่ข้อเดียว ไม่ได้ยืนยันด้วยซ้ำว่ารายการใน arena นั้นเป็น Gemini 4 Pro และไม่ได้ตอบกลับคำขอความเห็น ตารางนี้ไม่มีตัวระบุ checkpoint ไม่มีการตั้งค่า reasoning-effort ไม่มี agent harness ไม่มีสิทธิ์การใช้เครื่องมือ ไม่มีการแบ่งชุดทดสอบ ไม่มีขนาดตัวอย่าง และไม่มี run log — สิ่งที่การประเมินจริงมี แต่ภาพหน้าจอของสไลด์ไม่มี ชื่อ benchmark ยังมาจากตระกูลเดียวกับที่ OpenAI ใช้ในเอกสารเปิดตัวเดือนกันยายนของตัวเอง ซึ่งเป็นสัญญาณบอกว่าแผ่นงานนี้ถูกประกอบขึ้นที่ไหน มากกว่าว่าถูกวัดผลที่ไหน

ยังมีเหตุผลประการที่สองที่ต้องระมัดระวังกับการเปรียบเทียบ frontier ใด ๆ ในเดือนนี้: ดัชนีอิสระที่ทุกคนมักหยิบมาใช้นั้นถูกปรับเวอร์ชันใหม่เป็น v4.3 เมื่อวันที่ 7 กันยายน และการปรับเวอร์ชันใหม่จะบีบอัดหรือยืดส่วนหัวของตารางจัดอันดับ คะแนนที่ไม่ระบุเวอร์ชันกำกับไว้จะเทียบกับคะแนนจากสามสัปดาห์ก่อนไม่ได้ ไม่ว่าจะเป็นของเราหรือของใครก็ตาม

มีอะไรบ้างที่ได้รับการยืนยันจริงเกี่ยวกับ Gemini 4 Pro

ตัดข้ออ้างออกไป แล้วบันทึกข้อเท็จจริงที่หนักแน่นก็สั้น

• 21 กรกฎาคม 2026 — Google ยืนยันว่าได้เริ่มการรันพรีเทรนที่ทะเยอทะยานที่สุดเท่าที่เคยมีมา สำหรับ Gemini 4 โดยผู้บริหารระดับสูงสุดกล่าวย้ำเรื่องนี้อีกครั้งในสายการประชุมรายงานผลประกอบการไตรมาส 2

• 2 กันยายน 2026 — Gemini 3.8 Flash เปิดตัว โมเดลที่พร้อมให้บริการทั่วไปรุ่นใหม่ล่าสุดของ Google ยังคงเป็นโมเดลระดับ Flash

• 15–18 กันยายน 2026 — ผู้รั่วไหลที่ใช้ชื่อว่า "Lentils" อ้างว่าเช็คพอยต์ของ Gemini 4 Pro กำลังปรากฏภายในภายใต้ชื่อรหัส "argon"; นักติดตามชุมชนบันทึกรายการ arena ภายใต้ป้ายชื่อที่จัดส่ง gemini-3.8-flash ซึ่งใช้เวลาแปดถึงสิบนาทีต่อคำตอบ และสร้างงานเวกเตอร์และ 3D ได้ดีเกินกว่าที่โมเดลนั้นทำได้

• วันนี้ — ไม่มี model id ของ Gemini 4, ไม่มี endpoint, ไม่มีราคา, ไม่มี model card. Gemini 3.5 Pro ซึ่งถูกพรีวิวสำหรับเดือนมิถุนายนและไม่เคยวางจำหน่าย มีรายงานโดย Wall Street Journal ว่าถูกยกเลิก เนื่องจากความก้าวหน้าที่ได้มาน้อยเกินไป

นั่นคือพื้นผิวที่ยืนยันแล้วทั้งหมด ทุกสิ่งอื่นที่ยังหมุนเวียนอยู่ — ตาราง, ราคา, หน้าต่างบริบท, ชื่อรหัส, ตัวตนของรายการในอารีนา — ล้วนเป็นการอนุมานที่แต่งตัวด้วยจุดทศนิยม

สิ่งที่คุณสามารถรันได้จริงขณะที่คุณรอ

นี่คือส่วนที่โพสต์เปรียบเทียบทั้งหลายมักละไว้ และมันคือส่วนที่เปลี่ยนการตัดสินใจได้

GPT-6 Astra ไม่ใช่ข่าวลือ มันเปิดตัวเมื่อวันที่ 3 กันยายน 2026 โดยใช้รหัสโมเดล gpt-6-astra และวันนี้สามารถเรียกใช้งานได้ในราคาตามที่ OpenAI ประกาศเองที่ 10.00 ดอลลาร์ต่อโทเค็นอินพุต 1 ล้านโทเค็น และ 50.00 ดอลลาร์ต่อโทเค็นเอาต์พุต 1 ล้านโทเค็น โดยอินพุตที่แคชไว้ราคา 1.00 ดอลลาร์ มันทำงานบน OrcaRouter ในราคาเดียวกันกับที่ผู้ให้บริการประกาศไว้ โดยบวกเพิ่ม 0% — เราส่งต่อราคาของผู้ขายมาโดยตรง ดังนั้นเมื่อราคาเปลี่ยนแปลง ตัวเลขฝั่งเราก็เปลี่ยนในวันเดียวกัน ไม่ใช่รอจนกว่าจะมีใครว่างมาอัปเดตส่วนต่างกำไร ส่วนตัวเลขผลทดสอบที่ OpenAI รายงานคือ DeepSWE v1.1 ที่ 74%, OSWorld 2.0 ที่ 72.6%, Terminal-Bench 4.0 ที่ 57.9% และ ExploitBench ที่ 100% ซึ่งเป็นสิ่งที่ทำให้มันข้ามเกณฑ์ความสามารถด้านไซเบอร์ระดับ Critical ตัวเลขเหล่านี้เป็นตัวเลขที่ผู้ขายรายงานเองและยังไม่มีการทำซ้ำเพื่อยืนยัน และเป็นตัวเลขที่เอกสาร Gemini 4 Pro ที่รั่วไหลออกมากำลังโต้แย้งโดยนัย

Gemini 4 Pro ไม่ได้อยู่บน OrcaRouter และเราจะไม่แกล้งทำเป็นอย่างอื่น ไม่มี endpoint ไม่มี model id และไม่มีราคา เพราะยังไม่มีโมเดลที่เปิดให้ใช้จริง ในทางตรงกันข้าม Claude Fable 5.1 มีให้ใช้งานทั่วไปตั้งแต่ 1 กันยายน และสามารถ route ได้ในราคาตามที่ประกาศไว้ เช่นเดียวกับ Claude Opus 5 และโมเดลระดับแนวหน้าอื่น ๆ ในปัจจุบัน — API เดียวครอบคลุมโมเดลกว่า 200 รายการในราคาตามที่ผู้ให้บริการประกาศ โดยไม่มีการบวกราคาเพิ่ม ดังนั้นการเปรียบเทียบแบบนี้จึงไม่จำเป็นต้องใช้สามบัญชี สาม SDK และสามใบแจ้งหนี้เพื่อลงมือทำ

หากผลลัพธ์ของคอนโทรลเลอร์คือสิ่งที่ทำให้คุณอยากปรับโครงสร้างเส้นทางโปรดักชันโดยอิงกับโมเดลที่ยังไม่ประกาศเปิดตัว การตัดสินใจที่สมเหตุสมผลคือสิ่งที่หลักฐานสนับสนุน นั่นคือ อย่าทำ จงใช้เส้นทางที่คุณมีอยู่ต่อไป และถ้าคุณอยากรู้ว่าผลกระทบนั้นใช้ได้ทั่วไปกับงานของคุณเองหรือไม่ ให้ส่งทราฟฟิกส่วนเล็ก ๆ ไปยังเส้นทางที่ยังไม่ผ่านการพิสูจน์ โดยมีฟอลแบ็กไปยังโมเดลที่คุณเชื่อถืออยู่แล้ว วิธีนี้ทำให้บ่ายที่แย่มีต้นทุนเป็นทราฟฟิกหนึ่งเปอร์เซ็นต์แทนที่จะเป็นเหตุขัดข้อง และคุณจะได้คำตอบของคุณเองแทนที่จะยืมผลลัพธ์ยี่สิบนาทีของคนอื่น

อะไรจะทำให้ผลลัพธ์ของคอนโทรลเลอร์มีความหมาย

• นามแฝงได้ชื่อจริงแล้ว รายการในอารีนาคือข่าวลือที่มีแถวบนตารางอันดับ รหัสโมเดลในเอกสารของผู้ขายเองคือผลิตภัณฑ์ จับตาดูรายการโมเดล ไม่ใช่ไทม์ไลน์

• ผลลัพธ์สามารถทำซ้ำได้ ผู้ทดสอบคนหนึ่งไม่สามารถได้ผลลัพธ์เดิมในวันถัดไป การที่บุคคลอิสระสามคนได้ผลลัพธ์ตามต้องการ โดยมีการระบุโมเดล ถือเป็นหลักฐานคนละระดับโดยสิ้นเชิง

• ชีตที่รั่วไหลออกมามีระเบียบวิธีกำกับแล้ว คะแนนเบนช์มาร์กที่ไม่มีเช็กพอยต์ ไม่มีการตั้งค่าระดับความพยายาม และไม่มีฮาร์เนส ไม่ถือเป็นการวัด แต่เป็นเพียงข้ออ้างเกี่ยวกับการวัด

• ราคาหนึ่งปรากฏขึ้น ราคาที่อ้างว่า $2.25/$11.25 จะทำให้โมเดลระดับแนวหน้าที่ไม่เปิดตัวกลายเป็นรุ่นที่ถูกที่สุดในสามรุ่นโดยทิ้งห่างมาก ซึ่งเป็นข้ออ้างแบบที่ไม่ว่าจะปรากฏในเรตการ์ดหรือไม่ก็ตาม

• การอ้างอิงที่มาของ Fable ได้แหล่งที่มาที่สองแล้ว ตอนนี้มีเพียงแหล่งเดียว และคนที่สร้างมันขึ้นมากล่าวว่าชื่อนี้เป็นของเขามาแต่แรก

คำถามที่คู่ควรกับคำตอบ

ถ้ารายการในอารีน่าเป็น Gemini 4 Pro จริง ๆ ทำไมถึงรันมันภายใต้ชื่อของโมเดลที่ปล่อยออกใช้แล้ว?

การทดสอบเช็กพอยต์ใหม่ภายใต้ป้ายกำกับของโมเดลที่มีอยู่แล้วเป็นแนวปฏิบัติมาตรฐานสำหรับการทำ blind benchmarking — มันช่วยให้ห้องแล็บเก็บคะแนนโหวตแบบตัวต่อตัวโดยที่ชื่อไม่มีอิทธิพลต่อการโหวต นอกจากนี้ยังหมายความว่าป้ายกำกับไม่ได้บอกอะไรคุณเลยเกี่ยวกับสิ่งที่อยู่เบื้องหลัง ซึ่งนั่นคือปัญหาตรงนี้พอดี: นามแฝงเป็นหลักฐานว่ามีบางสิ่งกำลังถูกทดสอบ ไม่ใช่หลักฐานว่ามันคืออะไร

การเสมอกับ GPT-6 Astra หมายความว่าโมเดลที่ยังไม่เปิดตัวน่าผิดหวังหรือไม่

ไม่ และนี่คือจุดที่การวางกรอบสร้างความเสียหายมากที่สุด เช็คพอยต์ที่ยังอยู่ในขั้นหลังการฝึก รันอยู่ภายใต้นามแฝง และทำได้เทียบเท่าโมเดลแนวหน้าที่ปล่อยแล้วในงานยากแบบ one-shot ถือเป็นสัญญาณที่แรงกว่ามากเมื่อเทียบกับกราฟวันเปิดตัว มันเป็นเพียงสัญญาณเกี่ยวกับทิศทาง ไม่ใช่เกี่ยวกับผลิตภัณฑ์ที่คุณซื้อได้ และทั้งสองอย่างถูกอ่านว่าเป็นสิ่งเดียวกันในโพสต์เปรียบเทียบ

วันนี้ฉันควรเปลี่ยนอะไรบางอย่างเพราะเรื่องนี้ไหม

ไม่ใช่เพราะเรื่องนี้ ไม่มีอะไรในการทดสอบคอนโทรลเลอร์ที่เปลี่ยนสิ่งที่พร้อมใช้งาน สิ่งที่สิ่งใดๆ มีค่าใช้จ่าย หรือสิ่งที่โมเดลใดๆ เก่ง ข้อเท็จจริงที่เกี่ยวข้องกับการตัดสินใจในสัปดาห์นี้คือ GPT-6 Astra และ Claude Fable 5.1 เปิดใช้งานจริงและมีราคาแล้วทั้งคู่ ขณะที่ Gemini 4 Pro ไม่มีทั้งสองอย่างนั้น หากคุณต้องการป้องกันความเสี่ยงไปทางความเป็นไปได้นั้น ให้ป้องกันด้วยการกำหนดเส้นทางแทนการเขียนใหม่

การอ่านอย่างตรงไปตรงมา

การทดสอบคอนโทรลเลอร์เป็นหลักฐานที่ดีที่สุดที่ใครบางคนเคยผลิตออกมาเกี่ยวกับ Gemini 4 Pro และหลักฐานที่ดีที่สุดที่ใครบางคนเคยผลิตออกมาก็คือผลเสมอ จากการลองเพียงครั้งเดียว ที่ไม่ได้เกิดขึ้นซ้ำ บนโมเดลที่ไม่มีใครเอ่ยชื่อได้ รายงานควบคู่กับชีต benchmark ที่ไม่มีใครตรวจสอบได้ นั่นฟังดูเหมือนการปัดตก และมันไม่ใช่ เหตุผลที่การทดสอบนี้แพร่กระจายก็คือ มันเป็นชิ้นงานแรกในเรื่องราวนี้ที่ดูเหมือนผลิตภัณฑ์มากกว่าสไลด์ — พร้อมต์จริง ผลลัพธ์จริง คนจริงที่เปรียบเทียบทั้งสอง และผลลัพธ์ที่ไม่มีฝ่ายใดของฝ่ายสนับสนุนได้อ้างเป็นของตนไปเต็มๆ

สิ่งที่มันไม่ได้ทำคือชี้ขาดอะไร ถ้าคุณต้องส่งมอบภายในสัปดาห์นี้ ระดับแนวหน้าที่มีอยู่จริง — GPT-6 Astra ในราคา $10/$50 และ Claude Fable 5.1 ในราคาตามรายการของตัวเอง — คือจุดที่การตัดสินใจของคุณอยู่จริง และทั้งสองเรียกใช้ได้ด้วยคีย์เดียวโดยไม่ต้องมีสัญญาที่สอง ถ้าคุณอยากรู้ว่าฝั่ง Google มีอะไร สัญญาณเดียวที่จะเปลี่ยนเรื่องนี้จากบทความแบบเท่าที่เรารู้กันจนถึงตอนนี้ไปเป็นบทความเปิดตัว คือรหัสโมเดล ตารางราคา และการทำซ้ำผลลัพธ์ จนกว่าสิ่งเหล่านั้นจะมาถึง การตีความการเปรียบเทียบคอนโทรลเลอร์ Xbox 360 ที่ถูกต้อง คือคำที่คนที่ลงมือทำการเปรียบเทียบนั้นให้ไว้: ภาพวาดที่ดีมากสองภาพ และไม่มีผู้ชนะ