Obsidian 3: แถวเบนช์มาร์กที่ซ่อนอยู่ บิล 3.6× และคำถามเกี่ยวกับ Fable 5.5

ตัวเลขที่น่าสนใจที่สุดบนกระดานผู้นำด้านการเขียนโค้ดใหม่ของ Cognition ในสัปดาห์นี้เป็นของโมเดลที่ไม่มีใครเอ่ยชื่อได้ มีรายการที่ซ่อนอยู่ซึ่งติดป้ายว่า Obsidian 3 ปรากฏในไฟล์ข้อมูลเบื้องหลัง FrontierCode 2.0 โดยได้คะแนนแบบ high-effort 46.77% สูงกว่า Claude Opus 5.5 ที่ 45.5% ซึ่งเป็นโมเดลที่ตารางของ Cognition เองจัดไว้เป็นอันดับแรก แถวนั้นรันในฮาร์เนส claude-code ซึ่งมีเพียงโมเดลของ Anthropic เท่านั้นที่ใช้บนกระดานนั้น และทันทีที่การคาดเดาเกิดขึ้นก็แยกเป็นสองทางระหว่าง Claude Fable 5.5 โมเดลเรือธงที่ Anthropic ยังไม่ได้เปิดตัว กับรีเฟรชกลางรอบที่ผู้โพสต์คนหนึ่งเรียกว่า "Opus 5.6" ทั้งหมดนั้นไม่ได้รับการยืนยัน Anthropic ไม่ได้กล่าวอะไร ไม่มีโมเดลการ์ดหรือ API ID อยู่เลย และตัวเลข Obsidian 3 ทุกตัวในบทความนี้เป็นการกล่าวอ้างที่ยังไม่ได้รับการยืนยันจากโพสต์บน X ไม่ใช่ผลลัพธ์ที่เราสามารถทำซ้ำได้

สิ่งที่ตรวจสอบได้นั้นแคบกว่าและมีประโยชน์กว่า: ไฟล์สาธารณะที่การรั่วไหลชี้ไป เส้นโค้งความพยายามที่ถูกโยงกับแถวที่ซ่อนอยู่ และการคำนวณเบื้องหลังข้อกล่าวอ้างเรื่อง "ต้นทุน 3.6×" เมื่อนำสิ่งเหล่านี้มารวมกัน เรื่องราวก็เลิกเป็น "โมเดลถัดไปของ Anthropic เอาชนะโมเดลปัจจุบันของตัวเอง" แล้วกลายเป็นสิ่งที่เฉพาะเจาะจงกว่า — แถวที่พุ่งขึ้นสูงสุดเมื่อใช้ความพยายามสูงแล้วจากนั้นถอยหลังกลับ การเปรียบเทียบที่ใช้ได้เพียงเมื่อคุณกำหนดระดับความพยายามต่างกันไว้ในแต่ละฝั่ง และไฟล์ข้อมูลที่ไม่มีแถวนั้นอยู่เลย

อะไรรั่วไหล และเมื่อไร

Cognition เผยแพร่ FrontierCode 2.0 เมื่อวันที่ 27 ตุลาคม benchmark นี้ออกแบบมาให้โกงได้ยากโดยเจตนา: มี 132 งานที่สร้างจาก repository โอเพนซอร์สจริงโดยผู้ดูแลมากกว่า 20 คน โดยแต่ละงานใช้เวลาประมาณ 40 ชั่วโมง และให้คะแนนจากว่า patch จะถูก merge จริงหรือไม่ มากกว่าจะผ่านการทดสอบหรือไม่ ทุกการรันจะทำซ้ำสามครั้ง งานเหล่านี้เป็นงานส่วนตัว และหากเกณฑ์การบล็อกใดล้มเหลวเพียงข้อเดียวจะได้คะแนนศูนย์ ตารางของ Cognition เองจัดให้ Claude Opus 5.5 อยู่อันดับหนึ่งที่ 45.5% เมื่อใช้ความพยายามสูงสุด GPT-6 Astra อยู่อันดับสองที่ 42.8% Claude Sonnet 5.5 อยู่อันดับสามที่ 41.0% และไม่มีโมเดลใดสูงกว่า 50% Artificial Analysis นำ benchmark นี้ไปใช้เป็น 15% ของ Intelligence Index v5 ฉบับใหม่ และรายงานผู้นำคนเดียวกันโดยอิสระ คือ Claude Opus 5.5 ที่ 46% เมื่อปัดเศษ

เย็นวันนั้น เมื่อเวลา 21:10 UTC ของวันที่ 27 ตุลาคม @tensorson โพสต์ว่าไฟล์ข้อมูลของ Cognition มีโมเดลหนึ่งที่ตารางไม่ได้แสดงไว้: "Obsidian 3" ที่ 46.8% "สูงกว่า #1 Opus 5.5 (45.5%)" โพสต์ดังกล่าวระบุถึงฮาร์เนส claude-code และคาดเดาว่าเป็น Fable 5.5 สิบสองชั่วโมงต่อมา กระทู้ใน linux.do ระบุคะแนน effort ห้าระดับแยกกันสำหรับแถวนั้น — low 39.19%, medium 39.84%, high 46.77%, xHigh 45.90%, max 45.53% — พร้อมแนบสำเนาข้อมูล เมื่อเวลา 09:12 UTC ของวันที่ 28 ตุลาคม @teortaxesTex โพสต์แบบ quote พร้อมตัวเลขต้นทุน: Opus 5.5 ที่ระดับ high ได้ 34.5% ในราคา $2.42 ต่อการ rollout หนึ่งครั้ง, Opus 5.5 ที่ระดับ max ได้ 45.5% ในราคา $12.82 และ Obsidian 3 ที่ระดับ high ได้ 46.7% "ซึ่งดูเหมือนว่าจะใช้ $8.62" โดยไปได้ไม่ไกลกว่านั้นแม้จะจ่ายถึง $47 สำหรับระดับ max โพสต์ถามว่า "FrontierCode พังแล้วหรือยัง?" "หรือว่า Fable 5.5 เป็นตัวล้มเหลว?" เมื่อเวลา 16:18 UTC @CodexResets1 ได้ขยายตัวเลขชุดเดิมและถามว่าโมเดลนั้นคือ Fable 5.5 หรือ Opus 5.6

เฮดเดอร์ Last-Modified ของไฟล์ระบุเวลา 17:44 UTC วันที่ 28 ตุลาคม ไฟล์เวอร์ชันที่เราดาวน์โหลดในอีกหนึ่งวันถัดมามีขนาด 32,055 ไบต์ แสดงรายชื่อโมเดล 24 รายการ และไม่มีแถวใดชื่อ Obsidian 3 อยู่ที่ใดเลยในโครงสร้างของไฟล์ คำขอที่เลี่ยงแคชส่งคืนแฮชไฟล์เดียวกัน ตารางกระดานผู้นำอย่างเป็นทางการไม่เคยแสดงแถวนั้น สำเนา 20 แถวของ BenchLM ก็ไม่แสดงแถวนั้นเช่นกัน และ Anthropic ไม่ได้เผยแพร่สิ่งใดเลย

หนึ่งแถว ห้าระดับความพยายาม สามเรื่องราวที่แตกต่างกัน

ครึ่งหนึ่งที่เผยแพร่ของการเปรียบเทียบนี้เชื่อถือได้ เพราะมาจากข้อมูลที่ดาวน์โหลดได้ของ Cognition โดยตรง คะแนนที่ปรับตาม mergeability ของ Claude Opus 5.5 เพิ่มขึ้นในทุกขั้น: 14.7% ที่ระดับ low, 30.1% ที่ระดับ medium, 34.5% ที่ระดับ high, 43.4% ที่ระดับ xHigh และ 45.5% ที่ระดับ max ต้นทุนเฉลี่ยต่องานของมันเพิ่มขึ้นจาก $2.42 ที่ระดับ high เป็น $12.82 ที่ระดับ max นั่นคือเส้นโค้งของโมเดลที่ยิ่งดีขึ้นเมื่อคุณจ่ายเงินเพื่อให้มันคิดนานขึ้น

เส้นโค้ง Obsidian 3 ที่อ้างไว้ไม่ได้มีพฤติกรรมเช่นนั้น:

• ความพยายามระดับต่ำ — อ้างว่าทำได้ 39.19% ซึ่งสูงกว่าระดับความพยายามสูงของ Claude Opus 5.5 ที่ 34.5% อยู่แล้ว

• ความพยายามระดับปานกลาง — อ้างว่า 39.84% เพิ่มขึ้น 0.65 คะแนน

• ความพยายามสูง — อ้างว่า 46.77% ซึ่งเป็นจุดสูงสุด โดยอ้างว่า $8.62 ต่องาน

• xHigh effort — อ้างว่า 45.90% ลดลง 0.87 คะแนน

• ความพยายามสูงสุด — อ้างว่า 45.53% ลดลงอีก 0.37 โดยมีต้นทุนที่อ้างว่าใกล้ $47

มีการตั้งค่าความพยายามอยู่ห้าระดับ และคะแนนที่ดีที่สุดนั้นอยู่ที่ระดับที่สาม การใช้งบประมาณความพยายามสูงประมาณ 5.5 เท่าเพื่อไปให้ถึงระดับสูงสุด ให้คะแนนที่ต่ำกว่า 1.24 คะแนน Cognition เองก็เตือนว่าสิ่งนี้สามารถเกิดขึ้นได้: การตั้งค่าการให้เหตุผลที่สูงขึ้นบางครั้งทำให้คะแนนลดลง เพราะโมเดลเขียนโค้ดมากขึ้นและแตะต้องไฟล์มากขึ้น และตัวอย่างของ benchmark เองก็รวมถึงการรันที่ใช้ความพยายามสูงสุดซึ่งลบคลาส API สาธารณะทิ้งในขณะที่กำลังแก้ไข race condition แต่ขนาดของคะแนนที่ลดลงนั้นสำคัญ โมเดลที่ติดขัดอยู่ที่จุดสูงสุดมักเป็น checkpoint ระยะแรกหรือเป็นผลพลอยได้จากการกลั่นตัว (distillation artifact) บ่อยกว่าที่มันจะเป็นเรือธงที่เสร็จสมบูรณ์

ตอนนี้มาดูการเปรียบเทียบ เพราะพาดหัวข่าวขึ้นอยู่กับว่าคุณเลือกอันไหนโดยสิ้นเชิง:

• ดีที่สุดเทียบกับดีที่สุด — Obsidian 3 ที่ 46.77% ในโหมด high เทียบกับ Claude Opus 5.5 ที่ 45.5% ในโหมด max ต่างกัน +1.32 จุด โดยคิดราคา $8.62 เทียบกับ $12.82 หรือถูกลงประมาณ 33% เมื่อมองแบบนี้ แถวที่ซ่อนอยู่ชนะทั้งสองแกน

ระดับสูงเทียบกับระดับสูง — 46.77% เทียบกับ 34.5% คือ +12.24 จุด ที่ $8.62 เทียบกับ $2.42 หรือคิดเป็นต้นทุน 3.56× เมื่อตีความเช่นนี้ ถือเป็นการเพิ่มคุณภาพครั้งใหญ่ในราคาที่สูงเช่นกัน

• Max เทียบกับ max — 45.53% เทียบกับ 45.45% คือ +0.08 จุด ที่ราว $47 เทียบกับ $12.82 หรือคิดเป็น 3.67 เท่าของค่าใช้จ่าย เมื่อตีความแบบนี้แล้วก็ถือว่าเสมอกันในราคาที่หายนะ

ทั้งสามข้อเป็นจริงในเชิงเลขคณิต นั่นคือเหตุผลที่กระทู้บน X เถียงกันคนละประเด็น: @tensorson เปรียบเทียบ high กับ max แล้วเรียกมันว่าเป็นชัยชนะ 1.3 จุด ส่วน @teortaxesTex เปรียบเทียบ high กับ high แล้วถามว่า benchmark นี้เสียหรือเปล่า ตัวเลข "ต้นทุน 3.6 เท่าที่ความพยายามเท่ากัน" นั้นถูกต้อง และ "ถูกกว่ารันที่ดีที่สุดของ Opus 5.5" ก็ถูกต้องเช่นกัน — ทั้งสองอย่างอธิบายการรันคนละคู่

ภายใต้ทั้งหมดนี้ยังมีข้อควรระวังที่ใหญ่กว่าซ่อนอยู่ ข้อมูลของ Cognition เก็บตัวเลขสองค่าต่อการรันหนึ่งครั้ง ได้แก่ อัตราความถูกต้องดิบและคะแนนที่ปรับตามความสามารถในการผสาน ตัวเลข 45.5% ที่เผยแพร่สำหรับ Claude Opus 5.5 เป็นค่าที่ปรับแล้ว ส่วนอัตราความถูกต้องดิบของมันที่ระดับ max คือ 49.7% และที่ระดับ high คือ 37.9% การปรับนี้ทำให้แถวข้อมูล Claude ที่เปิดเผยสูญเสียไปสามถึงสี่จุด เราไม่รู้ว่าตัวเลข Obsidian 3 ที่รั่วไหลมานั้นมาจากคอลัมน์ใด ถ้า 46.77% เป็นอัตราความถูกต้องดิบ คะแนนที่ปรับแล้วของมันจะอยู่ราว 43% — ต่ำกว่า Claude Opus 5.5 — และข้อกล่าวอ้างว่า "อยู่เหนืออันดับ 1" ทั้งหมดก็หายไป ตัวแปรที่ไม่รู้ค่านี้เพียงตัวเดียวมีขนาดใหญ่กว่าส่วนต่าง 1.3 จุดที่ทุกคนโต้เถียงกัน

ทำไมป้ายกำกับ claude-code จึงเป็นเหตุผลทั้งหมดที่สนับสนุน Anthropic

ฮาร์เนสเป็นเพียงโครงสร้างรองรับ ไม่ใช่ลายนิ้วมือระบุตัวตน FrontierCode รันแต่ละโมเดลภายในลูปของเอเจนต์ และไฟล์ข้อมูลจับคู่โมเดลกับลูปที่โมเดลนั้นใช้: แถวของ OpenAI รันใน codex, ของ Google ใน devin-cli, ของ xAI ใน grok-build, Muse Wonder ของ Meta ใน muse, โมเดล SWE ของ Cognition เองใน devin-cli-swe1 และแถว Claude ทั้งหกแถวใน claude-code แถวที่ไม่ระบุชื่อซึ่งอยู่ในฮาร์เนสของ Claude เป็นเบาะแสที่ชัดเจนว่าโมเดลที่อยู่เบื้องหลังถูกสร้างมาให้ทำงานกับเครื่องมือของ Anthropic แต่ไม่ใช่ข้อพิสูจน์ว่า Anthropic เป็นผู้สร้าง ผู้ดำเนินการเบนช์มาร์กสามารถทดสอบโมเดลก่อนเปิดตัวของพาร์ตเนอร์ในฮาร์เนสใดก็ได้ที่เหมาะสม และห้องแล็บสามารถทดสอบโมเดลของตัวเองภายใต้ชื่อที่ถูกห้ามเปิดเผย

ชื่อนี้เองแทบไม่ได้บอกอะไรเราเลย ไลน์อัปสาธารณะของ Anthropic — ซึ่งตรวจสอบกับภาพรวมโมเดลของบริษัทเองเมื่อวันที่ 29 ตุลาคม — ประกอบด้วย Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5 และ Claude Haiku 5.5 ไม่มี Fable 5.5 ไม่มี Opus 5.6 และไม่มีผลิตภัณฑ์ที่ชื่อ Obsidian “Obsidian 3” เป็นชื่อรหัสสไตล์อัญมณีแบบที่ห้องปฏิบัติการต่าง ๆ ใช้กันภายใน แต่ไม่มีทะเบียนสาธารณะให้ตรวจสอบเทียบ และเลข “3” ที่ต่อท้ายไม่ได้สอดคล้องกับลำดับใด ๆ ที่ Anthropic เคยเปิดตัว

นั่นทำให้เหลือสามการตีความ และหลักฐานไม่ได้เลือกชี้ชัดระหว่างสิ่งเหล่านั้น:

• บิลด์ระดับ Fable Claude Fable 5.1 คือเรือธงราคา $10 / $50 สำหรับงานที่ต้องใช้การถอดเหตุผลอย่างหนัก เปิดตัวเมื่อวันที่ 1 กันยายน และไลน์ Fable ก็คือช่องว่างที่เห็นได้ชัดในไลน์อัปปัจจุบัน การคาดเดาของ @tensorson รวมถึงการตอบกลับหลายรายการต่อโพสต์นั้น ลงเอยที่ตรงนี้ เพราะโครงสร้างต้นทุนดูเป็นระดับพรีเมียมมากกว่าระดับคุ้มค่า

• การรีเฟรช Opus กลางรอบ @teortaxesTex มีความเห็นเดิมว่า "Obsidian 3 คือ Opus 5.6" โดยให้เหตุผลว่า Anthropic เคยออกโมเดลกลางรอบที่แทบไม่ได้ความสามารถในการให้เหตุผลเพิ่มขึ้นมาก่อน ส่วนยอดแบนราบของเส้นโค้งที่กล่าวอ้างก็เข้ากับเรื่องเล่านี้ แต่คะแนนในโหมดความพยายามต่ำ — 39.19% เทียบกับ 14.7% ของ Claude Opus 5.5 — ดูเหมือนการเทรนคนละรอบมากกว่าจะเป็นการรีเฟรชเล็กน้อย

• อาจเป็นสิ่งตกค้างจากการกลั่น (distillation artifact) หรือเช็กพอยต์ระยะแรก ข้อสมมติฐานอีกข้อของ @teortaxesTex และเป็นข้อที่รูปทรงของเส้นโค้งสนับสนุนได้ดีที่สุด: แข็งแกร่งที่ความพยายามระดับต่ำและปานกลาง พุ่งสูงสุดที่ระดับสูง แล้วถอยลงเมื่อให้พื้นที่มากขึ้น โมเดลชายแดนที่สมบูรณ์แบบไม่ควรแย่ลงทุกครั้งที่คุณเพิ่มงบประมาณให้มัน

สิ่งที่จังหวะเวลาของ IPO เพิ่มเข้ามา — และสิ่งที่มันไม่ได้เพิ่ม

สัญญาณที่จุดประกายเธรดนี้คือคำถามเกี่ยวกับจังหวะเวลา: ทำไม Fable ยังไม่ออกวางจำหน่ายก่อน IPO? Anthropic ยื่นไฟล์ S-1 ต่อสาธารณะเมื่อวันที่ 26 ตุลาคม หนึ่งวันก่อนที่ FrontierCode 2.0 จะเปิดตัว เพื่อระดมทุนประมาณ 75,000 ล้านดอลลาร์บน Nasdaq ภายใต้ชื่อย่อหลักทรัพย์ ANT คาดว่า roadshow จะจัดขึ้นในสัปดาห์ของวันที่ 9 พฤศจิกายน และกำหนดราคาในสัปดาห์ของวันที่ 16 พฤศจิกายน ตามข้อมูลของ Renaissance Capital เรือธงรุ่นถัดไปที่เปิดตัวก่อนการกำหนดราคาจะทำให้การจดทะเบียนมีเรื่องราวของผลิตภัณฑ์ ส่วนรุ่นที่เปิดตัวหลังจากนั้นจะทำให้มีเรื่องราวของแผนงานในอนาคต

แต่แถวข้อมูลที่ซ่อนอยู่ในเบนช์มาร์กไม่ใช่สัญญาณการเปิดตัว แล็บต่าง ๆ ทดสอบโมเดลก่อนเปิดตัวกับผู้ดำเนินการเบนช์มาร์กเป็นประจำ ซึ่งมักอยู่ภายใต้การห้ามเผยแพร่ และหน้าที่ของผู้ดำเนินการคือทำให้โมเดลยังไม่ระบุตัวตนจนกว่าผู้ขายจะบอกเป็นอย่างอื่น หาก Cognition ทดสอบบิลด์ของ Anthropic การตีความที่ถูกต้องคือ Anthropic ยังคงวนปรับปรุงอยู่ ไม่ใช่ว่าการเปิดตัวจะมาถึงในอีกไม่กี่วัน ข้อมูลอย่างเป็นทางการเพียงจุดเดียวที่ยังเหลืออยู่คือเอกสารของ Anthropic ซึ่งระบุโมเดลปัจจุบันสี่รุ่น และไม่มีรุ่นใดเป็น Obsidian การ IPO อธิบายว่าทำไมผู้คนจับตาดูระดับ Fable อย่างใกล้ชิด แต่ไม่ได้ทำให้แถวข้อมูลนั้นเป็นเรื่องจริง

สิ่งที่ผู้อ่านสามารถทำได้จริงในปัจจุบัน

ยังไม่มีข้อมูลใด ๆ เกี่ยวกับ Obsidian 3 ที่ระบุว่าสามารถเรียกใช้งานได้ มีการกำหนดราคา หรือมีเอกสารประกอบ ดังนั้นจึงไม่เปลี่ยนการตัดสินใจใด ๆ ในสัปดาห์นี้ หากคุณต้องการคะแนน mergeability ที่ดีที่สุดซึ่งมีให้ใช้ในตอนนี้ Claude Opus 5.5 เปิดให้ใช้งานสาธารณะแล้ว: อินพุต $4 และเอาต์พุต $20 ต่อหนึ่งล้านโทเค็น, หน้าต่างบริบท 1M โทเค็น, เอาต์พุตสูงสุด 128K, API ID claude-opus-5-5, เปิดตัว 22 กันยายน หากต้นทุนเป็นข้อจำกัด GPT-6.1 Sol ทำได้ 39.0% ที่ประมาณ $1.03 ต่องานบนตารางอันดับเดียวกัน — เป็นการแลกเปลี่ยนคะแนนต่อดอลลาร์ที่คุ้มค่ากว่ามากเมื่อเทียบกับ Claude ทั้งสองรุ่น และเป็นตัวเลขที่ควรตรวจสอบก่อนที่คุณจะสรุปว่าอันดับต้น ๆ ของตารางคือแถวเดียวที่มีประโยชน์

Claude Opus 5.5 นั้นสามารถกำหนดเส้นทางผ่าน OrcaRouter ได้ในราคาตามรายการของ Anthropic โดยไม่มีค่าธรรมเนียมเพิ่ม ควบคู่ไปกับโมเดลอื่นอีกกว่า 200 โมเดลบน API เดียวพร้อมการสลับอัตโนมัติเมื่อเกิดข้อขัดข้อง สิ่งนี้สำคัญสำหรับการทดลองเพียงหนึ่งเดียวที่ข้อมูลรั่วไหลนี้นำเสนอจริง ๆ: รัน Claude Opus 5.5 ที่ระดับ high และ max บน workload ของคุณเอง แล้ววัดต้นทุนต่อแพตช์ที่ได้รับการยอมรับ กราฟของ FrontierCode เองระบุว่าสองขั้นความพยายามสุดท้ายมีต้นทุนสูงขึ้น $10.40 ต่องานเพื่อแลกกับ 11 คะแนน; รีโปซิทอรีของคุณอาจไม่ได้กำหนดราคาในแบบเดียวกัน การตั้งค่าความพยายามและราคาต่อโทเค็นเป็นของ Anthropic เองและส่งผ่านโดยตรง ดังนั้นการเปรียบเทียบจึงเป็นการเปลี่ยนพารามิเตอร์มากกว่าการเป็นสัญญาที่สอง — และหาก Anthropic ลดราคาตามรายการ การลดนั้นจะมีผลบนเส้นทางในวันเดียวกัน

อะไรจะทำให้ Obsidian 3 กลายเป็นข้อเท็จจริง

• แถวข้อมูลจะถูกส่งกลับมาในไฟล์ข้อมูลที่ดาวน์โหลดได้ พร้อมคีย์โมเดลและรายการ effort ทั้งห้ารายการ ดังนั้นจึงสามารถอ่านตัวเลขได้โดยไม่ต้องใช้ภาพหน้าจอ

• Cognition ระบุว่าตนได้ทดสอบโมเดลที่ยังไม่เปิดตัวหรือไม่ และภายใต้ข้อตกลงแบบใด ผู้ดำเนินการ benchmark ที่ยืนยันการทดสอบภายใต้คำสั่งห้ามเผยแพร่จะช่วยยืนยันที่มาของข้อมูลได้โดยไม่ต้องระบุชื่อผู้จำหน่าย

• Anthropic เผยแพร่ model card, API ID หรือรายการเอกสาร นั่นคือเหตุการณ์เดียวที่จะเปลี่ยนแถวในตาราง benchmark ให้กลายเป็นผลิตภัณฑ์

• จะแสดงราคา โมเดลที่ไม่มีราคาถือเป็นรายการเกณฑ์มาตรฐาน ไม่ใช่ตัวเลือกที่ผู้อ่านสามารถเลือกได้

• ผู้ดำเนินการรายที่สองวัดค่านี้ Artificial Analysis รันชุดทดสอบ FrontierCode 2.0 ของตนเองด้วยการตั้งค่าภายนอกที่แตกต่างกัน แถว Obsidian ที่นั่นจะเป็นการยืนยันเสริม มากกว่าการโพสต์ซ้ำภาพหน้าจอเดียวกัน

แถวนั้นเป็นหลักฐานยืนยัน ไม่ใช่การเปิดตัว สิ่งที่มันยืนยันไว้น่าสนใจกว่าพาดหัวข่าว: โมเดลที่แข็งแกร่งเมื่อใช้ความพยายามต่ำ พุ่งสูงสุดเมื่อใช้ความพยายามสูง แล้วใช้ бюджетเพิ่มขึ้นห้าเท่าเพื่อให้แย่ลง ถ้าเส้นโค้งนั้นเป็นของเรือธงรุ่นถัดไปของ Anthropic บริษัทก็มีปัญหาการขยายสเกลการให้เหตุผลที่ต้องแก้ก่อนจะเปิดตัว ถ้ามันเป็นของเช็กพอยต์ช่วงต้น ตัวเลขจะเปลี่ยนก่อนที่ชื่อจะเปลี่ยน ไม่ว่าทางไหน 46.8 ไม่ใช่ตัวเลขที่ต้องจับตา ตัวเลขที่ต้องจับตาคือเส้นโค้งนั้นจะกลายเป็นโมโนโทนิกหรือไม่

คำถามที่พบบ่อย

Obsidian 3 เปิดตัวแล้วหรือยัง?

ไม่ใช่ ไม่มีโมเดลที่ชื่อ Obsidian 3 ปรากฏในเอกสารของ Anthropic หรือในตาราง FrontierCode 2.0 ที่ Cognition เผยแพร่ และเราไม่พบแคตตาล็อก API ที่ระบุถึงโมเดลนี้ หลักฐานเดียวคือแถวที่ซ่อนอยู่ซึ่งถูกรายงานในโพสต์ X เมื่อวันที่ 27 และ 28 ตุลาคม และกระทู้ฟอรัมที่ทำซ้ำคะแนน effort ห้าค่า Anthropic ยังไม่แสดงความคิดเห็น และไฟล์ข้อมูลสาธารณะที่เราดาวน์โหลดเมื่อวันที่ 29 ตุลาคมไม่มีแถวดังกล่าว

Obsidian 3 คือ Claude Fable 5.5 หรือ Claude Opus 5.6?

ไม่ทราบ ทั้งสองเป็นเพียงการคาดเดาจากป้ายกำกับ claude-code harness ไม่ได้มาจากตัวระบุใด ๆ Fable 5.5 เข้ากับช่องที่ว่างอยู่เหนือ Claude Fable 5.1 ในไลน์อัปของ Anthropic; Opus 5.6 เข้ากับทฤษฎีที่ว่า Anthropic ออกการรีเฟรชกลางรอบที่มีการปรับปรุงเพียงเล็กน้อย ทั้งสองชื่อไม่ปรากฏในเอกสารของ Anthropic และโปรไฟล์ต้นทุนเข้ากับระดับ Fable พรีเมียมมากกว่าระดับ Opus ที่เน้นความคุ้มค่า

ทำไมตอนนี้ Obsidian 3 ถึงหายไปจาก FrontierCode 2.0 แล้ว?

เราไม่สามารถยืนยันได้ว่าทำไม ไฟล์ที่ลิงก์ในโพสต์ต้นฉบับถูกแก้ไขล่าสุดเมื่อเวลา 17:44 UTC วันที่ 28 ตุลาคม และสำเนาที่เราดาวน์โหลดเมื่อวันที่ 29 ตุลาคมระบุโมเดล 24 รุ่นโดยไม่มีรายการ Obsidian 3 อาจถูกลบออกหลังจากโพสต์ถูกแชร์ไปแล้ว หรือบิลด์สาธารณะอาจไม่เคยมีรายการนี้อยู่เลย โพสต์บน X และคลังฟอรัมเป็นบันทึกเดียวที่เราหาเจอ และทั้งสองไม่ได้มาจากแหล่งข้อมูลปฐมภูมิ

ข้อกล่าวอ้างเรื่องต้นทุน 3.6 เท่ายังฟังขึ้นอยู่หรือ?

การคำนวณลงตัวเมื่อเทียบกับค่าใช้จ่าย Claude Opus 5.5 ที่ Cognition เผยแพร่: $8.62 คือ 3.56 เท่าของการรันแบบ high-effort ที่ $2.42 และตัวเลขสูงสุดราว $47 คือประมาณ 3.67 เท่าของการรันแบบ max ที่ $12.82 สิ่งที่ตรวจสอบไม่ได้คือฝั่ง Obsidian 3 ของบัญชี เพราะตัวเลขค่าใช้จ่ายของมันมีอยู่เพียงในโพสต์บน X เท่านั้น ไม่มีอยู่ในไฟล์ที่ดาวน์โหลดได้ใด ๆ