เกณฑ์มาตรฐาน Claude Fable 5.2: คะแนน 65 ต้องแลกด้วยเวลาจริงเท่าใด
- Googleใหม่Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 ต่อ 1 ล้านโทเค็น · 226 tok/s
- Anthropicใหม่Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 ต่อ 1 ล้านโทเค็น · 101 tok/s
- orcaใหม่Orca: OrcaC2 1.02026-11-0717 tok/s
- Orcaใหม่OrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 ต่อ 1 ล้านโทเค็น · 82 tok/s
- Orcaใหม่OrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 182 tok/s
- Orcaใหม่OrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 ต่อ 1 ล้านโทเค็น · 46 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 139 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 63 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 96 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 42 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447ความฉลาด
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 182 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929ความฉลาด
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 ต่อ 1 ล้านโทเค็น · 138 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733ความฉลาด
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740ความฉลาด
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 ต่อ 1 ล้านโทเค็น · 111 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955ความฉลาด
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855ความฉลาด
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 ต่อ 1 ล้านโทเค็น · 319 tok/s
Claude Fable 5.2 ได้ 65 คะแนนบน Artificial Analysis Intelligence Index v5.0.1 — เป็นอันดับ 1 จาก 78 โมเดล นำหน้า Gemini 4 Carbon อยู่ห้าคะแนน ห้าคะแนนนั้นมาพร้อมกับเวลา 267 วินาทีถึงโทเคนแรก เวลาจริง 46.8 นาทีต่องาน และค่าใช้จ่าย $26.54 ต่อการรันดัชนีหนึ่งครั้ง ซึ่งแต่ละอย่างคือภาพในทางปฏิบัติของคะแนนนี้ นี่คือสิ่งที่ชุดทดสอบวัดได้ และสิ่งที่ควรทำกับผลลัพธ์นี้ สำหรับหน้า Claude Fable 5.2 API มี endpoints และราคา; บทความนี้เกี่ยวกับ benchmark
การประเมินทั้งเก้า
AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset, Terminal-Bench-Science 0.1 งานด้านเทอร์มินัลและระบบอัตโนมัติ 3 งาน งานการให้เหตุผลที่อ้างอิงจากเอกสารที่มีอินพุตยาว 2 งาน การประเมินด้านวิทยาศาสตร์และคณิตศาสตร์ระดับยาก 2 รายการ การประเมินโค้ดระดับแนวหน้า 1 รายการ ไม่มีฮาร์เนสของเว็บเอเจนต์ ไม่มีการจำลองการสนับสนุนแบบหลายรอบ ไม่มีการตรวจจับช่องโหว่
คะแนนและมาตราส่วนคะแนน
65, อันดับ 1 จาก 78, บน v5.0.1 เฉพาะโมเดลที่ได้รับการให้คะแนนใหม่บน v5.0.1 เท่านั้นที่อยู่ในตารางเดียวกันได้ คะแนน v4.3 และ v4.3.2 เป็นชุดการประเมินที่แตกต่างกัน และแผนภูมิใดก็ตามที่นำมารวมกันถือว่าไม่ถูกต้อง ภายในกลุ่มปัจจุบัน ลำดับที่ด้านบนคือ Fable 5.2 ที่ 65 และ Gemini 4 Carbon ที่ 60 โดยส่วนที่เหลืออยู่อันดับหลังกว่าหรือยังไม่ได้รับการให้คะแนนใหม่
ช่องว่างห้าคะแนนบนดัชนีที่มีเก้าตัวชี้วัดนั้นเป็นเรื่องจริงแต่แคบ การตีความที่มีประโยชน์ไม่ใช่ 'ดีกว่า 5 เปอร์เซ็นต์' แต่เป็น 'ความได้เปรียบเล็กน้อยบนชุดงานที่ยาก' และเหตุผลที่ควรจ่ายเพื่อสิ่งนี้คือความแปรปรวนมากกว่าความสามารถดิบ: ในงานที่คำตอบผิดทำให้ทั้งรอบการทำงานเป็นโมฆะ ความได้เปรียบเล็กน้อยในความน่าจะเป็นของความสำเร็จจะทบต้นไปตามขั้นตอน
นาฬิกาแขวนผนัง
267 วินาทีถึงโทเคนแรก อยู่อันดับที่ 76 จาก 77 โมเดลที่มีข้อมูลความหน่วง 46.8 นาทีรวมต่องาน 97 โทเคนต่อวินาทีของเอาต์พุตเมื่อเริ่มทำงานแล้ว ซึ่งเร็วกว่า 72 ของ Carbon ถึง 35 เปอร์เซ็นต์ และแทบไม่มีผลต่อเวลาที่ใช้ไปทั้งหมดเลย
สิ่งที่สำคัญคือการกระจายตัว จากทราฟฟิกจริงของ OrcaRouter โมเดลเดียวกันรายงานค่า p50 ที่ 8.09 วินาทีถึงโทเคนแรก และค่า p95 ที่ 10.00 วินาที จาก 35.6 ล้านโทเคนในเจ็ดวัน ฮาร์เนสกับเกตเวย์กำลังวัดกลุ่มตัวอย่างที่แตกต่างกัน: ตัวหนึ่งปล่อยให้โมเดลคิดที่ความพยายามสูงสุดบน HLE-Diamond อีกตัวคือคำขอค่ามัธยฐานที่ระดับความพยายามใดก็ตามที่ผู้เรียกกำหนด หากคุณรัน Fable 5.2 ที่ความพยายามสูงสุด คุณจะได้ตัวเลขของ AA ที่ความพยายามต่ำ คุณจะเห็นค่าที่ใกล้เคียงกับของเกตเวย์
เงิน
$26.54 ต่อการรันดัชนีหนึ่งครั้ง ที่ราคา $8.00 ต่อล้านโทเค็นอินพุต และ $40.00 ต่อล้านโทเค็นเอาต์พุต — อันดับ 77 จาก 77 แพงที่สุดในตาราง Gemini 4 Carbon มีค่าใช้จ่าย $5.48 สำหรับการประเมินเก้าครั้งเดียวกัน นั่นคือการใช้จ่าย 4.8 เท่าเพื่อแลกกับห้าคะแนนดัชนี และเป็นอัตราส่วนที่มีประโยชน์ที่สุดเพียงรายการเดียวในการเปรียบเทียบนี้
AA รายงานโทเค็นเอาต์พุต 275 ล้านโทเค็นสำหรับการรันครั้งนี้ โดยมีระดับความฟุ่มเฟือยอยู่ที่ 0.97 เปอร์เซ็นต์ โปรดทราบว่าเปอร์เซ็นต์และจำนวนดังกล่าวชี้ไปในทิศทางตรงกันข้ามเมื่อเทียบกับ 2.69 เปอร์เซ็นต์และ 205 ล้านโทเค็นของ Carbon ซึ่งเป็นเหตุผลว่าทำไมจึงไม่ควรยกเปอร์เซ็นต์ดังกล่าวมาอ้างเป็นข้ออ้างเรื่องความกระชับ
อัตราส่วนที่ทำให้การเปรียบเทียบนี้ใช้งานได้คือ $0.41 ของการใช้จ่ายบน benchmark ต่อหนึ่งคะแนนดัชนี เทียบกับ $0.09 ของ Carbon ไม่ว่าคุณจะสรุปอย่างไรจากสิ่งนี้ ตัวเลขทางคณิตศาสตร์ก็บังคับให้เป็นการตัดสินใจเรื่อง routing มากกว่าการตัดสินใจใช้โมเดลเดียว: ที่ราคานี้ โมเดลเป็นเพียงระดับหนึ่ง ไม่ใช่ตัวเลือกเริ่มต้น
สิ่งที่คะแนนไม่ได้บอกคุณ
ชุดนี้ไม่มีการประเมินด้านไซเบอร์ ดังนั้นจึงไม่มีอะไรในนี้ที่สื่อถึงความสามารถในการระลึกถึงช่องโหว่หรือคุณภาพของแพตช์ — ซึ่งเกี่ยวข้องหากนั่นคือเหตุผลที่คุณกำลังพิจารณาโมเดลระดับแนวหน้าอยู่ ไม่มีการประเมินเอเจนต์ที่ทำงานระยะยาวพร้อมการเรียกใช้เครื่องมือข้ามหลายเทิร์น ซึ่งเป็นภาระงานที่ Fable 5.2 ถูกทำการตลาดมาสำหรับงานนี้จริง ๆ งานในเทอร์มินัลนั้นใกล้เคียงกับสิ่งดังกล่าว แต่ไม่ได้จำลองสิ่งนั้นออกมา
นอกจากนี้ยังไม่มีการวัดความน่าเชื่อถือด้วย ทราฟฟิกจริงบน OrcaRouter แสดงอัตรา non-2xx ที่ 10.8 เปอร์เซ็นต์ across ผู้ให้บริการต้นทางทั้งหมดในช่วงเจ็ดวัน เทียบกับ 39.7 เปอร์เซ็นต์ของ Carbon ชุดทดสอบ benchmark รองรับสิ่งนี้ด้วยการลองใหม่ แอปพลิเคชันของคุณจะไม่รองรับเช่นนั้น เว้นแต่คุณจะสร้างมันขึ้นมาเอง
ตีความว่าสิ่งนี้เป็นการตัดสินใจ
หากงานของคุณมีลักษณะเหมือนการประเมินทั้งเก้าครั้ง และคุณสามารถรันแบบอะซิงโครนัสได้ การรัน 65 ครั้งที่ $26.54 ต่อครั้งถือว่าสมเหตุสมผลสำหรับเคสยาก และสิ้นเปลืองสำหรับเคสง่าย — จัดเส้นทางตามระดับความยากและใช้โมเดลที่ถูกกว่าสำหรับงานส่วนใหญ่ หากงานของคุณเป็นแบบโต้ตอบ ตัวเลขจาก harness ไม่ใช่ตัวเลขของคุณ ค่า p50 ของ gateway ที่ 8.09 วินาทีคือค่าที่คุณต้องออกแบบโดยยึด และระดับความพยายาม (effort level) คือตัวแปรที่ตัดสินว่าคุณจะไปลงใกล้แปดวินาทีหรือใกล้สี่นาที
สำหรับการเปรียบเทียบแบบตัวต่อตัว Claude Fable 5.2 vs Claude Fable 5.1 ครอบคลุมรุ่นก่อนหน้าในราคาที่สูงกว่า และ Gemini 4 Carbon vs Claude Fable 5.1 ครอบคลุมคู่ข้ามผู้ให้บริการ ส่วน รายการโมเดล LLM มีโมเดลที่เหลือของกลุ่ม v5.0.1 พร้อม id และราคา ควรตรวจสอบเวอร์ชันดัชนีบนกราฟใดก็ตามที่คุณนำไปใช้ซ้ำ เพราะคะแนน v4.3 ในตารางเดียวกันจะทำให้การเปรียบเทียบนั้นใช้ไม่ได้
การเปรียบเทียบในบทความนี้1
ตรวจพบจากบทความนี้
