Gemini 4 Carbon Benchmark: 60 บน AA v5.0.1 วัดอะไรได้จริง
- Googleใหม่Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 ต่อ 1 ล้านโทเค็น · 226 tok/s
- Anthropicใหม่Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 ต่อ 1 ล้านโทเค็น · 101 tok/s
- orcaใหม่Orca: OrcaC2 1.02026-11-0717 tok/s
- Orcaใหม่OrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 ต่อ 1 ล้านโทเค็น · 82 tok/s
- Orcaใหม่OrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 182 tok/s
- Orcaใหม่OrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 ต่อ 1 ล้านโทเค็น · 46 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 139 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 63 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 96 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 42 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447ความฉลาด
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 182 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929ความฉลาด
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 ต่อ 1 ล้านโทเค็น · 138 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733ความฉลาด
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740ความฉลาด
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 ต่อ 1 ล้านโทเค็น · 111 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955ความฉลาด
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855ความฉลาด
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 ต่อ 1 ล้านโทเค็น · 319 tok/s
คะแนน benchmark จะมีประโยชน์ก็ต่อเมื่อคุณรู้ว่าฮาร์เนสถามอะไร ให้โมเดลคิดได้นานแค่ไหน และแบบทดสอบเวอร์ชันใดเป็นผู้สร้างตัวเลขนั้น สำหรับ Gemini 4 Carbon คำตอบคือ: การประเมินแบบเอเจนต์และวิทยาศาสตร์เก้าชุด ใช้เวลานานเท่าที่ต้องการ และ Intelligence Index v5.0.1 — เวอร์ชันปัจจุบัน ซึ่งเป็นเหตุผลที่ตัวเลข 60 อ้างอิงได้ ส่วนตัวเลขส่วนใหญ่ที่คุณจะพบข้าง ๆ นั้นอ้างอิงไม่ได้ หน้า Gemini 4 Carbon API ระบุราคาและ endpoint; บทความนี้เกี่ยวกับคะแนน
สิ่งที่ถูกเรียกใช้จริง ๆ คืออะไร
AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset และ Terminal-Bench-Science 0.1 อ่านรายการนั้นก่อนจะสรุปเหมารวมจากมัน จากทั้งเก้ารายการ สามรายการเป็นงานด้านเทอร์มินัลหรือระบบอัตโนมัติ สองรายการเป็นการให้เหตุผลที่อ้างอิงเอกสารจากอินพุตยาว สองรายการเป็นวิทยาศาสตร์และคณิตศาสตร์ระดับยาก และหนึ่งรายการเป็นโค้ดระดับแนวหน้า ในชุดนี้ไม่มีการประเมินเว็บเอเจนต์และไม่มีการจำลองการสนับสนุนลูกค้าแบบหลายรอบ ดังนั้นคะแนนที่ยอดเยี่ยมจึงไม่ได้บอกอะไรเกี่ยวกับสิ่งเหล่านั้นเลย
คะแนน
Carbon ทำได้ 60 คะแนน ซึ่งอยู่อันดับ 4 จาก 78 บน v5.0.1 ผู้นำคือ Claude Fable 5.2 ที่ 65 ช่องว่างห้าคะแนนนั้นมีความหมายแต่ไม่ได้เป็นการแบ่งชั้นแบบชัดเจน ทั้งสองโมเดลผ่านการประเมินเก้าชุดเดียวกัน และวิธีอ่านความแตกต่างที่ตรงที่สุดคือประมาณว่าเป็นงานยากที่แก้ได้เพิ่มขึ้นราวหนึ่งงานต่อการลองยี่สิบงานในระดับความสามารถของ Carbon มองสิ่งนี้เป็นทิศทาง ไม่ใช่อัตรา
การตรวจสอบเวอร์ชันสำคัญกว่าอันดับมาก โมเดลที่ได้คะแนนบน v4.3 หรือ v4.3.2 — รวมถึงชื่อส่วนใหญ่ที่คุณจะเห็นถูกอ้างอิงในโพสต์เปรียบเทียบ — ไม่ได้อยู่ในมาตรวัดเดียวกัน และไม่สามารถนำมาจัดวางในตารางเดียวกันได้ หากแผนภูมิใดนำทั้งสองมาปนกัน แผนภูมินั้นก็ผิด ไม่ว่าใครจะเป็นผู้เผยแพร่ก็ตาม
ผลที่ตามมาในทางปฏิบัติคือ คุณไม่สามารถเปรียบเทียบ Carbon กับโมเดลที่คุณประเมินด้วยตัวเองเมื่อไตรมาสที่แล้วได้ เว้นแต่โมเดลนั้นจะถูกให้คะแนนใหม่ด้วยเช่นกัน ทางเลือกมีอยู่ว่าคุณจะรันฮาร์เนสของคุณเองกับทั้งสองตัวใหม่ หรือจำกัดข้อกล่าวอ้างให้อยู่เฉพาะกลุ่ม v5.0.1 และระบุไว้อย่างนั้นในประโยคที่คุณยกมา
ต้นทุนเวลา
เวลาถึงโทเคนแรกคือ 64.7 วินาที อยู่อันดับ 69 จาก 77 โมเดลที่มีข้อมูลความหน่วง เวลาตอบสนองรวมคือ 28.4 นาทีต่องานในการประเมินทั้งเก้า เมื่อ Carbon เริ่มส่งออก จะทำงานที่ 72 โทเคนต่อวินาทีซึ่งถือเป็นระดับธรรมดา เวลาจริงถูกใช้ไปกับการคิดเป็นหลัก ไม่ใช่การเขียน
นั่นเป็นตัวเลือกการออกแบบมากกว่าจะเป็นข้อบกพร่อง และคุ้มค่าที่จะระบุให้ชัดเจนว่ามันสื่อถึงอะไร ฮาร์เนสที่ปล่อยให้โมเดลให้เหตุผลจนพอใจจะให้คะแนนที่ช้าแต่แข็งแกร่ง โมเดลเดียวกันที่อยู่หลังเกตเวย์บนทราฟฟิกจริงรายงาน p50 ที่ 6.89 วินาทีถึงโทเคนแรก และ p95 ที่ 10.00 วินาที เพราะคำขอจริงส่วนใหญ่ไม่ใช่ HLE-Diamond ตัวเลขทั้งสองวัดสิ่งที่แตกต่างกัน และทั้งคู่ควรอยู่ในแผนความจุ
ต้นทุนที่เป็นตัวเงิน
การรันดัชนีเทียบกับ Carbon มีต้นทุน $5.48 ที่ราคา $2.00 ต่อล้านโทเคนอินพุต และ $10.00 ต่อล้านโทเคนเอาต์พุต คิดเป็นอัตราผสมที่ $2.70 ต่อล้านโทเคน AA ยังรายงานว่า การรันนี้ใช้โทเคนเอาต์พุต 205 ล้านโทเคน โดยมีค่าความละเอียดเกินจำเป็น (verbosity) อยู่ที่ 2.69 เปอร์เซ็นต์ จำนวนโทเคน ไม่ใช่เปอร์เซ็นต์ คือตัวเลขที่ควรนำไปใช้ต่อ: มันบอกคุณว่าการประเมินแบบเอเจนต์ที่มีเก้าภารกิจใช้โทเคนเอาต์พุตไปเกือบ 250 ล้านโทเคน
เพื่อเปรียบเทียบ ดัชนีเดียวกันเมื่อทดสอบกับ Claude Fable 5.2 มีค่าใช้จ่าย $26.54 — มากกว่า 4.8 เท่า — ที่ราคา $8.00 สำหรับอินพุต และ $40.00 สำหรับเอาต์พุต นี่คือกรอบการเปรียบเทียบที่ถูกต้องสำหรับคู่นี้: ช่องว่างคะแนนห้าคะแนนถูกซื้อมาด้วยการใช้จ่ายโทเคนเกือบห้าเท่า
ถ้าคิดเป็นอัตราส่วน Carbon จ่าย $0.09 ของค่าใช้จ่าย benchmark ต่อหนึ่ง index point และ Fable 5.2 จ่าย $0.41 นั่นไม่ใช่ข้อโต้แย้งว่าโมเดลที่ถูกกว่าดีกว่า — จุดสำคัญของโมเดล frontier คืองานที่โมเดลที่ถูกกว่าทำไม่ได้ — แต่เป็นข้อโต้แย้งให้ route ตามความยากแทนการเลือกโมเดลเดียวสำหรับทุกอย่าง 90 เปอร์เซ็นต์ของการเรียกที่โมเดล 60-point ทำผ่านได้ ไม่จำเป็นต้องใช้โมเดล 65-point
อัตราส่วนอีกตัวที่ควรนำมาพิจารณาคือเวลา Carbon ใช้ 28.4 นาทีต่องาน ขณะที่ Fable 5.2 ใช้ 46.8 นาที ดังนั้นโมเดลที่แพงกว่าจึงช้ากว่า 1.6 เท่าเมื่อวัดแบบ end to end บนคิวแบบอะซิงโครนัสนี่คือข้อจำกัดด้านทรูพุต ส่วนในการเรียกแบบซิงโครนัสมันคือความแตกต่างระหว่างสปินเนอร์กับการหมดเวลา บันทึกประจำรุ่น Gemini 4 Carbonครอบคลุมสิ่งที่มาพร้อมกับโมเดลนี้ และหากคำถามคือมันมาแทนรุ่น Gemini ก่อนหน้าหรือไม่ Gemini 4 Carbon vs Gemini 3.1 Proคือการเปรียบเทียบโดยตรง
สิ่งที่เกณฑ์มาตรฐานไม่ได้ครอบคลุม
ชุดนี้ไม่มีฮาร์เนสด้านไซเบอร์หรือการตรวจจับช่องโหว่ หากคุณกำลังประเมิน Carbon สำหรับงานด้านความปลอดภัย — การสแกน การคัดแยก และการสร้างแพตช์ — การประเมินทั้งเก้านี้บอกคุณเกี่ยวกับการให้เหตุผลของมัน และไม่ได้บอกอะไรเลยเกี่ยวกับความสามารถในการเรียกคืน (recall) ต่อช่องโหว่จริง สิ่งเดียวกันนี้ใช้ได้กับการเขียนโค้ดระยะยาวบนรีโพซิทอรีเฉพาะ ซึ่ง FrontierCode-AA ประมาณได้แต่ไม่ได้ทดแทน
นอกจากนี้ ยังไม่มีการวัดผลว่าเกิดอะไรขึ้นภายใต้โหลด อัตราข้อผิดพลาดขณะใช้งานจริงบนทราฟฟิก OrcaRouter ของ Carbon อยู่ที่ 39.7 เปอร์เซ็นต์ในช่วงเจ็ดวันที่ผ่านมา เทียบกับ 10.8 เปอร์เซ็นต์สำหรับ Fable 5.2 ฮาร์เนสสำหรับ benchmark จะลองใหม่และรองรับผลนั้นไว้ แอปพลิเคชันของคุณต้องตัดสินใจเองว่าจะรับมืออย่างไร
การนำส่วนใดส่วนหนึ่งของสิ่งนี้ไปทำซ้ำบนทราฟฟิกของคุณเอง
คุณไม่สามารถทำซ้ำ 64.7 วินาทีของ AA ได้หากไม่มีฮาร์เนสของ AA และคุณก็ไม่ควรลอง: สิ่งที่มีประโยชน์คือการวัด p50 และ p95 ของคุณเอง แล้วนำไปเปรียบเทียบกับ 6.89 และ 10.00 วินาทีที่เกตเวย์เผยแพร่ เพราะสิ่งนี้จะบอกคุณว่าพรอมป์ของคุณเป็นแบบปกติหรือยากเป็นพิเศษ ให้บันทึกเวลาถึงโทเคนแรก จำนวนโทเคนที่ส่งออก และจำนวนการตอบกลับที่ไม่ใช่ 2xx ต่อเส้นทาง หากอัตราข้อผิดพลาดของคุณสูงกว่า 39.7 เปอร์เซ็นต์ที่เกตเวย์รายงานจากผู้ให้บริการทุกราย ปัญหาอยู่ที่ฝั่งคำขอของคุณ
วิธีใช้สิ่งนี้ในการตัดสินใจ
ถ้างานของคุณใกล้เคียงกับการประเมินทั้งเก้าแบบ — งานในเทอร์มินัล ระบบอัตโนมัติ เอกสารที่มีบริบทยาว และวิทยาศาสตร์ยาก — Carbon ที่ 60 และราคา blended $2.70 คือตัวเลือกที่คุ้มค่าของกลุ่ม v5.0.1 ปัจจุบัน และเวลาคิด 64.7 วินาทีก็เป็นต้นทุนที่คุณรับได้ด้วยการทำให้การเรียกเป็นแบบอะซิงโครนัส ถ้างานของคุณเป็นแบบโต้ตอบ โมเดลเดียวกันที่มี p50 ใกล้เจ็ดวินาทีผ่านเกตเวย์ก็เป็นคนละเรื่องกันโดยสิ้นเชิง และการทดสอบที่ตรงไปตรงมาคือทราฟฟิกของคุณเอง ไม่ใช่ฮาร์เนสของ AA
สำหรับการดวลตัวต่อตัวกับโมเดลที่เอาชนะมันมา Gemini 4 Carbon vs Claude Fable 5.1 จะวางทั้งคู่ไว้เคียงข้างกัน และ การเปรียบเทียบราคา API ของ LLM ครอบคลุมว่าราคาผสมที่ $2.70 อยู่จุดไหนเมื่อเทียบกับส่วนอื่น ๆ ของแคตตาล็อก ตรวจสอบเวอร์ชันบนแผนภูมิใดก็ตามที่คุณนำไปใช้ซ้ำ: v5.0.1 คือสเกลเดียวที่ 60 นี้สังกัดอยู่
การเปรียบเทียบในบทความนี้2
ตรวจพบจากบทความนี้ · เบนช์มาร์ก: Artificial Analysis · อัปเดตทุกวัน
