รีวิว Gemini 4 Carbon: อันดับสี่บนดัชนี แต่ตอบช้า

Gemini 4 Carbon อยู่อันดับสี่บนกระดานจัดอันดับอิสระ และมีราคาแบบโมเดลระดับกลาง ซึ่งเป็นชุดค่าผสมที่พบได้ไม่บ่อยเมื่อต้องรีวิวอย่างตรงไปตรงมา: หน้าGemini 4 Carbon APIระบุราคาไว้ที่ $2.00 ต่อล้านโทเค็นอินพุต และ $10.00 ต่อล้านโทเค็นเอาต์พุต ขณะที่คะแนนที่ได้คือ 60 บน Artificial Analysis Intelligence Index v5.0.1 ซึ่งเป็นอันดับสี่จาก 78 โมเดล คำถามที่การรีวิวต้องตอบไม่ใช่เรื่องที่ว่า 60 ดีหรือไม่ แต่คือสิ่งที่คุณจ่ายไปในรูปของเวลาจริงและอัตราความล้มเหลวเพื่อให้ได้มันมา

มันคืออะไร

โมเดลมัลติโมดัลในตระกูล Gemini 4 ของ Google ที่มีหน้าต่างบริบทขนาด 1,048,576 โทเคน และเพดานเอาต์พุต 65K รองรับอินพุตทั้งข้อความ รูปภาพ เสียง วิดีโอ และเอกสาร แล้วส่งคืนเป็นข้อความ พร้อมการใช้เครื่องมือแบบเนทีฟและเอาต์พุต JSON แบบมีโครงสร้าง โดยให้บริการผ่านทั้ง endpoint ที่เข้ากันได้กับ OpenAI และ native Gemini generateContent API และมี Zero Data Retention ให้ใช้งาน

ชุดพารามิเตอร์บอกคุณว่าโมเดลนี้อยากเป็นโมเดลแบบไหน: reasoning, include_reasoning, structured_outputs, tools, tool_choice, seed, temperature, top_p การมี seed และรูปแบบการตอบกลับอยู่ในรายการเดียวกันคือลายเซ็นของโมเดลที่ถูกวางตำแหน่งไว้สำหรับงานสกัดข้อมูลและไปป์ไลน์แบบ agentic มากกว่าการเขียนเชิงสร้างสรรค์

คะแนน และเวอร์ชันที่ใช้ในการให้คะแนน

ตัวเลข 60 ไม่สามารถเทียบได้กับตัวเลขเก่าที่คุณจะพบว่ามีการอ้างอิงถึงสำหรับโมเดลอื่น และนี่คือข้อผิดพลาดที่พบบ่อยที่สุดเพียงข้อเดียวในการเปรียบเทียบที่เผยแพร่ในเดือนนี้ Intelligence Index v5.0.1 เป็นชุดการประเมินที่แตกต่างจาก v4.3 และ v4.3.2 ดังนั้นคะแนน v4.3 และคะแนน v5.0.1 จึงไม่ควรอยู่ในตารางเดียวกัน ภายในกลุ่ม v5.0.1 คะแนน 60 ของ Carbon ทำให้อยู่ในอันดับสี่จาก 78 ตามหลัง Claude Fable 5.2 ที่ 65 และนำหน้าทุกรายการอื่นที่ได้รับการให้คะแนนใหม่

การประเมินทั้งเก้าที่อยู่เบื้องหลังตัวเลขนั้นคือ AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset และ Terminal-Bench-Science 0.1 นี่คือส่วนผสมของงานแบบเอเจนต์และงานวิทยาศาสตร์ — งานในเทอร์มินัล ระบบอัตโนมัติ การอิงกับเอกสาร และการให้เหตุผลที่ยาก — ไม่ใช่ส่วนผสมแบบกระดานจัดอันดับการเขียนโค้ด โมเดลอาจทำคะแนนได้ดีที่นี่แต่ยังแพ้ในการรีแฟกเตอร์ระดับทั้งรีโพซิทอรี ดังนั้นจงอ่านรายละเอียดก่อนสรุปสิ่งใดเกี่ยวกับกรณีการใช้งานของคุณ

ส่วนที่ตัวเลขในพาดหัวข่าวซ่อนไว้

เวลาถึงโทเคนแรกของ Carbon ใน AA harness คือ 64.7 วินาที อยู่อันดับ 69 จาก 77 โมเดลที่มีข้อมูลความหน่วง เวลารวมตามนาฬิกาจริงต่องานคือ 28.4 นาทีจากการประเมินทั้งเก้าครั้ง ความเร็วเอาต์พุตเมื่อเริ่มเขียนคือ 72 โทเคนต่อวินาที ซึ่งไม่น่าประทับใจแต่ไม่ใช่ปัญหา ปัญหาคือเวลาคิดก่อนโทเคนแรก

การรันดัชนีกับ Carbon มีต้นทุน $5.48 ในค่าใช้จ่ายฝั่งผู้ให้บริการ ซึ่งที่ราคาเฉลี่ยผสม $2.70 ต่อล้านโทเค็น ถือเป็นจำนวนโทเค็นที่มากสำหรับการผ่าน benchmark หนึ่งครั้ง AA ยังรายงานค่า verbosity ที่ 2.69 เปอร์เซ็นต์ พร้อมกับโทเค็นเอาต์พุต 205 ล้านโทเค็นสำหรับการรันนี้ อย่าตีความเปอร์เซ็นต์นี้เป็นคะแนนความกระชับ: Claude Fable 5.2 มีค่าที่ต่ำกว่ามากเพียง 0.97 เปอร์เซ็นต์ พร้อมกับโทเค็นเอาต์พุตที่สูงกว่า 275 ล้านโทเค็น ดังนั้นตัวเลขทั้งสองจึงเคลื่อนไหวอย่างเป็นอิสระจากกัน

หากราคาเป็นเหตุผลที่คุณอ่านข้อความนี้ การเปรียบเทียบราคา LLM API ได้วางราคาเฉลี่ยผสมที่ $2.70 ต่อล้านไว้เคียงข้างส่วนที่เหลือของแคตตาล็อก รวมถึงโมเดลที่ราคาต่ำกว่ามัน และโมเดลที่แพงกว่าหลายเท่าสำหรับคะแนนที่เทียบเคียงได้

เมื่อผ่านเกตเวย์ ตัวเลขก็ดูแตกต่างออกไป

64.7 วินาทีของ AA คือชุดทดสอบ benchmark ที่เปิดให้โมเดลคิดกับปัญหายาก ๆ บนทราฟฟิกสดของ OrcaRouter ในช่วงเจ็ดวันที่ผ่านมา เวลา p50 ถึงโทเคนแรกสำหรับ Carbon อยู่ที่ 6.89 วินาที และ p95 อยู่ที่ 10.00 วินาที โดยมีเอาต์พุต 226 โทเคนต่อวินาทีจาก 9.6 ล้านโทเคนที่ให้บริการ ทั้งสองอย่างเป็นความจริง ผลิตภัณฑ์แชทจะเห็นค่าที่ใกล้เคียงกับตัวเลขแรก ส่วนโคลนสำหรับการประเมินแบบแบตช์จะเห็นค่าที่ใกล้เคียงกับตัวเลขที่สอง

ตัวเลขที่สมควรได้รับความสนใจมากกว่าทั้งสองคืออัตราข้อผิดพลาด: 39.7 เปอร์เซ็นต์ของคำขอที่ส่งคืนสถานะที่ไม่ใช่ 2xx จากผู้ให้บริการต้นทางทั้งหมดในช่วงเจ็ดวันนั้น เทียบกับ 10.8 เปอร์เซ็นต์สำหรับ Claude Fable 5.2 ไม่ว่าสาเหตุจะเป็นอะไร — ความจุ ขีดจำกัดอัตรา การหมุนเวียนผู้ให้บริการ — ผลิตภัณฑ์ที่เรียก Carbon โดยไม่มีงบประมาณการลองใหม่และโมเดลสำรองจะแสดงความล้มเหลวต่อผู้ใช้ในอัตราที่ไม่มีแผนภูมิ benchmark ใดคาดการณ์ไว้ นั่นเป็นคำถามเรื่องการกำหนดเส้นทาง และเป็นสิ่งเดียวที่ต้องทดสอบก่อนสัปดาห์ที่สอง

ตำแหน่งที่เหมาะสมในแคตตาล็อก

เมื่อเทียบกับพี่น้องในตระกูลเดียวกัน Carbon เป็นสมาชิกแบบมัลติโมดัลของสาย Gemini 4 มากกว่าที่จะเป็นตัวเลือกราคาถูก: ราคาอินพุตเท่ากับ Gemini 3.1 Pro ที่ $2.00 เอาต์พุตถูกกว่า $2.00 และความแตกต่างที่สำคัญคือ Carbon รองรับเสียงและวิดีโอ ในขณะที่ 3.1 Pro รองรับข้อความและรูปภาพ หากไปป์ไลน์ของคุณไม่เคยแตะไฟล์วิดีโอเลย คุณกำลังจ่ายเงินสำหรับความสามารถที่คุณจะไม่ได้ใช้

เมื่อเทียบกับตัวเลือกอื่น ๆ ที่เหลือ การตัดสินใจมักขึ้นอยู่กับสองคำถาม หากเป็นการเลือกภายใน Google Gemini 4 Carbon vs Gemini 3.1 Pro คือการเปรียบเทียบที่สำคัญ หากเป็นการเลือกข้ามผู้ให้บริการ GPT-6.1 Sol vs Gemini 4 Carbon และ Claude Opus 5.5 vs Gemini 4 Carbon ครอบคลุมทางเลือกที่พบบ่อยที่สุดสองตัว และรายการโมเดล LLM มีแค็ตตาล็อกฉบับเต็มไว้ให้ดู หากทั้งสองตัวไม่ใช่ตัวที่คุณกำลังพิจารณาอยู่

คำตัดสิน

Carbon คว้าอันดับสี่ด้านความสามารถต่อค่าใช้จ่ายอินพุตหนึ่งดอลลาร์ และได้มาในแบบที่เหมาะกับงานยาว หลายรูปแบบ และมีโครงสร้าง มากกว่าการสนทนา ต้นทุนที่ไม่ปรากฏในตารางราคาคือสองสิ่งที่เป็นตัวตัดสินว่าเหมาะกับคุณหรือไม่ ได้แก่ การใช้เวลา 64.7 วินาทีในการคิดก่อนโทเค็นแรกภายใต้ชุดทดสอบ benchmark และอัตราข้อผิดพลาดเกือบ 40 เปอร์เซ็นต์บนทราฟฟิกจริง หลีกเลี่ยงทั้งสองอย่างด้วย fallback chain, retry budget และ async queue สำหรับทุกสิ่งที่ไม่ใช่แบบโต้ตอบ แล้วอัตราส่วนราคาต่อคะแนนก็ยากจะเอาชนะได้จริง ๆ หากนำไปวางไว้หลัง UI แบบ synchronous ที่ไม่มี fallback คุณจะสรุปว่าโมเดลนี้แย่กว่าที่เป็นจริง