ผลการทดสอบ Kimi K3.1 Pro: ทุกคะแนน ใครเป็นผู้จัดทำ และจุดใดในตารางที่ยังว่างอยู่
- Moonshotใหม่MoonshotAI: Kimi K3.1 Pro2026-10-2455ความฉลาด
- Orcaใหม่OrcaCyber: DeepSeek V4.1 Flash Abliterated2026-10-23$0.70 / $1.60 ต่อ 1 ล้านโทเค็น · 199 tok/s
- Orcaใหม่Orca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 ต่อ 1 ล้านโทเค็น · 14 tok/s
- deepseekใหม่DeepSeek: DeepSeek V4.1 Flash 10172026-10-1745ความฉลาด
- DeepSeekใหม่DeepSeek: DeepSeek V4.1 Flash2026-10-1740ความฉลาด
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 ต่อ 1 ล้านโทเค็น · 149 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2952ความฉลาด
- anthropicAnthropic: Claude Sonnet 5.52026-09-2856ความฉลาด
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 ต่อ 1 ล้านโทเค็น · 1063 tok/s
- OpenAIOpenAI: GPT-6 Luna2026-09-2238ความฉลาด
- OpenAIOpenAI: GPT-6 Sol2026-09-2248ความฉลาด
- AnthropicAnthropic: Claude Opus 5.52026-09-2258ความฉลาด
- xAIGrok 4.72026-09-2146ความฉลาด
- OrcaOrca: OrcaCyber Zero 1.02026-09-17$3.00 / $7.50 ต่อ 1 ล้านโทเค็น · 159 tok/s
- OrcaOrca: OrcaVerify Text 1.02026-09-16$2.00 / $0.00 ต่อ 1 ล้านโทเค็น · 1906 tok/s
- OpenAIOpenAI: GPT-6 Astra2026-09-0453ความฉลาด77การเขียนโค้ด
- GoogleGoogle: Gemini 3.8 Flash2026-09-0241ความฉลาด76การเขียนโค้ด
- AlibabaQwen: Qwen3.8 Max (0902)2026-09-0245ความฉลาด76การเขียนโค้ด
- AnthropicAnthropic: Claude Fable 5.12026-09-0153ความฉลาด82การเขียนโค้ด
- TencentTencent: Hy4 preview2026-08-28$0.83 / $2.50 ต่อ 1 ล้านโทเค็น · 48 tok/s
ตัวเลขที่มีประโยชน์ที่สุดในการเปิดตัว Kimi K3.1 Pro ไม่ได้อยู่บนแผนภูมิของ Moonshot เอง Artificial Analysis ซึ่งประเมินด้วยชุดการทดสอบของตนเองแทนการอ้างตารางจากผู้ขาย วัด Kimi K3.1 Pro ได้ 55 บน Intelligence Index ของตน — เป็นอันดับสี่จาก 215 โมเดลในชั้นเดียวกัน สูงกว่า GPT-6 Astra ที่ 53 อยู่สองคะแนน และต่ำกว่า Claude Opus 5.5 ที่ 58 อยู่สามคะแนน เอกสารเปิดตัวของ Moonshot เล่าเรื่องที่แตกต่างและดูดีกว่า: 65.7% บน Terminal-Bench 4.0 ซึ่งนำอยู่ 7.5 คะแนนเหนือ 58.2% ที่พวกเขาระบุว่าเป็นของ Astra ทั้งสองตัวเลขเป็นของจริง ทั้งคู่ได้มาอย่างซื่อตรง และทั้งสองขัดแย้งกันว่าฝ่ายใดนำอยู่ ความขัดแย้งนั้นคือสิ่งที่ควรค่าแก่การทำความเข้าใจก่อนที่คุณจะย้ายเวิร์กโหลดไปยังโมเดลนี้
ต่อไปนี้คือทุกตัวเลขที่เผยแพร่สำหรับ Kimi K3.1 Pro โดยแต่ละแถวจะแนบแหล่งที่มาและการตั้งค่ากำกับไว้ พร้อมหมายเหตุในจุดที่ตารางว่างเปล่า นี่คือแนวทางเดียวกับที่บล็อกนี้ใช้กับโมเดลของ Anthropic และ OpenAI ด้วยเหตุผลเดียวกัน นั่นคือ ตาราง benchmark เป็นคำกล่าวอ้างเกี่ยวกับ harness พอ ๆ กับที่เป็นคำกล่าวอ้างเกี่ยวกับโมเดล
หมายเลขอิสระเป็นอันดับแรก
Artificial Analysis ประเมินโมเดลนี้โดยใช้ดัชนีเวอร์ชัน 4.3.2 ซึ่งรวบรวมการประเมินสิบรายการไว้เป็นตัวเลขเดียว ตัวเลขสี่ค่าที่สำคัญสำหรับผู้ซื้อมีดังนี้
ดัชนีความฉลาด — 55 จัดอยู่ในอันดับที่ 4 จาก 215 โมเดล สำหรับข้อมูลอ้างอิง ค่ามัธยฐานในคลาสของมันคือ 27 และ GPT-6 Astra (Max) ได้ 53 ขณะที่ Claude Opus 5.5 ได้ 58 บนดัชนีเวอร์ชันเดียวกัน
• ต้นทุนต่องาน — $2.11 ต่องาน Intelligence Index อยู่อันดับ 85 จาก 113 ด้านต้นทุน ค่าเทียบเท่าของ GPT-6 Astra อยู่ที่ $3.26 นี่คือตัวเลขที่แปลงราคาต่อโทเค็นให้เป็นต้นทุนของภาระงาน และราคาโทเค็นที่ต่ำของโมเดลนี้ก็ถูกใช้คืนไปบางส่วนกับความเยิ่นเย้อ
• ความยาวเกินไป (Verbosity) — มีการสร้างโทเค็นเอาต์พุต 150 ล้านโทเค็นระหว่างการรันดัชนี เทียบกับค่ามัธยฐานที่ 87 ล้านโทเค็น ผู้ประเมินเรียกโมเดลนี้ว่า "ช่างพูดมากเกินไป" และนั่นสำคัญโดยตรง: เอาต์พุตเป็นรายการที่มีค่าใช้จ่ายสูงบนเรตการ์ดของโมเดลนี้เองที่ 10 ดอลลาร์ต่อล้านโทเค็น
• ความเร็ว — 73.5 โทเคนเอาต์พุตต่อวินาทีบนผู้ให้บริการของผู้ประเมิน ช้ากว่าค่าเฉลี่ย 82 บนเส้นทางของเราเอง เวลามัธยฐานถึงโทเคนแรกคือ 7.15 วินาที ซึ่งเป็นตัวเลขที่กำหนดว่าโมเดลจะให้ความรู้สึกอย่างไรในเซสชันการเขียนโค้ดแบบโต้ตอบ
ป้ายกำกับหนึ่งบนหน้านั้นน่าที่จะกล่าวถึง: Artificial Analysis จัดให้ Kimi K3.1 Pro เป็นโมเดลแบบ proprietary เนื่องจาก ณ วันที่ 24 ตุลาคม น้ำหนักโมเดลได้รับการสัญญาไว้แล้วแต่ยังไม่เผยแพร่ การจัดประเภทดังกล่าวน่าจะเปลี่ยนไปภายในวันที่ 4 พฤศจิกายน หาก Moonshot ยึดกำหนดเดิมไว้
ตารางผู้ขาย ทีละแถว พร้อมการตั้งค่าที่แนบมา
Moonshot ได้เผยแพร่ตารางการประเมินผลที่ครอบคลุมของตนเองควบคู่ไปกับการเปิดตัว และในหลายจุดได้เปรียบเทียบ Kimi K3.1 Pro กับ Claude Opus 5.5 และ GPT-6 Astra ในแถวเดียวกัน ตัวเลขทุกตัวด้านล่างเป็นข้อมูลที่ผู้พัฒนารายงานเอง เว้นแต่แถวนั้นจะระบุไว้เป็นอย่างอื่น
• Terminal-Bench 4.0 — 65.7% สำหรับ Kimi K3.1 Pro เทียบกับ 66.4% สำหรับ Claude Opus 5.5 และ 58.2% สำหรับ GPT-6 Astra นี่คือพาดหัวข่าว และยังเป็นแถวที่มีข้อแม้มากที่สุดด้วย: 66.4% ของ Anthropic เกิดขึ้นที่ระดับความพยายาม xhigh ซึ่งสูงกว่าค่าเริ่มต้นหนึ่งระดับ ส่วนการรันของ Kimi เองใช้ค่าเริ่มต้นของโมเดลซึ่งก็คือ max ตัวเลขทั้งสองมาจากฮาร์เนสที่ต่างกัน
• Kimi Code Bench 3.0, long-horizon — 61.2% เทียบกับ 55.95% สำหรับ Kimi K3 นี่คือการเปรียบเทียบกับรุ่นก่อนหน้าที่ชัดเจนที่สุดในการเปิดตัว และเป็นสิ่งที่ผู้พัฒนาควบคุมมากที่สุด: ทั้ง benchmark และ harness เป็นของ Moonshot
• BenchCAD แบบใช้เครื่องมือ — {{1}}92.7%{{/1}} สำหรับ {{2}}Kimi K3.1 Pro{{/2}} เทียบกับ {{3}}96.2%{{/3}} ของ {{4}}Claude Opus 5.5{{/4}} และ {{5}}95.9%{{/5}} ของ {{6}}GPT-6 Astra{{/6}} เมื่อไม่ใช้เครื่องมือ {{7}}72.8%{{/7}} เทียบกับ {{8}}73.0%{{/8}} ของ Opus; {{9}}Astra ไม่ได้รายงานตัวเลขแบบไม่ใช้เครื่องมือ{{/9}} นี่คือแถวที่ผู้ท้าชิงแพ้อย่างเห็นได้ชัด และอยู่กลางการนำเสนอจุดขายด้านการสร้างงาน 3D ของการเปิดตัวครั้งนี้เอง
• Kimi Hallu Bench Hard — อัตราการสร้างข้อมูลเท็จระดับข้อกล่าวอ้างอยู่ที่ 8.3% เมื่อใช้เครื่องมือ และ 5.4% เมื่อไม่ใช้ บน benchmark เดียวกัน GPT-6 Astra ทำได้ดีกว่าเมื่อใช้เครื่องมือ (5.5 เทียบกับ 8.3) และดีกว่าเมื่อไม่ใช้ (4.2 เทียบกับ 5.4) ส่วน Claude Opus 5.5 แย่กว่าทั้งสองกรณี (15.0 และ 6.8) Moonshot ยังรายงานว่าอัตราดังกล่าวลดลงจาก 23.4% ใน Kimi K3 และคำตอบที่มีข้อผิดพลาดเชิงข้อเท็จจริงอย่างน้อยหนึ่งจุดในปัจจุบันคิดเป็น 42.4% ของอัตราของรุ่นก่อนหน้า
• การประเมินด้านการเงินและธุรกิจ ภายในองค์กร — Financial Modeling 57.6 เทียบกับ 50.4 สำหรับ K3, Financial Research 70.4 เทียบกับ 58.8, Business Operation 37 เทียบกับ 8.9 ตัวสุดท้ายดีขึ้นสี่เท่าในงานที่โมเดลเก่าแทบใช้งานไม่ได้ ให้ถือขนาดของตัวเลขเป็นเพียงทิศทางเท่านั้น; นี่เป็นชุดทดสอบของ Moonshot เอง
• OfficeQA Pro v2 — 64.4 ซึ่ง Moonshot อธิบายว่าเป็นระดับล้ำสมัย ไม่มีตัวเลขของผู้จำหน่ายรายที่สองปรากฏในแถวดังกล่าว
• xdev-bench-hard, pass@3 — 81.0% สำหรับโมเดลที่เปิดให้ใช้งาน, 90.5% สำหรับเช็กพอยต์ที่ฝึกโดยไม่มีมาตรการลดความเสี่ยงด้านไซเบอร์ของบริษัท, 33.3% สำหรับ Kimi K3 ช่องว่าง 9.5 จุดนั้นคือราคาที่ Moonshot บอกว่าต้องจ่ายเพื่อให้ความสามารถทางไซเบอร์เชิงรุกต่ำกว่าเกณฑ์
ตรงที่ตารางยังว่างอยู่
ช่องว่างสามประการนี้สมควรแก่การเอ่ยถึง เพราะการรายงานข่าวเกี่ยวกับการเปิดตัวครั้งนี้ส่วนใหญ่ได้ข้ามไปเสียแล้ว
ประเด็นแรกอยู่ในเอกสาร API ของ Moonshot เอง ในวันเปิดตัว หน้า quickstart ของ Kimi K3.1 Pro ยังมีสตริงตัวแทนแบบตรงตัว — "[xx.x%]" — อยู่ในตำแหน่งที่ควรเป็นคะแนน Terminal-Bench 4.0, Terminal-Bench-Science 0.1 และคะแนนการเขียนโค้ดภายใน ขณะที่โพสต์การตลาดมีตัวเลขที่เสร็จสมบูรณ์แล้ว นั่นคือไปป์ไลน์เอกสารที่เผยแพร่ก่อนข้อความจะเสร็จ ไม่ใช่การกุเรื่องขึ้นมา แต่เป็นเหตุผลที่ควรอ่านตัวเลขจากหน้าบล็อกมากกว่าจากเอกสาร
อันดับที่สองคือ Terminal-Bench-Science 0.1 ซึ่ง Anthropic เผยแพร่ผลว่า 58.7% สำหรับ Claude Opus 5.5 และเอกสารของ Moonshot ระบุเพียงว่า Kimi K3.1 Pro "สูงกว่า K3" โดยไม่มีตัวเลข แถวที่ไม่มีตัวเลขทั้งสองฝั่งของการเปรียบเทียบก็ไม่ถือเป็นแถว
ตัวที่สามคือ SWE-bench เป็นเบนช์มาร์กที่ทีมส่วนใหญ่ยังอ้างอิงถึงเมื่อพูดถึงเอเจนต์เขียนโค้ด และโพสต์ประกาศเปิดตัวได้ระบุชื่อ DeepSWE v1.1 และ SWE-Marathon v1.1 ไว้ในเชิงอรรถโดยไม่เผยแพร่คะแนน ไม่ว่าเหตุผลจะเป็นเช่นไร ตัวเลขที่มีคนขอมากที่สุดกลับหายไป
วิธีอ่าน 65.7
สองสิ่งที่มีผลต่อคะแนน Terminal-Bench มากกว่าตัวโมเดลเอง คือ scaffolding ที่อยู่รอบๆ และการตั้งค่าระดับความพยายามในการใช้เหตุผล ตาราง Opus 5.5 ของ Anthropic เองแสดงให้เห็นผลทั้งสองอย่างภายในโมเดลเดียว — CursorBench 4.0 เปลี่ยนจาก 57.8% ที่ระดับความพยายาม xhigh เป็น 52.5% ที่ medium ขณะที่ FrontierCode เปลี่ยนไป 0.2 คะแนนระหว่างสองการตั้งค่าเดียวกัน Kimi K3.1 Pro มีสามการตั้งค่าและค่าเริ่มต้นเป็นแบบที่แพงที่สุด ดังนั้นการรันของผู้ให้บริการที่ไม่ระบุระดับความพยายามของตนจึงมีแนวโน้มเป็นการรันแบบ max ไม่ว่าจะบอกหรือไม่ก็ตาม
นั่นคือเหตุผลที่ดัชนีอิสระและตารางของผู้จำหน่ายจัดอันดับโมเดลทั้งสามนี้แตกต่างกัน ในแถว Terminal-Bench ของ Moonshot นั้น Kimi เอาชนะ Astra อยู่ 7.5 คะแนน ในดัชนีจากการประเมินสิบรายการของ Artificial Analysis นั้น Kimi นำ Astra อยู่ 2 คะแนน และตามหลัง Opus อยู่ 3 คะแนน การจัดลำดับทั้งสองแบบไม่ได้ผิด พวกเขาตอบคำถามที่แตกต่างกันด้วยฮาร์เนสที่แตกต่างกัน และข้อสรุปเดียวที่สมเหตุสมผลคือโมเดลทั้งสามมีความสามารถทั่วไปห่างกันเพียงไม่กี่คะแนน โดยราคาแตกต่างกันถึงห้าเท่าระหว่างรุ่นที่ถูกที่สุดกับรุ่นที่แพงที่สุด
จะทำอย่างไรกับตัวเลข
สำหรับเวิร์กโหลดที่ปริมาณเอาต์พุตเป็นปัจจัยหลัก — ไม่ว่าจะเป็นการสร้างโค้ดยาว การร่างเอกสาร หรือลูปเอเจนต์ที่เขียนออกมามากกว่าที่อ่านเข้าไปหลายเท่า — ตัวเลขด้านความเยิ่นเย้อ (verbosity) คือสิ่งที่ต้องใช้ในการวางแผน ด้วยอัตรา 150 ล้านโทเคนต่อการรันดัชนีหนึ่งครั้ง เทียบกับ 60 ล้านของ Astra แล้ว Kimi K3.1 Pro ให้เอาต์พุตประมาณ 2.5 เท่าต่องานหนึ่งงาน และแม้ราคาเอาต์พุตจะอยู่ที่หนึ่งในห้า ก็ยังทำให้ข้อได้เปรียบด้านต้นทุนแคบลงอย่างมาก ตัวเลข 2.11 ดอลลาร์ต่องานได้คำนึงถึงปัจจัยนี้ไว้แล้ว ซึ่งเป็นเหตุผลว่าทำไมตัวเลขนี้จึงเหมาะสำหรับการวางแผนมากกว่าเรตการ์ด
สำหรับภาระงานที่ความแม่นยำเพียงหนึ่งจุดเป็นตัวชี้ขาด ช่องว่างสามจุดเมื่อเทียบกับ Claude Opus 5.5 บนดัชนีอิสระคือตัวเลขที่ควรนำมาพิจารณา และไม่ควรมีตารางจากผู้ขายรายใดมาโน้มน้าวให้คุณมองข้ามเรื่องนี้ไป
Kimi K3.1 Pro สามารถเรียกใช้ผ่าน OrcaRouter ในราคา $2.00 ต่อหนึ่งล้านโทเค็นอินพุต และ $10.00 ต่อหนึ่งล้านโทเค็นเอาต์พุต โดยมีบริบท 1,048,576 โทเค็น รองรับเอาต์พุตสูงสุด 943,718 โทเค็น และรูปแบบ endpoint สามแบบ — Chat Completions, Responses และ Messages — ภายใต้คีย์เดียวกันกับส่วนอื่น ๆ ของสแตกของคุณ ราคาตามรายการของผู้ขายคือราคาที่คุณจ่าย โดยไม่มีการบวกเพิ่ม ซึ่งหมายความว่าการคำนวณข้างต้นคือการคำนวณที่คุณจะได้รับจริง สิ่งเดียวที่หน้านี้ให้คุณไม่ได้คือ benchmark ของคุณเอง: ลองรันตัวอย่างทราฟฟิกจริงของคุณที่ระดับ effort ต่ำ สูง และสูงสุด ก่อนเลือกค่าเริ่มต้น เพราะการตั้งค่านี้มีผลต่อค่าใช้จ่ายมากกว่าการเลือกโมเดล
การเปรียบเทียบในบทความนี้3
ตรวจพบจากบทความนี้ · เบนช์มาร์ก: Artificial Analysis · อัปเดตทุกวัน
