Reflection Beam vs Kimi K3: ชื่อเบนช์มาร์กเดียวกัน แต่ฮาร์เนสสองแบบที่ต่างกัน

Reflection Beam ทำคะแนน 80.1 บน Terminal-Bench 2.1 ส่วน Kimi K3 ทำได้ 88.3 ลองเอาตัวเลขสองตัวนี้มาวางเคียงกัน อย่างที่สื่อส่วนใหญ่covering สัปดาห์นี้ทำกัน แล้วคุณก็จะสรุปได้ว่า Beam ตามหลังโมเดลโอเพนซอร์สที่ดีที่สุดในวงการอยู่ราวแปดคะแนน แต่ตัวเลขสองตัวนั้นไม่ได้มาจากห้องเดียวกันเลย 80.1 ของ Beam เป็นตัวเลขที่ผู้พัฒนารายงานเอง หยิบมาจากตารางในโพสต์เปิดตัวของ Reflection เอง ส่วน 88.3 ของ Kimi K3 ก็เป็นตัวเลขที่ผู้พัฒนารายงานเองเช่นกัน คราวนี้มาจากตารางของ Moonshot เอง และตารางของผู้พัฒนาจะพิมพ์คะแนนของคู่แข่งก็ต่อเมื่อมันถูกรันบนฮาร์นเนสของตัวเอง ภายใต้ชุดพรอมป์ของตัวเอง ที่ระดับความพยายาม (effort setting) ของตัวเองเท่านั้น ต่อมา บุคคลที่สามอย่าง Artificial Analysis ได้รัน Kimi K3 บนเบนช์มาร์กที่ชื่อเดียวกันและเผยแพร่ผลออกมาเป็น 85.0 นั่นคือช่องว่าง 4.9 คะแนน ไม่ใช่ 8.2 และทิศทางของการแก้ไขนี้คาดเดาได้ล่วงหน้าอย่างสิ้นเชิง เพราะตัวเลขที่ถูกกัดกร่อนลงมามักเป็นตัวเลขที่มาจากห้องแล็บที่มีอะไรต้องพิสูจน์เสมอ

นั่นคือปัญหาทั้งหมดของการเปรียบเทียบที่ชื่อบทความนี้สัญญาไว้ และเป็นเหตุผลที่บทความนี้ใช้เนื้อหาครึ่งแรกไปกับที่มาแทนที่จะเป็นคะแนน Reflection Beam เป็นโมเดล sparse mixture-of-experts ขนาด 5.01 แสนล้านพารามิเตอร์ โดยมีพารามิเตอร์ที่ทำงานจริง 2.3 หมื่นล้านตัวต่อโทเคน เปิดตัวเมื่อวันที่ 5 ตุลาคม 2026 โดย Reflection AI พร้อมปลายทาง (endpoint) แบบเบต้าที่รองรับ OpenAI ซึ่งใช้งานได้ในวันเดียวกัน Kimi K3 เป็นโมเดลเปิดเรือธงของ Moonshot AI ปรากฏอยู่ในแคตตาล็อกของเราเองโดยมีวันที่เปิดตัวคือ 15 กรกฎาคม 2026 และได้รับการให้คะแนนอย่างอิสระโดย Artificial Analysis หนึ่งในนั้นเป็นผลิตภัณฑ์ที่วางจำหน่ายจริงพร้อมตารางราคาและการทดสอบด้วยฮาร์เนสจากบุคคลที่สาม ส่วนอีกอันเป็นเบต้าที่ต้องรอคิว ซึ่งน้ำหนักโมเดล รายงานทางเทคนิค และราคายังไม่มีอยู่จริง การนำมาเปรียบเทียบกันจึงไม่ใช่การเปรียบเทียบที่สมมาตร และการแสร้งว่าสมมาตรจะได้ผลลัพธ์เป็นหน้าที่ดูแม่นยำแต่ผิด

เวอร์ชัน 30 วินาที

• Beam เร็วกว่าต่อ FLOP ในทางทฤษฎี แต่ในทางปฏิบัติไม่มีราคา และยังไม่ถูกทำซ้ำ Kimi K3 ถูกให้คะแนนโดยบุคคลที่สาม ตั้งราคาที่ $3.00 สำหรับอินพุต และ $15.00 สำหรับเอาต์พุตต่อหนึ่งล้านโทเคน และพร้อมให้ใช้งานทั่วไป

• บนเบนช์มาร์กเดียวที่ทั้งคู่เคยรัน — Terminal-Bench 2.1 — ส่วนต่างที่แท้จริงอยู่ที่ประมาณห้าคะแนน ไม่ใช่แปด เมื่อตัวเลขของแต่ละฝ่ายมาจากฮาร์เนสที่เป็นกลาง

• ข้อได้เปรียบที่แท้จริงของ Beam เป็นเชิงโครงสร้าง ไม่ใช่เชิงตัวเลข: โปรไฟล์การให้บริการที่มีพารามิเตอร์ที่ใช้งานจริง 23B และสัญญาอนุญาต Apache 2.0 ที่ให้สัญญาไว้ ทั้งสองอย่างยังใช้งานไม่ได้ในปัจจุบัน

• ถ้าคุณต้องการโมเดลภายในสัปดาห์นี้ นี่ไม่ใช่การทอยเหรียญวัดดวง แต่เป็นโมเดลที่พร้อมใช้งานหนึ่งตัวและรายการรอหนึ่งรายการ

สิ่งที่ Reflection เผยแพร่จริง ๆ และมุ่งเป้าไปที่ใคร

โพสต์เปิดตัวของ Reflection ยกตารางคะแนนชุดหนึ่งมาเทียบกับโมเดลอื่นอีกเจ็ดตัว ได้แก่ Inkling, Nemotron 3 Ultra, GLM 5.2, GLM 5.3, Kimi K3, Qwen 3.8 Max และ DeepSeek V4.1 Flash ตัวเลขทุกตัวในตารางมาจากผู้จำหน่ายเป็นผู้รายงาน ไม่มีตัวเลขใดที่ได้รับการทำซ้ำอย่างอิสระ และไม่มีหน้า Artificial Analysis สำหรับ Reflection Beam — หน้าโมเดลบนเว็บไซต์ของขึ้นข้อผิดพลาด 404 ณ วันที่ 6 ตุลาคม 2026 หลายช่องในต้นฉบับถูกทำเครื่องหมายเป็น NR เนื่องจากไม่ได้รันโมเดลนั้น

นี่คือส่วนทั้งหมดของตารางนั้นในส่วน Beam เทียบกับ K3 โดยมีหนึ่งบรรทัดต่อหนึ่งมิติ

• Terminal-Bench 2.1 — Beam 80.1 เทียบกับ Kimi K3 88.3

• SWE-Bench Pro v2-Hard — Beam 77.2 กับ Kimi K3 88.2

• DeepSWE v1.1 — Beam 44.4 กับ Kimi K3 68.0

• SWE Atlas Codebase QnA — Beam 34.6 กับ Kimi K3 68.0

• HLE ไม่ใช้เครื่องมือ — Beam 36.2 vs Kimi K3 46.9

• GPQA Diamond — Beam 90.5 กับ Kimi K3 93.5

• SciCode — Beam 49.7 กับ Kimi K3 58.7

• MCP Atlas — Beam 78.7 กับ Kimi K3 82.3

• BrowseComp พร้อมการจัดการบริบท — Beam 77.4 เทียบกับ Kimi K3 91.2

• DeepSearchQA ด้วยการจัดการบริบท — Beam 80.1 เทียบกับ Kimi K3 95.0

อ่านรายการนั้นอย่างตรงไปตรงมา แล้วรูปร่างของการเปิดตัวก็จะปรากฏขึ้น Reflection ไม่ได้อ้างว่าชนะ K3 ที่จุดใดเลย แต่กำลังอ้างว่าจะไปอยู่ใกล้จุดสูงสุดของระดับหนึ่งได้ โดยใช้พลังประมวลผลสำหรับ inference น้อยกว่า GLM 5.2 ราวสามถึงสี่เท่า ณ คะแนนการให้เหตุผลที่เทียบเคียงได้ — และแถวเดียวที่ทั้งสองโมเดลใกล้เคียงกัน ซึ่งก็คือ Terminal-Bench 2.1 นั้น เป็นแถวที่การเปรียบเทียบเชื่อถือได้น้อยที่สุด

ทำไมฮาร์เนสจึงสำคัญกว่าคะแนน

ชื่อของ benchmark เป็นเพียงป้ายกำกับ ไม่ใช่ข้อกำหนด Terminal-Bench 2.1 หมายถึงชุดงานเฉพาะที่รันภายใต้ scaffold ของ agent เฉพาะชุดหนึ่ง โดยมีนโยบายการลองใหม่เฉพาะ งบโทเคนเฉพาะ และการตั้งค่า reasoning effort เฉพาะ สองแล็บสามารถรายงานตัวเลข "Terminal-Bench 2.1" ได้อย่างซื่อสัตย์ทั้งคู่ และให้ผลลัพธ์ที่ไม่สามารถนำมาเปรียบเทียบกันได้ เพราะ scaffold และการตั้งค่า effort เป็นจุดที่ความแปรปรวนส่วนใหญ่อาศัยอยู่ Artificial Analysis ดำรงอยู่ในฐานะองค์กรก็ด้วยเหตุผลนี้เอง โดยรันฮาร์เนสชุดเดียว ในการกำหนดค่าเดียว ครอบคลุมหลายโมเดล เพื่อให้ตัวเลขของตนสามารถนำมาลบกันได้

ดังนั้น 80.1 ที่ Reflection พิมพ์ให้ Beam จึงเป็นตัวเลขของผู้ขายบนฮาร์เนสของผู้ขาย และ 88.3 ที่พิมพ์ให้ K3 ก็เป็นตัวเลขของผู้ขายเช่นกัน — โดยผู้ขายรายนั้นคือ Reflection ที่กำลังวัดคู่แข่งของตัวเอง ตัวเลขตัวที่สองนี้เป็นตัวเลขที่น่าเชื่อถือน้อยที่สุดในแถวนั้น: แล็บที่รันเวตของคู่แข่งบนโครงของตัวเองย่อมไม่มีแรงจูงใจที่จะรันมันด้วยการตั้งค่าที่ดีที่สุดของคู่แข่ง และไม่มีข้อผูกมัดที่จะเปิดเผยว่ามันเลือกการตั้งค่าใด ในนั้นไม่มีอะไรที่ไม่ซื่อสัตย์เลย มันเป็นเพียงตัวเลขที่ที่มาของมันไม่รองรับน้ำหนักที่การรายงานข่าวได้ให้ไว้กับมัน

การรันของ Artificial Analysis เองให้ Kimi K3 อยู่ที่ 85.02 บน Terminal-Bench 2.1 พร้อมกับ 12.6 บน Terminal-Bench v4.0 — ซึ่งเป็นแบบทดสอบที่ต่างออกไปและยากกว่า — AA Coding Index ที่ 76.2 (อันดับ 9 ของโมเดลบนบอร์ด) Intelligence Index ที่ 43.6, GPQA Diamond 93.5, HLE 46.9, SciCode 59.5, tau-banking 45.98 และ Long-Context Recall ที่ 88.7 ตัวเลขเหล่านี้อ่านมาจากการ์ดแคตตาล็อกของ K3 ในระบบของเราเอง โดยมีแหล่งที่มาคือ artificialanalysis.ai และมีสแนปช็อตการประเมินที่ลงวันที่ 15 กรกฎาคม 2026 Beam มีตัวเลขหนึ่งตัวในชุดข้อมูลของรายการนั้น และมันมาจาก Reflection การไม่มีอยู่นั้นควรเป็นเพียงชั่วคราวมากกว่าถาวร: Artificial Analysis กล่าวว่า Reflection ให้สิทธิ์เข้าถึงแก่ตน และกำลังทำการวัดประสิทธิภาพโมเดลนี้ และถ้อยคำเริ่มแรกของ Artificial Analysis เอง — ที่ว่า Beam "จะเป็นหนึ่งในโมเดลเปิดที่ประหยัดโทเคนที่สุดที่เราเคยเห็นสำหรับระดับสติปัญญาของมัน" — เป็นการส่งสัญญาณถึงความคาดหวังจากสำนักจัดทำเบนช์มาร์ก ไม่ใช่การรายงานผลลัพธ์ จนกว่าคะแนนนั้นจะปรากฏ ตัวเลขของบทความนี้ยังไม่สามารถนำมาหักลบได้ และเราจะไม่แสร้งทำเป็นอย่างอื่น

แต่ละอันมีราคาเท่าไหร่ และแต่ละอันคืออะไร

การเปรียบเทียบต้นทุนไม่ได้ใกล้เคียงกันเลย และจริง ๆ แล้วมันไม่ใช่การเปรียบเทียบด้วยซ้ำ เพราะด้านหนึ่งของมันว่างเปล่า

• ราคา — Kimi K3 $3.00 อินพุต / $15.00 เอาต์พุต ต่อล้านโทเคน โดยการอ่านแคชอยู่ที่ $0.30 เทียบกับ Reflection Beam: ไม่มีราคาที่เผยแพร่ที่ใดเลยในบล็อก เอกสาร หรือรายการโมเดลของ Reflection โดยคอนโซลแพลตฟอร์มอยู่หลังกำแพงการสมัคร

• บริบท — 1,048,576 โทเค็นบน Kimi K3 เทียบกับ 256,000 บน Beam เบต้า พร้อมเชิงอรรถในเอกสารของ Beam เองที่ระบุว่า "หน้าต่างบริบทอาจเปลี่ยนแปลงได้ระหว่างช่วงเบต้า"

• ประเภทข้อมูล — Kimi K3 รองรับทั้งข้อความและรูปภาพ ส่วน Reflection Beam เป็นแบบข้อความเข้า–ข้อความออก โดยไม่มีช่องทางรองรับรูปภาพหรือเสียงในเวอร์ชันเปิดตัว

• ความพร้อมใช้งาน — Kimi K3 พร้อมใช้งานทั่วไปแล้ววันนี้ ส่วน Reflection Beam เป็นเบต้าที่ต้องรอคิว โดยมีกำหนดปล่อยเวทในปลายเดือนตุลาคมภายใต้สัญญาอนุญาต Apache 2.0

• คะแนนอิสระ — K3 มีแถว Artificial Analysis ครบถ้วน; Beam ไม่มีเลย

• โปรไฟล์การให้บริการ — Kimi K3 เป็นโมเดลระดับแนวหน้าขนาดใหญ่ที่ค่อนไปทาง dense โดยวัดได้ 46.8 โทเคนเอาต์พุตต่อวินาทีจากการวัดบน playground ของเราเองในช่วงสัปดาห์ที่ผ่านมา พารามิเตอร์ที่ใช้งานจริง 23B ของ Beam เป็นข้อโต้แย้งเชิงสถาปัตยกรรมที่แท้จริงเพื่อความหน่วงต่ำและต้นทุนต่อโทเคนที่ต่ำลง แต่ยังไม่มี endpoint ที่เปิดให้สาธารณะเพื่อวัดค่านั้น

ข้ออ้างเรื่องประสิทธิภาพสมควรได้รับการพิจารณาอย่างระมัดระวังเพิ่มอีกสักประโยค เพราะมันคือพาดหัวของการเปิดตัว และมันกำลังทำหน้าที่มากเกินกว่าที่จะแบกรับไหว "การประมวลผลอนุมานที่น้อยลง 3 ถึง 4 เท่า" ของ Reflection มาจากแผนภูมิที่ประมาณค่า FLOPs เป็นสองเท่าของจำนวนพารามิเตอร์ที่ใช้งานอยู่ คูณด้วยจำนวนโทเค็นที่สร้างขึ้นโดยเฉลี่ย สูตรนั้นจงใจไม่นับรวม prompt prefill ต้นทุนของ attention และโอเวอร์เฮดในการให้บริการ ซึ่งเป็นส่วนของบิลที่ครอบงำงานแบบ agentic ที่มีบริบท 길ยาว นี่เป็นการประเมินคร่าว ๆ ของอัตราส่วนการประมวลผล ไม่ใช่การวัดผล ไม่ใช่ตัวเลขเป็นดอลลาร์ และมันถูกสร้างขึ้นโดยผู้จำหน่ายเอง จงมองมันเป็นสมมติฐานที่น้ำหนักโมเดลจะเปิดทางให้คนอื่นทดสอบ

OrcaRouter อยู่ตรงไหนในเรื่องนี้

Kimi K3 เป็นหนึ่งในเส้นทางของเรา ราคาที่ระบุคือ $3.00 สำหรับอินพุต และ $15.00 สำหรับเอาต์พุตต่อล้านโทเคน โดยการอ่านจากแคชอยู่ที่ $0.30 ซึ่งเป็นราคาผู้ให้บริการของ Moonshot ที่ส่งผ่านมาโดยไม่บวกเพิ่มใดๆ — ดังนั้นหาก Moonshot ปรับตารางราคาของตน ตัวเลขบนหน้าของเราก็จะเปลี่ยนในวันเดียวกัน แทนที่จะรอให้ผู้ขายต่อรีเฟรชเมื่อไหร่ก็ได้ เรียกใช้งานได้จากคีย์เดียวที่เข้ากันได้กับ OpenAI ควบคู่กับโมเดลอื่นอีกกว่า 200 โมเดล ซึ่งตรงนี้สำคัญด้วยเหตุผลเฉพาะอย่าง: คำตอบที่ตรงไปตรงมาต่อคำถามว่า "Beam หรือ K3?" ก็คือ ทีมที่ต้องการกระจายความเสี่ยงไม่ควรเลือกเลย เพราะการสลับอัตโนมัติเมื่อเกิดข้อขัดข้องเป็นส่วนหนึ่งของการจัดเส้นทาง ไม่ใช่สิ่งที่คุณต้องสร้างขึ้นเอง โมเดลอย่าง Beam — ที่ยังอยู่ในเบต้า ไม่มีราคา และไม่ถูกให้คะแนนโดยบุคคลที่สามรายใด — คือสิ่งที่คุณนำไปใช้กับทราฟฟิกส่วนหนึ่ง ไม่ใช่บนเส้นทางวิกฤตของคุณ คุณจัดเส้นทางงานไปที่ K3 เป็นค่าเริ่มต้น ส่งงานส่วนหนึ่งไปให้ Beam เมื่อคำเชิญจากรายการรอของคุณมาถึง และปล่อยให้ระบบจัดเส้นทางสลับกลับไปที่ K3 เมื่อเกิดข้อผิดพลาด นั่นคือการตัดสินใจที่คุณทำได้กับโมเดลที่ยังไม่ผ่านการพิสูจน์ ส่วนการเดิมพันเส้นทางโปรดักชันกับโมเดลแบบนี้ไม่ใช่สิ่งที่ควรทำ

อะไรจะทำให้คำตัดสินนี้เปลี่ยนไปได้

สามเรื่อง เรียงตามลำดับความสำคัญจากมากไปน้อย

ราคา. การที่ Beam ต่ำกว่าระดับ K3 จะทำให้ข้อโต้แย้งเรื่องประสิทธิภาพเป็นรูปธรรมแทนที่จะเป็นทฤษฎี ประการที่สอง เวต Apache 2.0 บวกกับรายงานทางเทคนิคจะทำให้ใครก็ตามที่มีสองสามโหนดวัดโทเคนต่อวินาทีต่อ GPU ที่เกณฑ์คุณภาพคงที่ได้ — การทดสอบที่ชี้ขาดข้ออ้างเรื่องคอมพิวต์ได้จริง ประการที่สาม การรันฮาร์เนสโดยบุคคลที่สาม Reflection ได้ให้สิทธิ์ Artificial Analysis เข้าถึง และคาดว่าจะได้คะแนนออกมาจากการนั้น; จนกว่าตัวเลขนั้นจะถูกเผยแพร่ ทุกตัวเลข Beam เทียบกับ K3 ที่หมุนเวียนอยู่ล้วนย้อนกลับไปยังเอกสารที่เขียนโดยหนึ่งในผู้ขาย

สองคำถามที่คุ้มค่าที่จะตอบให้ตรง ๆ

Reflection Beam ดีกว่า Kimi K3 หรือไม่?

จากหลักฐานที่มีอยู่ ณ วันนี้ ไม่ใช่ — และยังไม่มีใครเผยแพร่หลักฐานว่าเป็นเช่นนั้น ตารางของ Reflection เองแสดงว่า K3 นำอยู่ในทั้งสิบแถวที่ใช้ร่วมกันข้างต้น โดยหลายแถวมีส่วนต่าง (SWE Atlas 34.6 เทียบกับ 68.0, DeepSearchQA 80.1 เทียบกับ 95.0) ที่ไม่ใกล้เคียงกันเลย ข้อโต้แย้งของ Beam คือต้นทุนต่อหนึ่งหน่วยความสามารถ และข้อโต้แย้งนั้นเป็นเพียงแผนภูมิที่ผู้ขายวาดขึ้น จนกว่าจะมีน้ำหนักและราคา

ฉันควรรอเวทของ Beam ก่อนที่จะสร้างบน K3 ไหม

เฉพาะในกรณีที่การโฮสต์เองเป็นความจำเป็นมากกว่าความชอบ เพราะนั่นคือมิติเดียวที่ทั้งสองทดแทนกันไม่ได้ — K3 เป็นแบบ API-only เท่านั้น ขณะที่ Beam สัญญาว่าจะมีน้ำหนักโมเดลแบบ Apache 2.0 หากคุณกำลังเรียกใช้ API, K3 พร้อมใช้งาน มีการให้คะแนนและราคาแล้ว ส่วน Beam ยังเป็นรายชื่อรอ ไม่มีรูปแบบใดของการตัดสินใจนั้นที่คุ้มค่าพอจะทำให้ต้องเลื่อนโปรเจกต์ออกไป

Reflection ได้ให้วันที่และแผนภูมิแก่เรา และวันที่ก็ไม่ใช่โมเดล สิ่งเดียวที่การเปิดตัวนี้พิสูจน์ได้อย่างแท้จริงคือ โมเดลขนาด 501B ที่เปิดใช้งานพารามิเตอร์ 23B สามารถฝึกให้อยู่ในระยะห่างเพียงไม่กี่จุดจากแนวหน้าของโมเดลเปิด ซึ่งหากน้ำหนักโมเดลเผยแพร่ออกมาและตัวเลขยังคงเป็นเช่นนั้น นี่ก็เป็นผลลัพธ์ที่มีความหมายเกี่ยวกับประสิทธิภาพ แต่ยังไม่ใช่เหตุผลที่จะย้ายงานออกจากโมเดลที่บุคคลที่สามได้วัดจริงแล้ว