Kimi K3.1 Pro ลดความสามารถด้านไซเบอร์ของตัวเองลง 9.5 คะแนน ส่วนอีกสองแล็บเลือกเส้นทางที่แตกต่างออกไป

เมื่อวันที่ 24 ตุลาคม Moonshot ทำสิ่งที่แล็บทั้งหลายมักไม่ทำ: ปล่อยโมเดลที่อ่อนกว่าตัวที่มันปล่อยได้ และเปิดเผยต้นทุนที่แน่นอน ใน xdev-bench-hard ที่ pass@3 checkpoint ที่ฝึกโดยไม่มีมาตรการลดความเสี่ยงด้านไซเบอร์ของบริษัทได้ 90.5% ส่วน Kimi K3.1 Pro ซึ่งเป็นโมเดลที่คุณเรียกใช้ได้ ได้ 81.0% ช่องว่าง 9.5 จุดคือราคาของการนำข้อมูลที่เกี่ยวข้องกับไซเบอร์ออกจากการฝึกช่วงกลางและการเรียนรู้แบบเสริมกำลัง และเป็นคำประกาศที่ชัดเจนที่สุดที่แล็บแนวหน้าสามแห่งใดแห่งหนึ่งได้ทำในปีนี้ เกี่ยวกับสิ่งที่มันยอมแลกเพื่อความสามารถ

ตอนนี้แล็บชั้นนำทุกรายมีนโยบายไซเบอร์ของตัวเองแล้ว นโยบายเหล่านี้ต่างกันที่กลไกมากกว่าเจตนา และกลไกนั้นเป็นตัวกำหนดว่าคุณจะได้อะไรจริง ๆ เมื่อเรียก API Moonshot ตัดความสามารถออกจากน้ำหนักโมเดล Anthropic ส่งคำขอไปยังโมเดลอื่น OpenAI ควบคุมการเข้าถึงด้วยการจัดระดับความเสี่ยง สำหรับทีมความปลอดภัย — หรือใครก็ตามที่มีภาระงานแตะต้องเครื่องมือโจมตี — ทั้งสามแนวทางก่อให้เกิดความประหลาดใจที่แตกต่างกันสามแบบ

สิ่งที่ Moonshot นำออกไป และสิ่งที่ยังคงไว้

เอกสารเปิดตัวมีความเฉพาะเจาะจงอย่างผิดปกติ ข้อมูลที่เกี่ยวข้องกับไซเบอร์ถูกลบออกจากทั้งขั้นตอน mid-training และขั้นตอน reinforcement learning ในขณะที่งานเขียนโค้ดทั่วไปยังคงถูกเก็บไว้ หลักการที่บริษัทระบุไว้คือจะไม่ปล่อย open weights ที่จะขยายพรมแดนสูงสุดของความสามารถด้านไซเบอร์ และบริษัทอธิบายความสามารถในการโจมตีของโมเดลที่จัดส่งว่า "โดยการออกแบบแล้ว ต่ำกว่าสิ่งที่ไปป์ไลน์ของเราสามารถผลิตได้" และตามหลังสิ่งที่โมเดล proprietary ระดับแนวหน้าของบริษัทอื่นได้เปิดให้ใช้ publicly มาแล้วอย่างน้อยสามเดือน

รายละเอียดสองประการในนโยบายนั้นสำคัญกว่าตัวเลขที่อยู่ในพาดหัว

ประการแรกคือ การลดลงนั้นเป็นแบบสัมพัทธ์กับไปป์ไลน์ของ Moonshot เอง ไม่ใช่กับตลาด โมเดลที่ถูกจำกัดเพดานไว้ที่ 81.0% ยังคงได้คะแนนสูงกว่า 33.3% ของ Kimi K3 อย่างมาก และสูงกว่า 57.1% ของ GLM-5.3 บนเกณฑ์มาตรฐานเดียวกัน การจำกัดเพดานทำให้โมเดลแนวหน้าลดระดับลง ไม่ใช่ทำให้หลุดออกจากหมวดหมู่

ข้อที่สองคือ Moonshot กล่าวว่าจะ "ค่อย ๆ ยกระดับ" ความสามารถด้านไซเบอร์ที่มีอยู่ในน้ำหนักแบบเปิด นั่นเป็นกำหนดการ ไม่ใช่เส้นแบ่งที่ตายตัว การประเมินที่ถือว่าเพดานของวันนี้อาจใช้ไม่ได้ในการเปิดตัวครั้งถัดไป และสำเนาที่โฮสต์เองจะสืบทอดเพดานใดก็ตามที่มีอยู่ในวันที่เปิดตัวของสำเนานั้น

สิ่งที่เบนช์มาร์กต้องการจริง ๆ

เอกสารของ Moonshot อธิบายการประเมินไว้ละเอียดพอที่จะใช้ตัดสินได้ xdev-bench-hard สร้างขึ้นจากช่องโหว่ที่เพิ่งเปิดเผยในซอฟต์แวร์ ซึ่งรวมถึง Linux kernel, Node.js, JavaScriptCore, Exim และ VirGL โดยเปิดใช้มาตรการบรรเทาผลกระทบ แต่ละงานจะมีซอร์สโค้ดที่มีช่องโหว่ คำใบ้บั๊กแบบสั้น และไบนารีที่คอมไพล์แล้ว เอเจนต์ต้องพัฒนา exploit ให้สามารถรันโค้ดโดยพลการได้ในแซนด์บ็อกซ์แยกต่างหาก และดึงสตริงลับออกมาเพื่อให้ตรวจสอบผลลัพธ์ได้โดยอัตโนมัติ การให้คะแนนใช้ pass@3 จากชุดย่อยที่สุ่มเลือก โดยไม่มีเวลาหมดเขตแบบตายตัวและไม่มีขีดจำกัดจำนวนโทเคนเอาต์พุต

นี่คือการทดสอบที่ท้าทายและจำกัดขอบเขตอย่างแคบ: มันวัดว่าโมเดลสามารถเปลี่ยนไบนารีที่รู้กันว่ามีช่องโหว่ให้เป็น exploit ที่ใช้งานได้จริงหรือไม่ ไม่ได้วัดว่ามันเขียนสแกนเนอร์หรือคัดแยกการแจ้งเตือนได้หรือไม่ ช่องว่าง 9.5 คะแนนระหว่างเช็กพอยต์ที่ไม่ได้ผ่านการบรรเทาความเสี่ยงกับโมเดลที่ส่งมอบจริงจึงเป็นการวัดความแตกต่างของความสามารถที่มีอยู่จริงอย่างแท้จริง — และเป็นเครื่องเตือนใจว่าตัวเลขนั้นบอกอะไรได้น้อยมากเกี่ยวกับงานด้านการป้องกันที่ทีมส่วนใหญ่ทำกับโมเดลจริง ๆ

ทางเลือกของ Anthropic: คงความสามารถไว้ แต่เปลี่ยนคำตอบ

แนวทางของ Anthropic สำหรับ Claude Opus 5.5 คือการกำหนดเส้นทางฝั่งผู้ให้บริการ (serving-side routing) เอกสารของบริษัทระบุว่างานที่เกี่ยวข้องกับไซเบอร์ส่วนใหญ่อาจถูกกำหนดเส้นทางใหม่ไปยัง Claude Opus 4.8 และงานด้านชีววิทยาและการพัฒนาโมเดลระดับแนวหน้าอาจถูกส่งต่อไปยัง Claude Opus 5 ผู้เรียกจะไม่ได้รับข้อผิดพลาด คำตอบจะมาจากโมเดลอื่นแทน ระดับความสามารถสูงสุด คือ Claude Mythos 5.1 เปิดให้เฉพาะองค์กรที่ผ่านการตรวจสอบผ่านโครงการต่าง ๆ เช่น Cyber Verification Program

ข้อแลกเปลี่ยนนี้ตรงข้ามกับของ Moonshot ความสามารถระดับ frontier มีอยู่จริงและถูกให้บริการ — แก่ลูกค้าที่ผ่านการยืนยัน ภายใต้ model id ที่แตกต่างออกไป — ขณะที่ผู้เรียกใช้ที่ยังไม่ผ่านการยืนยันจะได้รับคำตอบจากโมเดลรุ่นเก่ากว่าโดยไม่รู้ตัว สำหรับทีมความปลอดภัยภายในองค์กรที่ผ่านการยืนยันแล้ว นี่คือตัวเลือกที่มีความสามารถสูงสุดในสามตัวเลือกนี้ สำหรับใครก็ตามที่อยู่นอกองค์กรดังกล่าว มันคือโมเดลที่ตอบกลับด้วยสิ่งอื่นอย่างเงียบ ๆ ในงานเหล่านั้นที่พวกเขาอยากได้ความสามารถระดับ frontier มากที่สุด

แนวทางของ OpenAI: ตัดสินใจก่อนเปิดตัว

GPT-6 Astra เป็นโมเดลแรกของ OpenAI ที่ได้รับการจัดระดับ "critical" ภายใต้ Preparedness Framework ของบริษัท เนื่องจากสามารถค้นหาช่องโหว่ด้านความปลอดภัยรูปแบบใหม่ได้ด้วยตนเอง การเปิดตัวเป็นไปตามลำดับขั้น — พันธมิตรที่เข้าถึงก่อน ตามด้วยระดับแพ็กเกจสมาชิก แล้วจึง API — และความสามารถที่มีความเสี่ยงสูงที่สุดถูกจำกัดด้วยการจัดระดับแทนการกรองพรอมต์ การเข้าถึงถูกกำหนดในระดับบัญชี ก่อนที่จะมีการส่งคำขอใด ๆ

นั่นเรียบร้อยกว่าการเปลี่ยนเส้นทางแบบเงียบ ๆ และช้ากว่าทางเลือกทั้งสองทาง นอกจากนี้ยังหมายความว่าคำตอบของคำถามที่ว่า "ฉันใช้โมเดลนี้กับงานด้านความปลอดภัยของฉันได้ไหม" สามารถรู้ได้ล่วงหน้า ซึ่งมีคุณค่าอยู่บ้างสำหรับผู้ซื้อที่ต้องเขียนเอกสารจัดซื้อจัดจ้าง

สิ่งที่กลยุทธ์ทั้งสามทำต่อการประเมิน

หากคุณวัดประสิทธิภาพโมเดลในงานด้านความปลอดภัย กลไกต่างๆ จะบิดเบือนการวัดในแบบที่แตกต่างกัน และความบิดเบือนเหล่านั้นไม่ได้หักล้างกัน

• ขีดจำกัดของ Moonshot อยู่ภายในค่าน้ำหนักของโมเดล การรันเบนช์มาร์กบน API และการรันเบนช์มาร์กบนสำเนาที่โฮสต์เองควรให้ผลสอดคล้องกัน และทั้งสองอย่างวัดโมเดลที่จงใจให้แย่ลงในหมวดหมู่นั้น ตัวเลขนี้ตรงไปตรงมาและทำซ้ำได้

• การกำหนดเส้นทาง (routing) ของ Anthropic อยู่ภายในสแต็กการให้บริการ (serving stack) คำขอเดียวกันอาจให้ผลลัพธ์ที่มีคุณภาพแตกต่างกัน ขึ้นอยู่กับว่าคำขอนั้นไปกระตุ้นกลไกป้องกัน (safeguard) หรือไม่ และตัวเลข benchmark ที่ผู้ขายเผยแพร่อาจไม่สะท้อนการกำหนดเส้นทางที่บัญชีของคุณได้รับ บทความของเราเองที่รายงานเกี่ยวกับตาราง benchmark ของ Opus 5.5 ได้ชี้ให้เห็นประเด็นเดียวกันนี้จากอีกมุมหนึ่ง: ตัวเลขของ Terminal-Bench จาก Artificial Analysis ซึ่งเป็นหน่วยงานอิสระอยู่ที่ 59.6% เทียบกับ 66.4% ของ Anthropic ในการกำหนดค่าที่รวมการกำหนดเส้นทาง safeguard ฝั่งเซิร์ฟเวอร์ไว้ด้วย

• การจำกัดการเข้าถึงของ OpenAI อยู่ภายนอกตัวโมเดล เมื่อคุณมีสิทธิ์เข้าถึง โมเดลจะทำงานตามผลการทดสอบมาตรฐาน; หากคุณไม่มีสิทธิ์ คุณจะไม่สามารถทำการเปรียบเทียบได้เลย

สิ่งที่ทีมด้านความปลอดภัยควรนำไปใช้จากเรื่องนี้

ข้อสรุปเชิงปฏิบัติสามข้อ โดยเรียงตามระดับความมั่นใจ

ประการแรก “cyber capability” ไม่ใช่คุณสมบัติที่อ่านได้จากโมเดลการ์ดอีกต่อไป แต่เป็นฟังก์ชันของน้ำหนักที่คุณได้รับ การกำหนดเส้นทางที่บัญชีของคุณกระตุ้นให้เกิดขึ้น และโครงการตรวจสอบที่คุณสังกัดอยู่ การประเมินใดที่ไม่ระบุทั้งสามประการนี้กำลังวัดสิ่งอื่นอยู่

ประการที่สอง หากงานของคุณเป็นงานเชิงป้องกัน — การคัดแยกและจัดลำดับความสำคัญ การร่างแพตช์ วิศวกรรมการตรวจจับ — เพดานความสามารถนั้นสร้างผลกระทบน้อยกว่าที่ชื่อฟังดู คะแนน 9.5 จุดกระจุกตัวอยู่ในพฤติกรรมเชิงปรปักษ์ที่ใกล้เคียงกับการใช้ช่องโหว่ ส่วนความสามารถด้านการเขียนโค้ดทั่วไปและการใช้เครื่องมือของโมเดล ซึ่งเป็นสิ่งที่งานเชิงป้องกันต้องใช้เป็นหลัก คือสิ่งที่การรันหลังการฝึก (post-training) ถูกใช้ไปเพื่อปรับปรุง Moonshot รายงานว่า Kimi Code Bench 3.0 แบบ long-horizon เพิ่มขึ้นจาก 55.95% เป็น 61.2% ในการเปิดตัวเดียวกัน

ประการที่สาม ขีดจำกัดกำลังเปลี่ยนแปลง Moonshot กล่าวว่าจะเพิ่มเพดานของตน โปรแกรมการตรวจสอบของ Anthropic กำลังขยายออกไป และการจัดระดับของ OpenAI เปลี่ยนแปลงไปตามโมเดล นโยบายที่ใช้ชี้นำการตัดสินใจนำไปใช้งานในเดือนตุลาคมอาจผิดพลาดได้ภายในเดือนมกราคม ซึ่งเป็นเหตุผลให้ต้องอ่านเอกสารการเข้าถึงซ้ำทุกครั้งที่มีการอัปเกรดโมเดล แทนที่จะถือว่าเป็นด่านที่ผ่านเพียงครั้งเดียว

Kimi K3.1 Pro เรียกใช้ได้ผ่าน OrcaRouter ในราคา 2.00 ดอลลาร์ต่อหนึ่งล้านโทเคนอินพุต และ 10.00 ดอลลาร์ต่อหนึ่งล้านโทเคนเอาต์พุต โดยมีสถานะสุดท้ายเหมือนกับที่อื่นทุกที่: เพดานอยู่ที่น้ำหนักของโมเดล ไม่ใช่อยู่ที่สิ่งที่ผู้ให้บริการรายใดรายหนึ่งทำกับคำขอของคุณ หากงานของคุณ dépend จากการรู้ว่าโมเดลใดตอบจริง นั่นคือคุณสมบัติหนึ่ง หากมันขึ้นอยู่กับเพดานเชิงรุกของฟรอนเทียร์ ก็ไม่มี API ใดในตลาดที่จะให้สิ่งนั้นแก่คุณได้โดยไม่มีโปรแกรมตรวจสอบ