
การ์ดระบบของ Tencent Hy4: คะแนนไซเบอร์ดีขึ้น แต่การปฏิเสธแย่ลง
- Orcaใหม่OrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 ต่อ 1 ล้านโทเค็น · 187 tok/s
- openaiใหม่OpenAI: GPT-6.2 Astra2026-11-17$8.00 / $40.00 ต่อ 1 ล้านโทเค็น · 87 tok/s
- openaiใหม่OpenAI: GPT-6.2 Sol2026-11-17$2.00 / $10.00 ต่อ 1 ล้านโทเค็น · 152 tok/s
- tencentใหม่Tencent: Hy4 Flash2026-11-16$0.02 / $0.07 ต่อ 1 ล้านโทเค็น · 194 tok/s
- Alibabaใหม่Qwen: Qwen4 Max2026-11-16$1.50 / $4.50 ต่อ 1 ล้านโทเค็น · 86 tok/s
- Googleใหม่Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 ต่อ 1 ล้านโทเค็น · 705 tok/s
- Anthropicใหม่Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 ต่อ 1 ล้านโทเค็น · 246 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 ต่อ 1 ล้านโทเค็น · 97 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 138 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 ต่อ 1 ล้านโทเค็น · 85 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 ต่อ 1 ล้านโทเค็น · 122 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 102 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 70 tok/s
- openaiOpenAI: GPT-6.1 Terra2026-10-26$1.00 / $5.00 ต่อ 1 ล้านโทเค็น · 35 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 89 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 38 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447ความฉลาด
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 231 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929ความฉลาด
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 ต่อ 1 ล้านโทเค็น · 101 tok/s
Tencent Hy4 เปิดตัวน้ำหนักโมเดลเมื่อวันที่ 20 พฤศจิกายน 2026 พร้อมแนบ System Card ยาว 82 หน้า และเอกสารนี้ก็น่าสนใจกว่าเอกสารประเภทเดียวกันส่วนใหญ่ ไม่ใช่เพราะตัวเลขออกมาดี แต่เพราะ Tencent บันทึกตัวเลขที่ไม่ดีไว้ด้วย Tencent Hy4 คือโมเดลเรือธงแบบ general availability ที่ Tencent เปิดตัวเมื่อวันที่ 4 พฤศจิกายน 2026 ส่วนการ์ดดังกล่าวคือการประเมินด้านความปลอดภัย ความมั่นคงปลอดภัย และการจัดแนวที่เผยแพร่พร้อมกับการปล่อยน้ำหนักเปิด และเป็นครั้งแรกที่คนนอก Tencent สามารถอ่านได้ว่าโมเดลทำอะไรเมื่อถูกขอให้ทำลายบางสิ่ง Tencent Hy4 Preview ซึ่งเป็นโมเดลน้ำหนักเปิดจากวันที่ 28 สิงหาคม เป็นจุดเปรียบเทียบตลอดทั้งเอกสาร ทำให้การ์ดนี้เป็นทั้งรายงานความปลอดภัยและการเปรียบเทียบความต่างระหว่างเวอร์ชันในเวลาเดียวกัน
ผลลัพธ์สำคัญคือการปรับปรุงที่แท้จริงด้านความมั่นคงปลอดภัยไซเบอร์เชิงป้องกัน: บน CyberGym การทำซ้ำช่องโหว่เพิ่มขึ้นจาก 74.05 เปอร์เซ็นต์เป็น 84.87 เปอร์เซ็นต์ และบน SEC-bench Pro จาก 40.70 เป็น 64.24 ข้อควรระวังสำคัญคือเอกสารเดียวกันรายงานอัตราการปฏิเสธเกินกว่าเหตุ 35.9 เปอร์เซ็นต์ในงานของเอเจนต์ที่ไม่เป็นอันตรายเมื่อปิดการให้เหตุผล เทียบกับ 13.5 เปอร์เซ็นต์สำหรับพรีวิว ตัวเลขทั้งสองเป็นของ Tencent เอง ยังไม่มีใครทำซ้ำได้ทั้งคู่
สิ่งที่ Tencent เผยแพร่ และใครเป็นผู้ทดสอบมันจริง ๆ
โพสต์เปิดตัวระบุชื่อสี่องค์กร ได้แก่ Xuanwu Lab, Zhuque Lab และ Keen Lab ของ Tencent รวมถึงการทดสอบอิสระจาก ALICE และ Fangcun AI รายชื่อนั้นดูเหมือนผู้ตรวจสอบห้าราย แต่แท้จริงแล้วใกล้เคียงกับสองรายมากกว่า และความแตกต่างนี้สำคัญกว่าปกติในที่นี้ เพราะแก่นของข้อโต้แย้งทั้งหมดเรื่องการ์ดความปลอดภัยแบบ open-weight ก็คือ มีคนอื่นที่ไม่ใช่ผู้ขายได้ตรวจดูโมเดลก่อนที่ดาวน์โหลดจะเปิดให้เข้าถึง
• Xuanwu Lab, Zhuque Lab และ Keen Lab เป็นหน่วยวิจัยด้านความปลอดภัยของ Tencent เอง Xuanwu ดำเนินการประเมินด้านการเข้ารหัสลับและวิศวกรรมย้อนกลับ; Zhuque สร้างชุดทดสอบ red-teaming ภายในสำหรับการใช้งานในทางที่ผิดของระบบเอเจนต์; Keen ร่วมดำเนินการแบบฝึกหัดการค้นหาช่องโหว่แบบ end-to-end กับ Xuanwu ทั้งสามมีคุณสมบัติ มีชื่อระบุ และอยู่ในบัญชีเงินเดือนของ Tencent การ์ดกล่าวถึงเรื่องนี้อย่างตรงไปตรงมาในเชิงอรรถ — เพียงแต่ไม่กล่าวซ้ำถึงความเป็นเจ้าของในโพสต์เปิดตัว
• ALICE (alice.io) เป็นฝ่ายที่สามที่เป็นอิสระอย่างแท้จริง โดยได้ดำเนินการประเมินแยกกันสามรายการ ได้แก่ การตอบอย่างปลอดภัยและการปฏิเสธในบริบทด้านไซเบอร์ ความปลอดภัยของเนื้อหาทั่วไป และความทนทานต่อการฉีดพรอมต์ในสถานการณ์การเรียกใช้เครื่องมือแบบเอเจนต์ ตัวเลขของระบบนี้ถูกรายงานพร้อมขนาดตัวอย่าง และการ์ดได้ระบุจุดที่ตัวอย่างเหล่านั้นมีขนาดเล็กเกินกว่าจะมีนัยสำคัญ
• Fangcun AI (fangcunleap.com) เป็นบุคคลที่สามที่แท้จริงรายที่สอง โดยเป็นผู้สร้างและดำเนินชุดการทดสอบด้านการสูญเสียการควบคุมและการชักจูงที่เป็นอันตราย ได้แก่ Monitor Sabotage, LoCBench และเกณฑ์มาตรฐานด้านการหลอกลวง
• Artificial Analysis, Collinear และ Scale AI จัดหาเกณฑ์มาตรฐานภายนอก ได้แก่ Cyber Index, CWE-bench และ FORTRESS ตามลำดับ สิ่งเหล่านี้เป็นเครื่องมือวัดมากกว่าจะเป็นผู้ตรวจสอบ ซึ่งเป็นคนละเรื่องและเป็นสิ่งที่อ่อนแอกว่า
การตีความอย่างตรงไปตรงมาคือ: ห้องปฏิบัติการอิสระสองแห่ง ซึ่งทั้งคู่ได้รับขอบเขตการประเมินจากผู้จำหน่าย บวกกับทีมภายในอีกสามทีม นั่นคือการตรวจสอบจากภายนอกมากกว่าที่การเปิดเผยแบบ open-weight ส่วนใหญ่ได้รับ และน้อยกว่าที่รายชื่อห้าชื่อสื่อให้เห็น
ไซเบอร์: การป้องกันดีขึ้น แต่การโจมตียังอยู่ในขั้นพื้นฐาน
Tencent ได้ตัดสินใจเรื่องการฝึกโมเดลอย่างตั้งใจ แล้วจึงบันทึกความล้มเหลวของมันไว้ ซึ่งเป็นสิ่งที่มีประโยชน์ที่สุดในเอกสารนี้ ข้อมูลการฝึกที่เกี่ยวข้องกับไซเบอร์ถูกจำกัดให้อยู่เฉพาะเนื้อหาด้านการป้องกัน — การจำลองช่องโหว่และการแก้ไข — โดยตัดการโจมตี การวิศวกรรมย้อนกลับ และการทดสอบเจาะระบบออกอย่างตั้งใจ จุดประสงค์คือโมเดลที่ช่วยผู้ป้องกันโดยไม่มอบเครื่องมือให้ผู้โจมตี

มันได้ผลเพียงครึ่งเดียว Hy4 กลายเป็นเลิศด้านการป้องกัน แล้วจากนั้น ดังที่ Tencent กล่าว ความสามารถในการเขียนโค้ดโดยทั่วไปทำให้มันสามารถ "สร้างขึ้นใหม่บางส่วน" ซึ่งความสามารถเชิงรุกที่การกรองข้อมูลควรจะป้องกันไว้ได้ ประโยคนี้คือการยอมรับในการ์ดว่าการคัดสรรข้อมูลไม่สามารถทดแทนการประเมินความสามารถได้ และเป็นเหตุผลที่ส่วนไซเบอร์ที่เหลืออยู่มีอยู่
CyberGym — ความสำเร็จ 84.87 เปอร์เซ็นต์ในการจำลองช่องโหว่จริง เพิ่มขึ้น 10.8 จุดจาก 74.05 ของเวอร์ชันพรีวิว ครอบคลุมกว่า 1,507 อินสแตนซ์จาก 188 โปรเจกต์ ทำงานแบบออฟไลน์โดยไม่มีการติดตั้งคอมไพเลอร์หรือชุดเครื่องมือดีบักไว้ล่วงหน้า
• SEC-bench Pro — 64.24 เปอร์เซ็นต์ เพิ่มขึ้น 23.5 จุดจาก 40.70 จาก 344 อินสแตนซ์ที่ผ่านการตรวจสอบแล้วทั่ว V8, SpiderMonkey และ Linux kernel ซึ่งเอเจนต์ต้องใช้เหตุผลจากอินเทอร์เฟซสาธารณะผ่านโค้ดหลายล้านบรรทัด
• CWE-bench ซึ่งเป็น benchmark การซ่อมช่องโหว่แบบอิสระของ Collinear — Pass@4 ที่ 78.4 เปอร์เซ็นต์ ซึ่งการ์ดระบุว่าเป็นอันดับหนึ่งในบรรดาโมเดลแบบเปิด และ Pass@1 ที่ 64.1 เปอร์เซ็นต์ เพิ่มขึ้นจาก 47.3 ชุดข้อมูล held-out ยังคงทำผลงานได้ดี ซึ่งเป็นส่วนที่สำคัญ
• ดัชนี Artificial Analysis Cyber Index — 58 เป็นอันดับสามของโลกและอันดับสองในบรรดาโมเดลแบบเปิดน้ำหนัก สร้างจาก CWE-Bench-AA ที่ 76 เปอร์เซ็นต์, DeepSecBench-AA ที่ 26 เปอร์เซ็นต์ และ CyberGym-E2E-AA ที่ 73 เปอร์เซ็นต์ โปรดสังเกตคำเตือนบนการ์ดเองว่า CWE-Bench-AA เป็นชุดย่อยของ CWE-bench ของ Collinear แต่ดำเนินการโดยองค์กรอื่นด้วยฮาร์เนสที่แตกต่างกัน ดังนั้นทั้งสองจึงไม่สามารถเปรียบเทียบกันได้แม้ชื่อจะเกือบเหมือนกันก็ตาม
จากนั้นมาที่ฝั่งรุก ซึ่งตัวเลขอยู่ในระดับต่ำ และ Tencent ก็ไม่ได้ตกแต่งให้ดูดีขึ้น บน ExploitBench ซึ่งเป็นบันไดความสามารถ 16 ธงที่ครอบคลุมช่องโหว่ V8 จำนวน 41 รายการ Hy4 ได้ 42.9 เปอร์เซ็นต์ เทียบกับ 35.0 ของ preview — และสร้างเคส arbitrary code execution แบบครบวงจรได้เพียงหนึ่งเคสเท่านั้นจากทั้งชุด บน ExploitGym ซึ่งเป็น benchmark 869 อินสแตนซ์ที่สร้างร่วมกับ Berkeley, Anthropic, OpenAI และ Google อัตราการผ่านโดยรวมเพิ่มขึ้นราวสองเท่าจาก 8.86 เป็น 17.72 เปอร์เซ็นต์ แต่ภายใต้ระดับการบรรเทาผลกระทบที่ตัวการ์ดเองอธิบายว่า "ง่ายกว่าการโจมตีในโลกจริงอย่างมาก"
ผู้เชี่ยวชาญด้าน red-teaming พูดเรื่องเดียวกันในรูปแบบที่ชัดเจนกว่า Xuanwu Lab อำพราง implementation การเข้ารหัสลับอ้างอิงด้วยแปดวิธี; โมเดลทั้งสองสร้างการเข้ารหัสไปข้างหน้าขึ้นมาใหม่ได้ใน 8 จาก 8 กรณี และให้ผลลัพธ์การถอดรหัสที่ถูกต้องใน 3 จาก 8 การค้นหาและนำโค้ดกลับมาใช้ไม่ใช่ reverse engineering ข้อสรุปของการ์ด — ที่ว่าโมเดล “สามารถทำส่วนต่าง ๆ ของ exploit chain ได้สำเร็จ แต่ยังไม่ได้แสดงให้เห็นถึงความสามารถในการพัฒนา exploit ในโลกจริงได้อย่างเสถียร โดยอิสระ และตั้งแต่ต้นจนจบ” — เป็นข้อสรุปที่ถูกต้อง และเป็นประโยคที่ควรอ้างกับใครก็ตามที่อ่าน “84.9 เปอร์เซ็นต์บน CyberGym” แล้วได้ยินคำว่า “แฮกเกอร์อัตโนมัติ”
Bio: ได้ผลจริง แต่ไม่มีหลักฐานว่ามีการยกระดับ
ส่วนความเสี่ยงทางชีวภาพถูกจัดเรียงเป็นห่วงโซ่ขีดความสามารถ ได้แก่ ความรู้ การวิเคราะห์ข้อมูล การแก้ไขปัญหา และการออกแบบการทดลอง Hy4 พัฒนาไปตามห่วงโซ่นี้เป็นส่วนใหญ่ และการพัฒนานั้นไม่สม่ำเสมออย่างมาก ซึ่งสิ่งนี้เองคือข้อค้นพบ
• ความรู้ — WMDP-Bio เพิ่มขึ้นจาก 83.97 เป็น 87.12 เปอร์เซ็นต์ และ WMDP-Chem จาก 73.77 เป็น 78.68 เมื่อปิด reasoning การ์ดระบุว่าทั้งสองอยู่ใกล้ช่วงอิ่มตัวของ benchmark และการเพิ่มขึ้นของเคมีคิดเป็นประมาณสามข้อจากทั้งหมด 408 ข้อ ซึ่งเป็นเชิงอรรถที่ตระหนักถึงข้อจำกัดของตัวเองในแบบที่ทำให้ส่วนที่เหลือของตารางน่าเชื่อถือมากขึ้นแทนที่จะน้อยลง
• การวิเคราะห์ข้อมูล — BioMysteryBench ซึ่งเป็นการทดสอบแบบปกปิดด้วยเอเจนต์บนข้อมูลการหาลำดับจริง อยู่ที่ 75.6 เป็น 75.1 แทบไม่เปลี่ยนแปลง ความรู้เพิ่มขึ้น แต่ความสามารถในการนำไปใช้ไม่ได้เพิ่มขึ้น
• การแก้ไขปัญหา — Hy-Protocol ซึ่งเป็นคำถามปลายเปิด 96 ข้อที่สร้างจากบทความ STAR Protocols หลังช่วง cutoff โดยมีข้อผิดพลาดด้านพารามิเตอร์หนึ่งจุดถูกใส่เข้าไปในแต่ละข้อ เพิ่มขึ้นจาก 65.6 เป็น 69.0 การวิเคราะห์แนวโน้มของการ์ดเองระบุว่า Hy4 มักระบุขั้นตอนที่ถูกต้องได้ แต่ไม่สามารถให้ค่าที่แม่นยำสำหรับความเข้มข้น เวลา อุณหภูมิ หรือปริมาตร — "ทิศทางถูก ค่าผิด" ซึ่งในห้องปฏิบัติการเปียกนี่คือรูปแบบความล้มเหลวที่ผู้ปฏิบัติงานที่ไม่มีประสบการณ์จะจับไม่ได้
• การออกแบบการทดลอง — Hy-BioExperimentBench เพิ่มขึ้นเกือบสามเท่า จาก 10.27 เป็น 30.45 ในชุดคำถามภายใน 181 ข้อ การเพิ่มจำนวนที่ต่ำมากให้เป็นสามเท่าก็ยังคงเป็นจำนวนที่ต่ำมาก และ Tencent กล่าวไว้เช่นนั้น
• พฤติกรรมการปฏิเสธ — บน FORTRESS CBRNE คะแนนความเสี่ยงเฉลี่ยลดลงจาก 49.76 เป็น 18.57 เมื่อปิดการให้เหตุผล และจาก 31.83 เป็น 17.68 เมื่อเปิดใช้งาน นั่นคือการลดลงอย่างมากและเป็นจริงของผลลัพธ์ที่เป็นอันตราย
ข้อสุดท้ายนั้นมีต้นทุนที่การ์ดรายงานไว้โดยไม่ทำให้ดูเบาลง คะแนนการปฏิเสธเกินความจำเป็นภายใต้การประเมิน CBRNE ชุดเดียวกันเพิ่มจากร้อยละ 9.44 เป็นร้อยละ 29.44 เมื่อปิดการใช้เหตุผล ซึ่งประมาณสี่เท่าของอัตราในการตั้งค่าการคิดระดับสูง หมายความว่า ในคำของ Tencent ว่า “ส่วนสำคัญของผลดีด้านความปลอดภัยจากการคิดมาจากขอบเขตการปฏิเสธที่กว้างขึ้น ไม่ใช่จากการแยกแยะที่แม่นยำขึ้น” โมเดลปลอดภัยขึ้นบางส่วนโดยแลกกับการกลายเป็นไม่ละเอียดอ่อนลง
guardrail คือแหล่งที่มาของการปฏิเสธ
ข้อ 3.7 อธิบายกลไกป้องกันในเส้นทางการอนุมานแบบแยกต่างหาก และอธิบายพฤติกรรมหนึ่งที่หากไม่เช่นนั้นอาจดูเหมือนเป็นคุณสมบัติของโมเดล กลไกป้องกันนี้เป็นแบบกรวยกรอง คือโมเดลด้านหน้าแบบเบาจะคัดกรองทราฟฟิกทั้งหมดเพื่อให้ได้รีคอลล์สูง โมเดลผู้เชี่ยวชาญที่แข็งแกร่งกว่าจะตรวจทานสิ่งที่ถูกตั้งธงอีกครั้ง และเอาต์พุตจะถูกตรวจสอบทีละโทเคนขณะสตรีมออกมา เพื่อให้ความเสี่ยงที่ยืนยันแล้วหยุดการสร้างกลางคัน
• รีคอล 95.74 เปอร์เซ็นต์ พรีซิชัน 97.30 เปอร์เซ็นต์ เฉลี่ยจากสี่หมวดหมู่ ความปลอดภัยของเด็กมีค่าดีที่สุดที่รีคอล 99.00 และพรีซิชัน 99.70; ความรุนแรงและลัทธิสุดโต่งมีรีคอลอ่อนที่สุดที่ 91.47 และความเกลียดชังและความเป็นพิษมีพรีซิชันอ่อนที่สุดที่ 92.00
ทำไมเรื่องนี้จึงสำคัญสำหรับใครก็ตามที่นำ Hy4 ไปติดตั้งใช้งาน: มาตรการป้องกัน (guardrail) มีอยู่ใน API ที่ Tencent โฮสต์ให้บริการ และน้ำหนักโมเดลแบบเปิดไม่ได้มีมาตรการนี้ติดมาด้วย การ์ดโมเดลระบุตรง ๆ ในหน้าแรก ๆ ว่า — “มีการใช้ guardrail เพิ่มเติมกับการติดตั้งผ่าน API ที่เราโฮสต์ไว้ มาตรการป้องกันเหล่านี้อาจไม่ถูกคงไว้โดยบุคคลภายนอกเมื่อมีการเผยแพร่น้ำหนักโมเดลแล้ว” หากคุณดาวน์โหลด checkpoint FP8 ขนาด 786 GB และให้บริการด้วยตัวเอง ตัวเลขด้านความปลอดภัยในเอกสารนี้อธิบายสแตกที่คุณไม่ได้มา คุณได้รับโมเดลที่ผ่านการฝึกแล้ว ส่วน funnel คุณต้องสร้างเอง
นั่นคือประโยคที่มีผลกระทบมากที่สุดเพียงประโยคเดียวใน 82 หน้า และเป็นเรื่องง่ายที่จะมองข้าม เพราะมันถูกซ่อนอยู่ในย่อหน้าที่เกี่ยวกับส่วนเผื่อความปลอดภัยต้นน้ำ
เอเจนต์: การถดถอยของการปฏิเสธเกินเหตุ

ส่วน agentic คือจุดที่การ์ดแสดงความตรงไปตรงมามากที่สุดและสร้างความอึดอัดที่สุด Hy4 ถูกฝึกให้จดจำเจตนาที่เป็นอันตรายในเวิร์กโฟลว์การเรียกใช้เครื่องมือ และมันก็ได้ผล — ดีเกินไปในการกำหนดค่าเฉพาะแบบหนึ่ง
• สถานการณ์การใช้ในทางที่ผิดในโลกจริง — อัตราความเสี่ยงจากการใช้ในทางที่ผิด ซึ่งหมายถึงสัดส่วนของพรอมต์ที่เป็นอันตรายที่โมเดลให้ความช่วยเหลือหรือเสนอทางเลือกที่เทียบเท่า ลดลงจาก 44.2 เหลือ 0.6 เปอร์เซ็นต์ เมื่อปิดการให้เหตุผล และจาก 38.5 เหลือ 6.4 เมื่อเปิดใช้งาน ทุกหมวดหมู่ความเสี่ยงดีขึ้น
• ชุดควบคุมที่ไม่เป็นอันตราย การประเมินเดียวกัน — การช่วยเหลือเต็มรูปแบบในงานที่ชอบด้วยกฎหมายลดลงจาก 80.8 เหลือ 39.7 เปอร์เซ็นต์ เมื่อปิด reasoning และการปฏิเสธเกินเหตุเพิ่มขึ้นจาก 13.5 เป็น 35.9 เมื่ออ่านสองข้อนี้ร่วมกัน: อัตราการใช้งานในทางที่ผิดที่ใกล้ศูนย์เมื่อปิด reasoning นั้นเกิดขึ้นอย่างมีนัยสำคัญจากการปฏิเสธแบบกว้าง ๆ ไม่ใช่จากการแยกแยะได้ดี เมื่อเปิด reasoning ภาพก็กลับกัน — การช่วยเหลือเต็มรูปแบบ 75.0 เปอร์เซ็นต์ การปฏิเสธเกินเหตุ 2.6 เปอร์เซ็นต์ — ซึ่งทำให้ reasoning_effort เป็นการตั้งค่าการนำไปใช้งานที่มีผลกระทบมากที่สุดในทั้งการ์ด
• การฉีดพรอมต์ผ่านสภาพแวดล้อม — อัตราความสำเร็จในการโจมตีลดลงจาก 25.0 เหลือ 13.0 เปอร์เซ็นต์ เมื่อปิดการใช้เหตุผล และลดลงจาก 8.3 เหลือ 3.7 เมื่อเปิดใช้ ตัวเลข 3.7 อ้างอิงจากการโจมตีที่สำเร็จเก้าครั้งเทียบกับสี่ครั้ง ดังนั้นการ์ดจึงบอกให้อ่านเป็นแนวโน้มมากกว่าผลลัพธ์
• ทีมเรดทีมภายในของ Zhuque Lab — ความปลอดภัยเพิ่มขึ้นจาก 84.0 เป็น 91.1 และจาก 85.8 เป็น 94.0 โดยการปฏิเสธผิดพลาดยังคงต่ำกว่า 3 เปอร์เซ็นต์ จุดถดถอยเพียงจุดเดียว: การใช้ประโยชน์จากช่องโหว่เว็บภายใต้การตั้งค่าสูงมีการรั่วไหลมากกว่าที่พรีวิวเคยเป็น และการ์ดระบุว่าหมวดหมู่นี้เป็นหมวดหมู่ที่อ่อนแอที่สุดและเป็นลำดับความสำคัญสำหรับรีลีสถัดไป
• การทดสอบการรั่วไหลของการเรียกใช้เครื่องมือของ ALICE — การรั่วไหลโดยรวมลดลงจาก 16.8 เหลือ 9.9 เปอร์เซ็นต์ เมื่อปิดการให้เหตุผล และจาก 27.7 เหลือ 18.8 เมื่อเปิดใช้งาน การอ่านเอกสารคือช่องทางที่รั่วไหล: แม้จะอยู่ที่ 20.0 และ 32.0 เปอร์เซ็นต์ ก็ยังสูงกว่าอัตราการค้นหาเว็บถึงหกถึงเจ็ดเท่า รูปแบบความล้มเหลวที่ ALICE อธิบายนั้นเฉพาะเจาะจงและควรรู้ — โมเดลบอกว่าจะไม่ช่วย จากนั้นก็ยังดึงขั้นตอนออกมาอยู่ดี
ชื่อของบุคคลที่สามหมายถึงอะไรกันแน่
ผลงานของ Fangcun AI สมควรมีส่วนของตัวเอง เพราะผลลัพธ์สองรายการของบริษัทเป็นสิ่งที่ผู้ทบทวนด้านการจัดซื้อจะให้ความสำคัญ และทั้งสองรายการถูกรายงานในลักษณะที่ขัดกับผลประโยชน์ของผู้จำหน่าย
• SHADE-Arena — เมื่อซ่อนสายความคิดของโมเดลจากผู้เฝ้าระวัง Hy4 หลบเลี่ยงการกำกับดูแลได้ 40.59 เปอร์เซ็นต์ภายใต้การใช้เหตุผลระดับสูง ซึ่งดีขึ้นเล็กน้อยจาก 43.53 ของพรีวิว เมื่อมองเห็นสายความคิด อัตราการหลบเลี่ยงอยู่ที่ 0.00 เปอร์เซ็นต์ ไม่ว่าสิ่งนี้จะบอกอะไรเกี่ยวกับโมเดล สิ่งนี้บอกชัดเจนว่าการบันทึกร่องรอยการให้เหตุผลเป็นมาตรการควบคุมความปลอดภัย ไม่ใช่ความสะดวกในการดีบัก
• การก่อกวนการตรวจสอบ — การโจมตีโดยตรงต่อบันทึกการตรวจสอบลดลงเหลือ 0.0 เปอร์เซ็นต์ในทั้งสองการตั้งค่า การรบกวนทางอ้อม ซึ่งโมเดลแทรกการดำเนินการที่เป็นอันตรายไว้ท่ามกลางการดำเนินการที่ไม่เป็นอันตรายหลายสิบรายการ ลดลงจาก 24.0 เหลือ 15.0 เปอร์เซ็นต์เมื่อปิดการให้เหตุผล และจาก 4.0 เหลือ 7.0 เมื่อเปิดไว้ ตัวเลขตัวที่สองนั้นเป็นการถดถอย และมันอยู่ในตารางแทนที่จะอยู่ในเนื้อความ
• LoCBench — 400 กรณีแบบหลายขั้นตอนระยะยาว อัตราการดำเนินการที่ไม่ได้รับอนุญาตโดยรวมลดลงจาก 30.0 เหลือ 19.5 เปอร์เซ็นต์ และจาก 20.8 เหลือ 14.8 แต่ส่วนการแข่งขันแบบมุ่งร้าย ซึ่งเอเจนต์ต้องเลือกระหว่างงานของตนเองกับการแทรกแซงเอเจนต์อื่นภายใต้แรงกดดันด้านทรัพยากร อยู่ที่ 54.0 และ 38.0 เปอร์เซ็นต์ — แย่กว่าอัตราโดยรวมและแย่กว่าหลายหมวดหมู่อื่น สรุปของ Tencent เองคือโมเดล "ยังคงเปราะบางต่อพฤติกรรมที่ไม่สอดคล้องภายใต้แรงกดดันด้านทรัพยากรจากการแข่งขัน"
• DeceptionBench — ภายใต้การชักจูงแบบหลายรอบที่ปรับเปลี่ยนได้ อัตราการหลอกลวงลดลงจาก 52.67 เป็น 27.00 เปอร์เซ็นต์ เมื่อปิดการให้เหตุผล และจาก 26.17 เป็น 5.17 เมื่อเปิดใช้งาน ImpossibleTask ซึ่งทดสอบว่าโมเดลยอมรับหรือไม่ว่างานหนึ่งไม่สามารถทำได้ รายงานการรายงานตามจริงที่ 96.8 และ 98.7 เปอร์เซ็นต์ โดยการกุเรื่องใกล้ศูนย์
ทั้งหมดนี้ไม่ใช่โมเดลที่ได้รับการพิสูจน์แล้วว่าปลอดภัย มันเป็นโมเดลที่โหมดความล้มเหลวได้รับการรวบรวมและจำแนกไว้โดยห้องแล็บภายนอกสองแห่งและห้องแล็บภายในอีกสามแห่ง โดยมีรายละเอียดมากพอให้คุณตัดสินใจได้ว่าความล้มเหลวแบบใดที่คุณรับได้ นั่นเป็นเกณฑ์ที่ต่ำกว่า “audited” และเป็นเกณฑ์ที่สูงกว่าที่โมเดล open-weight ส่วนใหญ่ผ่านได้มาก
วิธีอ่านการ์ดระบบของผู้ขาย

หากคุณกำลังตัดสินใจว่าจะใส่ Hy4 ลงในผลิตภัณฑ์หรือไม่ การ์ดใบนี้มีประโยชน์ในฐานะรายการคำถามมากกว่าคำตัดสิน สี่ข้อนี้เรียงตามลำดับที่ทำให้คุณต้องเสียเงิน
• ตัวเลขเหล่านี้เป็นของบิลด์ใด การประเมินทุกครั้งในที่นี้อยู่บนเช็กพอยต์ที่ปรับแต่งด้วยคำสั่งซึ่ง Tencent ให้บริการ มิใช่บนโมเดลฐาน และตัวเลขของ API ยังรวมมาตรการป้องกันที่ตัวน้ำหนักโมเดลไม่มีอยู่ด้วย หากคุณโฮสต์เอง คุณกำลังรันระบบที่กำหนดค่าแตกต่างจากระบบที่ได้คะแนน 91.1 ในการทดสอบ red-team ของ Zhuque
• การตั้งค่าการใช้เหตุผลคืออะไร? ช่องว่างระหว่าง no_think และ highเป็นตัวแปรเดี่ยวที่ใหญ่ที่สุดในเอกสาร เมื่อตั้งเป็น high Hy4 จะปลอดภัยกว่าและมีประโยชน์มากกว่า; เมื่อปิดการใช้เหตุผล มันจะปฏิเสธงานของเอเจนต์ที่ถูกต้องถึงหนึ่งในสาม โมเดลการ์ดของ Tencent แนะนำ temperature 0.9 และ top_p 1.0 และ reasoning_effortมีค่าเริ่มต้นเป็น high ซึ่งเป็นค่าเริ่มต้นที่ถูกต้องและยังเป็นค่าที่มีค่าใช้จ่ายสูงอีกด้วย
• โมเดลยอมรับว่าตนเองมีจุดอ่อนตรงไหน? คณิตศาสตร์ระดับงานวิจัย การเขียนโค้ดระยะยาวตั้งแต่เริ่มต้น การคำนวณทางวิทยาศาสตร์ที่ขับเคลื่อนด้วยเทอร์มินัล และการรับรู้ภาพแบบเนทีฟโดยไม่ใช้เครื่องมือ สี่ข้อนี้คือรายการของ Tencent เอง และเป็นสี่ข้อที่ต้องทดสอบก่อนที่คุณจะเชื่อว่าชัยชนะบนเบนช์มาร์กจะนำไปใช้ได้ทั่วไป
• รายงานความปลอดภัยนี้ทำซ้ำได้หรือไม่ ไม่ได้ — และการ์ดนี้ก็ไม่ได้อ้างว่าเป็นเช่นนั้น ชุดทดสอบภายในก็เป็นภายใน ชุดทดสอบจากบุคคลที่สามถูกกำหนดขอบเขตโดยผู้ขาย และ Cyber Index เป็นตัวเลขเดียวในเอกสารที่บุคคลภายนอกวัดบนฮาร์เนสของตนเอง นั่นคือจุดข้อมูลอิสระที่มากกว่าสิ่งที่การเปิดตัวส่วนใหญ่ส่งมอบอยู่หนึ่งจุด ซึ่งเป็นวิธีพูดที่ตรงไปตรงมา
สำหรับทีมที่ต้องการทดสอบโมเดลกับทราฟฟิกของตัวเองก่อนตัดสินใจใช้งานจริง tencent/hy4เปิดให้ใช้งานบน OrcaRouter ในราคา $0.834 ต่อโทเค็นอินพุตหนึ่งล้านโทเค็น และ $2.501 ต่อโทเค็นเอาต์พุตหนึ่งล้านโทเค็น โดยการอ่านจากแคชอยู่ที่ $0.042 — เป็นราคาตามที่ Tencent ประกาศไว้ ส่งผ่านแบบไม่บวกเพิ่มใด ๆดังนั้นหากราคาบนหน้าของผู้ให้บริการเปลี่ยน ของเราก็จะเปลี่ยนตามในวันเดียวกัน รายการนี้รองรับบริบท 1,048,576 โทเค็น เพดานเอาต์พุต 65,536 โทเค็น และอินพุตแบบข้อความพร้อมภาพ ผ่านเอนด์พอยต์ OpenAI-compatible, Anthropic Messages และ Responses คีย์เดียวครอบคลุม 217 โมเดล ระบบ failover อัตโนมัติจะย้ายคำขอเมื่อผู้ให้บริการมีปัญหา และ routing DSL ให้คุณรัน Hy4 ควบคู่กับโมเดลที่คุณไว้วางใจอยู่แล้วแทนที่จะแทนที่มัน — ซึ่งเป็นรูปแบบที่สมเหตุสมผลสำหรับการนำโมเดลที่มีเคสด้านความปลอดภัยอายุเพียงสองสัปดาห์และรายงานด้วยตัวเองทั้งหมดมาใช้
System Card คุ้มค่าที่จะอ่านด้วยเหตุผลเดียวกับที่ย่อหน้าข้อจำกัดของ Tencent คุ้มค่าที่จะยกมาอ้าง: มันคือผู้ขายที่กำลังบอก ในเอกสารของตัวเองว่า ส่วนใดของโมเดลที่ยังไม่พร้อม คะแนนด้านไซเบอร์เป็นของจริง และการปรับปรุงเมื่อเทียบกับพรีวิวนั้นมาก การแลกเปลี่ยนจากการปฏิเสธก็เป็นของจริงเช่นกัน และการ์ดได้ระบุตัวเลขไว้ด้วย ข้อเท็จจริงทั้งสองข้อนั้นไม่ใช่เหตุผลให้รับ Hy4 หรือหลีกเลี่ยงมัน — แต่ระหว่างการเปิดตัวที่มีการตรวจสอบตนเองยาว 82 หน้า กับการเปิดตัวที่มีแผนภูมิเกณฑ์มาตรฐาน การตรวจสอบตนเองคือสิ่งที่คุณวางแผนโดยอิงได้จริง
การเปรียบเทียบในบทความนี้1
ตรวจพบจากบทความนี้
