Kimi K3.1 Pro tự cắt giảm năng lực an ninh mạng của mình 9,5 điểm. Hai phòng thí nghiệm còn lại đã chọn hướng khác.

Moonshot đã làm một việc vào ngày 24 tháng 10 mà các phòng thí nghiệm thường không làm: họ phát hành một mô hình yếu hơn mô hình mà họ có thể đã phát hành, và công bố chi phí chính xác. Trên xdev-bench-hard với pass@3, một checkpoint được huấn luyện mà không có các biện pháp giảm thiểu rủi ro không gian mạng của công ty đạt 90,5%. Kimi K3.1 Pro, mô hình mà bạn có thể gọi, đạt 81,0%. Khoảng cách 9,5 điểm chính là cái giá của việc loại bỏ dữ liệu liên quan đến không gian mạng khỏi giai đoạn huấn luyện giữa và khỏi học tăng cường, và đó là tuyên bố rõ ràng nhất mà bất kỳ phòng thí nghiệm tiên phong nào trong ba phòng thí nghiệm đưa ra trong năm nay về những gì họ sẵn sàng đánh đổi để có năng lực.

Hiện mỗi lab lớn đều có chính sách an ninh mạng. Chúng khác nhau về cơ chế chứ không phải về ý định, và cơ chế quyết định thứ bạn thực sự nhận được khi gọi API. Moonshot trừ khả năng khỏi trọng số. Anthropic chuyển hướng yêu cầu sang một mô hình khác. OpenAI kiểm soát quyền truy cập đằng sau một xếp hạng rủi ro. Đối với một nhóm bảo mật — hoặc bất kỳ ai có khối lượng công việc chạm tới công cụ tấn công — ba cách tiếp cận này tạo ra ba kiểu bất ngờ khác nhau.

Những gì Moonshot đã loại bỏ và những gì nó giữ lại

Tài liệu ra mắt đặc biệt cụ thể một cách bất thường. Dữ liệu liên quan đến không gian mạng đã bị loại bỏ khỏi cả giai đoạn huấn luyện trung gian lẫn giai đoạn học tăng cường, trong khi các tác vụ lập trình tổng quát vẫn được giữ lại. Nguyên tắc được công bố của công ty là không phát hành trọng số mở có thể mở rộng ranh giới tuyệt đối của năng lực không gian mạng, và công ty mô tả năng lực tấn công của mô hình được phát hành là "theo thiết kế, thấp hơn những gì quy trình của chúng tôi có thể tạo ra" và đi sau những gì các mô hình độc quyền tiên phong đã công khai cung cấp trong ít nhất ba tháng.

Hai chi tiết trong chính sách đó quan trọng hơn con số được nêu ở tiêu đề.

Đầu tiên là mức giảm này là tương đối so với pipeline của chính Moonshot, không phải so với thị trường. Một mô hình bị giới hạn ở 81,0% vẫn đạt điểm cao hơn 33,3% của Kimi K3 với khoảng cách lớn, và cao hơn 57,1% của GLM-5.3 trên cùng một benchmark. Mức trần này đưa một mô hình tiên phong xuống thấp hơn, chứ không loại nó ra khỏi nhóm.

Điều thứ hai là Moonshot nói rằng họ sẽ “nâng dần” năng lực mạng có sẵn trong các trọng số mở. Đó là một lộ trình, không phải một giới hạn cố định: các đánh giá giả định mức trần hôm nay có thể sẽ không còn đúng ở bản phát hành tiếp theo, và một bản sao tự triển khai sẽ kế thừa bất kỳ mức trần nào đã tồn tại vào ngày phát hành của nó.

Benchmark thực sự yêu cầu điều gì

Tài liệu của Moonshot mô tả đánh giá đủ chi tiết để đánh giá nó. xdev-bench-hard được xây dựng từ các lỗ hổng mới được công bố gần đây trong phần mềm bao gồm nhân Linux, Node.js, JavaScriptCore, Exim và VirGL, với các biện pháp giảm thiểu được bật. Mỗi tác vụ cung cấp mã nguồn dễ bị tổn thương, một gợi ý lỗi ngắn và tệp nhị phân đã biên dịch; tác nhân phải phát triển một khai thác, đạt được thực thi mã tùy ý trong một sandbox riêng biệt và truy xuất một chuỗi bí mật để kết quả có thể được xác minh tự động. Điểm số là pass@3 trên một tập con ngẫu nhiên, không có thời gian chờ cứng và không có giới hạn token đầu ra.

Đó là một bài kiểm tra khắt khe và hẹp: nó đo xem một mô hình có thể biến một tệp nhị phân đã biết có lỗ hổng thành một khai thác hoạt động được hay không, chứ không đo xem nó có thể viết một trình quét hay phân loại một cảnh báo hay không. Vì vậy, khoảng cách 9,5 điểm giữa checkpoint chưa được giảm thiểu và mô hình đã phát hành là một phép đo thực sự về một khác biệt năng lực thực sự — và là lời nhắc rằng con số đó nói rất ít về công việc phòng thủ mà hầu hết các nhóm thực sự làm với mô hình.

Giải pháp thay thế của Anthropic: giữ nguyên năng lực, thay đổi câu trả lời

Cách tiếp cận của Anthropic đối với Claude Opus 5.5 là định tuyến phía máy chủ. Tài liệu của hãng cho biết hầu hết các tác vụ liên quan đến an ninh mạng có thể được định tuyến lại sang Claude Opus 4.8, còn công việc về sinh học và phát triển mô hình tiên phong có thể được chuyển dự phòng sang Claude Opus 5. Người gọi không nhận được lỗi; phản hồi chỉ đơn giản đến từ một mô hình khác. Bậc năng lực cao nhất, Claude Mythos 5.1, chỉ khả dụng cho các tổ chức được xác minh thông qua những chương trình như Cyber Verification Program.

Sự đánh đổi này ngược lại với của Moonshot. Năng lực tiên phong vẫn tồn tại và được cung cấp — cho khách hàng đã xác minh, dưới một ID mô hình khác — trong khi những người gọi chưa xác minh âm thầm nhận được câu trả lời của một mô hình cũ hơn. Đối với một nhóm bảo mật trong một tổ chức đã xác minh, đây là lựa chọn có năng lực nhất trong ba lựa chọn. Với bất kỳ ai ở ngoài một tổ chức như vậy, đây là một mô hình lặng lẽ trả lời bằng thứ gì đó khác đúng ở những tác vụ mà họ mong muốn năng lực tiên phong nhất.

Cách tiếp cận của OpenAI: hãy quyết định trước khi phát hành

GPT-6 Astra là mô hình đầu tiên của OpenAI được xếp hạng "critical" theo Preparedness Framework của công ty, vì nó có thể tự tìm ra các lỗ hổng bảo mật mới. Việc triển khai được thực hiện theo từng giai đoạn — đối tác truy cập sớm, sau đó là các gói đăng ký, rồi đến API — và các năng lực rủi ro cao nhất bị hạn chế theo xếp hạng chứ không phải bằng lọc prompt. Quyền truy cập được quyết định ở cấp tài khoản, trước khi bất kỳ yêu cầu nào được đưa ra.

Điều đó rõ ràng hơn một lần chuyển hướng âm thầm và chậm hơn cả hai phương án thay thế. Nó cũng có nghĩa là câu trả lời cho câu hỏi "liệu tôi có thể dùng mô hình này cho công việc bảo mật của mình không" có thể biết trước, điều này có giá trị nhất định đối với người mua phải viết tài liệu mua sắm.

Ba chiến lược này tác động đến một đánh giá như thế nào

Nếu bạn đánh giá các mô hình trên các tác vụ bảo mật, các cơ chế này làm sai lệch phép đo theo những cách khác nhau, và những sai lệch đó không triệt tiêu lẫn nhau.

• Giới hạn của Moonshot nằm trong trọng số. Một lần chạy benchmark trên API và một lần chạy benchmark trên bản tự lưu trữ phải cho kết quả khớp nhau, và cả hai đều đo một mô hình cố ý kém hơn ở hạng mục đó. Con số này là trung thực và có thể tái lập.

• Định tuyến của Anthropic nằm bên trong ngăn xếp phục vụ. Cùng một yêu cầu có thể tạo ra chất lượng khác nhau tùy thuộc vào việc nó có kích hoạt cơ chế bảo vệ hay không, và số liệu benchmark đã công bố của nhà cung cấp có thể không phản ánh định tuyến mà tài khoản của bạn nhận được. Phần đưa tin của chúng tôi về bảng benchmark của Opus 5.5 cũng đã chỉ ra vấn đề tương tự từ chiều ngược lại: con số độc lập của Artificial Analysis cho Terminal-Bench là 59,6% so với 66,4% của Anthropic, trong một cấu hình có bao gồm định tuyến bảo vệ phía máy chủ.

• Cơ chế kiểm soát quyền truy cập của OpenAI nằm ngoài mô hình. Khi bạn đã có quyền truy cập, mô hình sẽ hoạt động đúng như kết quả đánh giá chuẩn; nếu không, bạn hoàn toàn không thể chạy so sánh.

Điều mà một nhóm bảo mật nên rút ra từ vấn đề này

Ba kết luận thực tiễn, theo thứ tự độ tin cậy.

Đầu tiên, “năng lực không gian mạng” không còn là một thuộc tính bạn có thể đọc thẳng ra từ thẻ mô hình. Nó là một hàm của trọng số bạn nhận được, định tuyến mà tài khoản của bạn kích hoạt và chương trình xác minh mà bạn thuộc về. Bất kỳ đánh giá nào không nêu rõ cả ba yếu tố này đều đang đo một thứ khác.

Thứ hai, nếu công việc của bạn mang tính phòng thủ — phân loại, soạn bản vá, kỹ thuật phát hiện — thì giới hạn năng lực gây tốn kém ít hơn vẻ ngoài của nó. 9,5 điểm đó tập trung vào hành vi đối kháng, cận khai thác; còn khả năng lập trình và sử dụng công cụ nói chung của mô hình — vốn là thứ công việc phòng thủ chủ yếu cần — chính là phần được đợt hậu huấn luyện dành công sức cải thiện. Moonshot báo cáo rằng Kimi Code Bench 3.0 ở tầm dài đã tăng từ 55,95% lên 61,2% trong cùng bản phát hành.

Thứ ba, các giới hạn đang thay đổi. Moonshot đã nói sẽ nâng mức trần của mình; các chương trình xác minh của Anthropic đang mở rộng; xếp hạng của OpenAI thay đổi giữa các mô hình. Một chính sách đã định hướng quyết định triển khai vào tháng 10 có thể sai vào tháng 1, đó là lý do để đọc lại tài liệu truy cập ở mỗi lần nâng cấp mô hình thay vì coi đó là cổng một lần.

Kimi K3.1 Pro có thể được gọi qua OrcaRouter với giá $2.00 mỗi triệu token đầu vào và $10.00 mỗi triệu token đầu ra, với cùng một kết cục như ở mọi nơi khác: giới hạn nằm trong trọng số, chứ không nằm ở việc một nhà cung cấp cụ thể làm gì với yêu cầu của bạn. Nếu khối lượng công việc của bạn phụ thuộc vào việc biết mô hình nào thực sự đã trả lời, thì đó là một tính năng. Nếu nó phụ thuộc vào trần năng lực tấn công của mô hình tiên tiến, không API nào trên thị trường sẽ cung cấp điều đó cho bạn mà không có một chương trình xác minh.