Mô hình Cyber là gì? Hạng mục này, và điều nó thực sự thay đổi

Ba sản phẩm được gọi là "mô hình mạng" mỗi tuần và chúng gần như không có điểm gì chung. Một là mô hình tổng quát với các kho ngữ liệu bảo mật trong hỗn hợp huấn luyện. Một là mô hình thông thường được bọc trong một vòng lặp cấp cho nó sandbox, fuzzer và các lần thử lại. Một là cùng mô hình như của mọi người khác, nằm sau một biểu mẫu xác minh. Chỉ cái đầu tiên trong số đó là một mô hình khác. Hai cái còn lại là các quyết định sản phẩm — trong một số trường hợp là những quyết định tốt — và chúng được tiếp thị bằng cùng một cụm từ, đó là lý do danh mục này khó so sánh. Một bảng benchmark không nói rõ nó đã đo cái nào trong ba loại thì không thể so sánh với một bảng có nói rõ, và hầu hết các bảng đều không nói. Đây là hướng dẫn về sự khác biệt, về số ít mô hình thực sự thuộc nhóm đầu tiên, và về việc một nhóm bảo mật nên làm gì với câu trả lời. Đây cũng là góc nhìn danh mục nằm đằng sau 400 sự cố tác nhân được ghi nhận trong Kho lưu trữ sự cố AI, nơi câu hỏi "mô hình là vấn đề hay việc triển khai là vấn đề" xuất hiện liên tục.

Ba điều mà cụm từ này bao hàm

Bắt đầu với khác biệt quan trọng về mặt vận hành: điều gì đã thay đổi khi nhà cung cấp xây dựng thứ đó.

Được huấn luyện cho bảo mật nghĩa là các trọng số đã thay đổi. Các tập dữ liệu bảo mật đã được đưa vào hỗn hợp huấn luyện, mô hình nền thường là một mô hình đa dụng vốn đã mạnh, và mô hình thu được khác biệt một cách có thể đo lường ở những tác vụ mà kiến thức bảo mật là nút thắt cổ chai — đọc một bản crash, lập luận về bố cục bộ nhớ, nhận diện một mẫu có lỗ hổng trong một diff lớn. Các mô hình trong nhóm này thường được báo cáo dựa trên các bộ đánh giá chuyên về bảo mật như CyberGym hoặc CyberSecEval, và chúng có thể là open-weight hoặc chỉ API.

Được bọc trong một harness nghĩa là vòng lặp đã thay đổi còn mô hình thì không. Nhà cung cấp đã thêm một sandbox, các công cụ, logic thử lại, một planner, có thể là một fuzzer, và xây dựng một hệ thống hoạt động tốt ở các nhiệm vụ bảo mật vì hệ thống được thiết kế kỹ lưỡng. Đây là một sản phẩm chính đáng và thường bị đánh giá thấp. Đây cũng là hạng mục mà điểm số trở nên mơ hồ, vì con số thuộc về harness cũng nhiều như thuộc về mô hình — và harness không phải là thứ bạn có thể hoán đổi một cách độc lập.

Được kiểm soát bằng quyền truy cập có nghĩa là cánh cửa đã thay đổi. Mô hình có thể giống hệt một mô hình công khai; điều khác biệt là bạn phải là doanh nghiệp đã được xác minh, thực hiện công việc được ủy quyền, theo các điều khoản hạn chế sử dụng. Đây là một sản phẩm chính sách, và là một sản phẩm có thể biện hộ được, nhưng không có tuyên bố nào về năng lực đi kèm từ đó. Một mô hình nguy hiểm trong tay kẻ xấu và an toàn trong tay người đúng đắn không trở nên có năng lực hơn; nó trở nên được kiểm soát hơn.

Hệ quả thực tế: khi bạn đọc rằng một mô hình nào đó là “một mô hình cyber”, câu hỏi tiếp theo là nó thuộc loại nào trong ba loại, vì câu trả lời quyết định việc bạn đang mua năng lực, kỹ thuật hay quyền hạn — và những thứ đó có mức giá và kiểu thất bại khác nhau.

Tại sao danh mục này lại tồn tại ngay từ đầu

Công việc bảo mật đặc biệt nhạy cảm với hai thuộc tính mà các mô hình tổng quát thể hiện không nhất quán: lý luận ngữ cảnh dài trên đoạn mã vốn không được viết để đọc, và mức độ sẵn sàng mô tả một cuộc tấn công đủ chi tiết để hữu ích. Thuộc tính thứ nhất là một câu hỏi về năng lực và là lý do các mô hình trong nhóm này có xu hướng quảng cáo cửa sổ ngữ cảnh ở mức hàng trăm nghìn hoặc hàng triệu token. Thuộc tính thứ hai là một câu hỏi về an toàn, và đó là lý do hạng mục này gắn chặt với kiểm soát truy cập.

Một mô hình lập luận tốt về một codebase nhưng từ chối viết một bản chứng minh khái niệm hoạt động được thì vô dụng cho việc phân loại sự cố, vì bản chứng minh khái niệm chính là bằng chứng. Một mô hình tự do viết các bản chứng minh khái niệm thì hữu ích cho người phòng thủ và cũng hữu ích không kém cho một người không phải là người phòng thủ. Các mô hình được tinh chỉnh cho an ninh mạng, trên thực tế, là một nỗ lực giải quyết căng thẳng đó bằng cách thu hẹp ai được phép hỏi thay vì thu hẹp cái gì được phép trả lời — một thiết kế mạch lạc và khó thực thi ở tầng mô hình, vì việc thực thi là một quy trình xác minh chứ không phải một thay đổi trọng số.

Nơi năng lực thực sự được tranh luận

Những lợi thế được tuyên bố của các mô hình tinh chỉnh cho an ninh mạng là cụ thể và có thể kiểm chứng, một điều mới mẻ trong một lĩnh vực thường tranh luận bằng tính từ. Những lợi thế lặp lại là khả năng nạp ngữ cảnh dài của toàn bộ kho mã hoặc nhật ký kiểm toán trong một lượt, đầu ra có cấu trúc để dùng trong pipeline, và gọi công cụ hoặc hàm đủ ổn định để nằm trong một quy trình tự động. Đó là những tuyên bố kỹ thuật cũng như tuyên bố về mô hình, và có thể kiểm thử với chính kho dữ liệu của bạn trong một buổi chiều.

Phía đánh giá đã phát triển các thiết chế của riêng mình. Wiz Research vận hành Cyber Model Arena, nơi đánh giá các tác nhân AI gồm một mô hình nền tảng cộng với một harness chuẩn trên các tác vụ an ninh mạng thực tế, và báo cáo chất lượng mô hình so với hiệu quả — tỷ lệ thành công được vẽ theo chi phí, thời gian hoặc số bước mỗi lần giải trên k lần thử độc lập. Cách đóng khung đó đáng được áp dụng nguyên vẹn, vì nó nắm bắt được điều mà một tỷ lệ đạt thô che giấu: hai tác nhân có thể đạt cùng tỷ lệ thành công với chi phí mỗi lần giải rất khác nhau, và tác nhân đắt hơn thường là tác nhân đã dành ngân sách của mình cho các lần thử lại.

Hãy để ý điều mà cách xây dựng đó hàm ý. Đó là một benchmark của các agent, không phải model — foundation model cộng với harness — và đó chính xác là sự mơ hồ mà hạng mục này mang. Arena trung thực về điều đó bằng cách nêu tên harness trong định nghĩa. Phần lớn các bài đăng ra mắt thì không.

Cổng truy cập, và lý do nó là ranh giới thực sự của danh mục

Nếu bạn nhìn vào cách các mô hình được tinh chỉnh cho lĩnh vực an ninh mạng thực sự được cung cấp, cổng xác minh còn mang tính quyết định hơn bất kỳ con số đánh giá chuẩn nào, bởi vì nó quyết định ai mới có thể thực hiện đánh giá ngay từ đầu. Mô thức này nhất quán: một bước xác minh doanh nghiệp, các điều khoản giới hạn việc sử dụng cho công việc an ninh được cấp phép, và một chính sách sử dụng được chấp nhận mà quyền truy cập được ghi log theo đó.

Có hai chi tiết thiết kế trong mô hình đó đáng để học hỏi ngay cả khi bạn không bao giờ mua một mô hình an ninh mạng. Đầu tiên là xác minh doanh nghiệp thay vì tự chứng nhận, bởi vì một ô đánh dấu không phải là cơ chế trách nhiệm giải trình. Điều thứ hai là đặt cổng kiểm soát cùng vị trí với các kiểm soát thời gian chạy — chính cổng chứa mô hình cũng chứa tường lửa, các rào chắn và ghi nhật ký, để quyền hạn và việc thực thi nằm ở một nơi. Một cổng xác minh nằm trên một hệ thống khác với lưu lượng truy cập là một cổng mà bạn không thể kiểm toán.

Tầng an ninh mạng của chính chúng tôi cũng theo hình thái đó: mô hình cho công việc tấn công, cơ chế kiểm soát cổng cho công việc phòng thủ, và xác minh đặt trước cả hai. Đây cũng là câu trả lời trung thực cho câu hỏi “tôi có thể chỉ gọi mô hình này không” — với tầng tấn công, câu trả lời là quyền truy cập là quyết định mà ai đó đưa ra về bạn, chứ không phải một trường trong yêu cầu API.

Có những mẫu cyber nào và làm thế nào để phân biệt chúng?

Tập hợp này đủ nhỏ để bạn có thể nắm hết trong đầu, và nó được phân chia theo ba hạng mục ở trên thay vì theo nhà cung cấp.

• Các mô hình được tinh chỉnh thực sự về an ninh mạng. Được huấn luyện bằng dữ liệu chuyên sâu về bảo mật, thường được báo cáo trên CyberGym hoặc CyberSecEval, với khác biệt đo lường được trong các tác vụ đọc sự cố và viết bản vá. Một số có trọng số mở, giúp có thể đánh giá cục bộ; một số chỉ có API đang trong quá trình xác minh.

• Các mô hình tổng quát có hành vi bảo mật mạnh mẽ. Những mô hình tiên phong tình cờ làm tốt công việc mà không cần được tinh chỉnh cho việc đó. Thường là lựa chọn đúng đắn cho đội phòng thủ, vì cùng một mô hình cũng đảm nhận phần còn lại của công việc.

• Sản phẩm agent. Một mô hình cộng với một vòng lặp chuyên biệt về bảo mật — sandbox, fuzzer, planner — được bán như một hệ thống. Hãy đánh giá chúng dựa trên chi phí cho mỗi lần giải và việc vòng lặp làm gì khi thất bại, chứ không dựa trên điểm chuẩn của mô hình.

• Các phiên bản có kiểm soát truy cập của những mục trên. Cùng những mô hình đó, nhưng bị hạn chế quyền truy cập. Cơ chế kiểm soát thay đổi ai có thể sử dụng chúng, chứ không thay đổi những gì chúng có thể làm.

Phép so sánh thực sự quan trọng đối với một đội bảo mật hiếm khi là mô hình với mô hình. Mà là liệu công việc bạn cần hoàn thành bị ràng buộc bởi kiến thức hay bị ràng buộc bởi vòng lặp. Đọc một báo cáo đánh giá và lý luận về một chuỗi khai thác là bị ràng buộc bởi kiến thức và phù hợp với một mô hình đã được tinh chỉnh. Chạy một fuzzer trong sáu giờ và phân loại các sự cố crash là bị ràng buộc bởi vòng lặp và phù hợp với kỹ thuật tốt. Hầu hết các chương trình thực tế cần cả hai, đó là lý do câu hỏi mua sắm hữu ích là "tôi đang mua cho công việc nào trong hai công việc này" thay vì "mô hình nào đạt điểm cao hơn".

Cần hỏi gì trước khi nhận nuôi một bé?

Năm câu hỏi phân biệt một quyết định về danh mục với một quyết định tiếp thị.

• Điều gì đã thay đổi — trọng số, vòng lặp hay quyền truy cập? Nhà cung cấp phải có khả năng trả lời trong một câu. Nếu câu trả lời là “vòng lặp”, hãy đánh giá sản phẩm với tư cách là một sản phẩm.

• Benchmark nào, do ai chạy, trên harness nào? Một con số CyberGym không kèm harness là con số về một cấu hình mà bạn không thể tái lập.

• Chi phí cho mỗi lần giải là bao nhiêu, chứ không phải tỷ lệ đạt? Cách Wiz đặt vấn đề là đúng; hai agent có cùng tỷ lệ thành công không phải là cùng một khoản mua.

• Cổng sẽ làm gì khi tôi không vượt qua nó? Bất kỳ triển khai nào phụ thuộc vào quyền truy cập đã được xác minh đều nên cho bạn biết điều gì xảy ra khi có âm tính giả, vì chính các kỹ sư của bạn sẽ là những âm tính giả.

• Nó không thể làm được gì? Các biến thể chỉ phòng thủ tự ghi lại giới hạn của chính chúng, và tài liệu đó là một tính năng — một mô hình không thể bị chuyển sang tấn công là một đối tượng rủi ro khác với một mô hình có thể.

Hạng mục này là có thật, những khác biệt về năng lực là có thật, và phần lớn sự nhầm lẫn đến từ ba sản phẩm khác nhau cùng dùng chung một cái tên. Một khi bạn tách trọng số, vòng lặp và cửa ra khỏi nhau, các bảng so sánh sẽ không còn mâu thuẫn nữa và bắt đầu nói về những thứ khác nhau — đó là điều kiện duy nhất để một nhóm bảo mật có thể dùng chúng mà ra quyết định.