「什麼是網路模型?」的標題卡,顯示三個欄位,分別標示為前沿通用型、資安調校防禦型與資安調校攻擊型,每個欄位各附一行說明。
Guides & Insights

什麼是 Cyber Model?這個類別,以及它實際上改變了什麼

作者

Rowan Sterling

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

每週都有三款產品被稱為「cyber model」,而它們幾乎毫無共同點。一款是訓練資料組合中納入資安語料庫的通用型模型。一款是把普通模型包進一個迴圈,讓它擁有沙箱、模糊測試器與重試機制。一款則和其他所有人的模型相同,只是置於驗證表單之後。只有第一款是真正不同的模型。另外兩款是產品決策——某些情況下還是很好的決策——卻用同一個詞彙來行銷,這就是為什麼這個類別難以比較。一份未說明自己測的是這三者中哪一款的基準測試表,無法與有說明的基準測試表相比,而大多數表都沒有說明。本指南說明這當中的區別、真正屬於第一類的少數模型,以及資安團隊應如何運用這個答案。這也是 AI 事件檔案庫中收錄的 400 起代理事件背後的類別視角;在該檔案庫裡,「問題出在模型還是部署」這個問題不斷出現。

這個片語涵蓋的三件事

先從營運上真正有影響的差異談起:廠商在打造這項東西時,究竟改變了什麼。

Card 'Three things people mean by cyber model' contrasting trained for security (the weights changed), wrapped in a harness (the loop changed) and gated by access (the door changed), with what each one changes and who owns the resulting score.

受過安全訓練意味著權重已經改變。安全語料被納入訓練混合資料中,其基礎模型往往是本就已經很強的通用模型,而最終產出的模型在那些以安全知識為瓶頸的任務上,表現有可量測的差異——例如閱讀當機報告、推理記憶體佈局、在大型差異檔中辨識出有漏洞的模式。這一類模型通常會以 CyberGym 或 CyberSecEval 等安全專用基準來報告其表現,而且它們可能是開放權重模型,也可能是僅提供 API 的模型。

包裝在測試框架中意味著迴圈改變了,而模型沒有。廠商加入了沙箱、工具、重試邏輯、規劃器,也許還有模糊測試器,並打造出一個在安全任務上表現良好的系統,因為這個系統經過良好的工程設計。這是一款合理且經常被低估的產品。這也是分數會變得模糊的一類情況,因為這個數字同時屬於測試框架與模型——而測試框架不是你可以獨立替換的東西。

受存取權限管制意味著門檻變了。模型本身可能與公開版本完全相同;不同之處在於,你必須是通過驗證的企業、從事獲授權的工作,並受限制使用的條款約束。這是一項政策產品,而且是一項站得住腳的政策產品,但從中推不出任何能力上的宣稱。一個在錯誤的人手裡危險、在正確的人手裡安全的模型,並沒有變得更有能力;它只是變得更受管控。

實際後果是:當你讀到某個模型是「網路安全模型」時,下一個問題就是它屬於這三種之中的哪一種,因為答案決定了你買到的是能力、工程,還是權限——而這三者有不同的價格,也有不同的失效模式。

這個分類究竟為什麼存在

資安工作對兩項特性格外敏感,而一般模型在展現這兩項特性時並不穩定:一是針對並非為了供人閱讀而撰寫的程式碼進行長上下文推理,二是願意以足夠詳盡的方式描述攻擊,使其具有實用性。第一項是能力問題,這也是為什麼此類模型往往標榜數十萬甚至數百萬個 token 的上下文視窗。第二項是安全問題,也是這個類別與存取控制糾纏不清的原因。

一個能妥善推理程式碼庫、卻拒絕撰寫可運作概念驗證的模型,對分流研判毫無用處,因為概念驗證本身就是證據。資安調校模型實際上是在試圖化解這種張力,方式是縮小誰可以提問的範圍,而不是縮小什麼可以被回答的範圍——這是一項連貫的設計,卻很難在模型層面落實,因為這種落實是驗證流程,而不是權重變更。

能力真正受到論證之處

資安調校模型所宣稱的優勢具體且可驗證,這在一個通常只靠形容詞爭論的領域裡令人耳目一新。反覆出現的優勢包括:能以長上下文一次性讀入整個程式碼儲存庫或稽核軌跡、可供管線使用的結構化輸出,以及穩定到足以融入自動化工作流程的工具或函式呼叫。這些既是模型主張,也是工程主張,而且可以在一個下午內用你自己的語料庫加以驗證。

評估端已發展出自身的機構。Wiz Research 營運 Cyber Model Arena,用來評估由基礎模型加上標準化測試框架所組成的 AI 代理在真實世界資安任務上的表現,並以效率對照模型品質——將成功率相對於每次求解的成本、時間或步數作圖,資料來自 k 次獨立嘗試。這個框架值得全盤採納,因為它捕捉到原始通過率所掩蓋的事實:兩個代理可以以截然不同的每次求解成本達到相同的成功率,而成本較高者往往就是把預算花在重試上的那一個。

Screenshot of Wiz Research's Cyber Model Arena headed 'We evaluate AI agents with foundation models and standard harnesses on multiple real-world cybersecurity tasks', showing a 'Model Quality vs. Efficiency' section described as success rate against cost, time or steps per solve over k independent attempts.

注意這種建構方式意味著什麼。這是對 agent(而非模型)的基準測試——基礎模型加上 harness——而這正是該類別所具有的模糊性。這個 arena 對此很誠實,在定義中就點明了 harness。大多數發布文章則不然。

存取閘門,以及它為何是這個類別的真正邊界

如果你看針對網路安全調校的模型實際上如何交付,驗證關卡比任何基準分數都更具決定性,因為它決定誰能執行評估。模式始終一致:企業驗證步驟、把用途限制在獲授權安全工作的條款,以及存取會依其記錄的可接受使用政策。

Screenshot of the OrcaRouter cyber page headed 'Cyber models for your red team. Gateway controls for your blue team.', stating that OrcaCyber Zero and the rest of the cyber tier are open to business-verified security teams doing authorized work, with the agent firewall, guardrails, code review gate and compliance packs running in the same gateway.

那個模式裡的兩個設計細節值得借鏡,即使你永遠不會購買資安模型。第一個是 商業驗證,而非自我聲明,因為一個核取方塊並不是問責機制。第二個是 把驗證關卡與執行階段控制措施放在同一處——同一個閘道既持有模型,也持有防火牆、護欄與日誌記錄,讓權限與執行機制集中在一處。一個與流量位於不同系統上的驗證關卡,就是一個你無法稽核的關卡。

我們自己的資安層級也遵循這樣的架構:用於攻擊性工作的模型、用於防禦性工作的閘道控制,以及兩者前方的驗證。這也是對「我可以直接呼叫這個模型嗎」的誠實回答——就攻擊性層級而言,答案是:能否存取是別人對你做出的決定,而不是 API 請求中的一個欄位。

有哪些網路模型,以及如何區分它們?

這個群體小到可以記在腦中,而且它是按上述三個類別來劃分,而不是按供應商來劃分。

• 真正經過資安微調的模型。 以大量安全資料訓練,通常會在 CyberGym 或 CyberSecEval 上回報,並在解讀當機與撰寫修補程式等任務上呈現可量測的差異。有些是開放權重,因此可進行本機評估;有些則僅提供 API,且仍在驗證中。

• 具備強大安全行為的通用型模型。恰好擅長這項工作、但未經針對性調校的前沿模型。對防守方而言往往是正確選擇,因為同一個模型也能完成其餘工作。

• 代理式產品。一個模型加上專為資安設計的迴圈——沙箱、模糊測試器、規劃器——以系統形式販售。評估這些產品時,要看每次解題的成本,以及迴圈失敗時會怎麼做,而不是看模型基準測試。

• 上述項目的受閘控版本。相同的模型,受限的存取。閘門改變的是誰可以使用它們,而不是它們能做什麼。

對安全團隊真正重要的比較,很少是模型與模型之間的較量,而是你需要完成的工作是知識導向還是迴圈導向。閱讀稽核報告並推理漏洞利用鏈,屬於知識導向,適合採用經過調校的模型。執行模糊測試器六小時並分類處理當機情況,屬於迴圈導向,適合良好的工程實作。大多數真實專案兩者都需要,因此有用的採購問題是「我是在為這兩種工作中的哪一種買單」,而不是「哪個模型分數更高」。

領養前該問哪些問題

五個問題區分了品類決策與行銷決策。

• 改變了什麼——權重、迴圈,還是存取權?廠商應該能用一句話回答。如果答案是「迴圈」,就把這個產品當成產品來評估。

• 哪個基準測試、由誰執行、在什麼測試框架下? 沒有測試框架的 CyberGym 數字,就是在描述一個你無法重現之組態的數字。

• 每次解題的成本是多少,而不是通過率?Wiz 的框架是對的;成功率相同的兩個代理程式,並不是同一筆採購。

• 當我沒通過這道檢核關卡時,它會怎麼做?任何依賴已驗證存取權的部署,都應該告訴你偽陰性發生時會如何處理,因為你自己的工程師就會是那些偽陰性。

• 它不能做什麼? 防禦專用變體會記錄自身的限制,而這些說明本身就是一項特性——一個無法被轉為攻擊用途的模型,與一個可以如此的模型,是截然不同的風險對象。

這個品類確實存在,能力差異也確實存在,而大部分的混淆來自三個不同產品共用同一個名稱。一旦你把權重、迴圈與門區分開來,比較表就不再互相矛盾,而是開始各自談論不同的事物——而這是安全團隊能憑它們做出決策的唯一條件。