ไซเบอร์โมเดลคืออะไร? หมวดหมู่นี้ และสิ่งที่มันเปลี่ยนแปลงจริง ๆ

ทุกสัปดาห์มีผลิตภัณฑ์สามแบบที่ถูกเรียกว่า "ไซเบอร์โมเดล" และแทบไม่มีอะไรเหมือนกันเลย ตัวหนึ่งเป็นโมเดลอเนกประสงค์ที่มีคลังข้อมูลด้านความปลอดภัยอยู่ในส่วนผสมการฝึก อีกตัวเป็นโมเดลธรรมดาที่ถูกห่อหุ้มด้วยลูปซึ่งให้แซนด์บ็อกซ์ ฟัซเซอร์ และการลองซ้ำแก่มัน อีกตัวเป็นโมเดลเดียวกันกับของคนอื่น ๆ โดยอยู่เบื้องหลังแบบฟอร์มตรวจสอบ มีเพียงตัวแรกเท่านั้นที่เป็นโมเดลที่แตกต่างออกไป อีกสองตัวเป็นการตัดสินใจระดับผลิตภัณฑ์ — ซึ่งในบางกรณีก็เป็นการตัดสินใจที่ดี — และถูกทำตลาดด้วยวลีเดียวกัน ซึ่งเป็นเหตุผลที่ทำให้หมวดหมู่นี้เปรียบเทียบกันได้ยาก ตารางเบนช์มาร์กที่ไม่บอกว่าวัดจากสามตัวไหนไม่สามารถนำไปเปรียบเทียบกับตารางที่บอกได้ และตารางส่วนใหญ่ก็ไม่บอก นี่คือคู่มือเกี่ยวกับความแตกต่างนี้ เกี่ยวกับโมเดลจำนวนน้อยที่อยู่ในหมวดหมู่แรกอย่างแท้จริง และเกี่ยวกับสิ่งที่ทีมความปลอดภัยควรทำกับคำตอบที่ได้ นอกจากนี้ยังเป็นมุมมองระดับหมวดหมู่ที่อยู่เบื้องหลังเหตุการณ์เอเจนต์ 400 เหตุการณ์ที่บันทึกไว้ใน คลังเหตุการณ์ AI ซึ่งคำถามที่ว่า "โมเดลเป็นปัญหา หรือการติดตั้งใช้งานเป็นปัญหา" ถูกหยิบยกขึ้นมาอยู่ตลอดเวลา

สามสิ่งที่วลีนี้ครอบคลุม

เริ่มจากความแตกต่างที่มีนัยสำคัญในทางปฏิบัติ: มีอะไรเปลี่ยนไปเมื่อผู้ขายสร้างสิ่งนั้นขึ้นมา

ฝึกมาเพื่อความปลอดภัย หมายความว่าน้ำหนักของโมเดลเปลี่ยนไป คลังข้อมูลด้านความปลอดภัยถูกรวมเข้าไปในส่วนผสมการฝึก โมเดลฐานมักเป็นโมเดลอเนกประสงค์ที่แข็งแกร่งอยู่แล้ว และโมเดลที่ได้จึงแตกต่างอย่างวัดผลได้ในงานที่ความรู้ด้านความปลอดภัยเป็นคอขวด — การอ่านข้อมูลแครช การให้เหตุผลเกี่ยวกับการจัดวางหน่วยความจำ การจดจำรูปแบบที่มีช่องโหว่ใน diff ขนาดใหญ่ โมเดลในกลุ่มนี้มักถูกรายงานผลเทียบกับเกณฑ์มาตรฐานเฉพาะด้านความปลอดภัย เช่น CyberGym หรือ CyberSecEval และอาจเป็นแบบเปิดน้ำหนักหรือใช้ผ่าน API เท่านั้น

การถูกห่อหุ้มด้วย harness หมายความว่าลูปเปลี่ยนไป แต่โมเดลไม่ได้เปลี่ยน ผู้ขายเพิ่ม sandbox เครื่องมือ ตรรกะการลองใหม่ ตัววางแผน อาจมี fuzzer และสร้างระบบที่ทำงานได้ดีในงานด้านความปลอดภัยเพราะระบบถูกออกแบบมาอย่างดี นี่คือผลิตภัณฑ์ที่ชอบด้วยเหตุผลและมักถูกประเมินต่ำเกินไป มันยังเป็นหมวดหมู่ที่คะแนนกลายเป็นกำกวม เพราะตัวเลขนั้นเป็นของ harness พอ ๆ กับที่เป็นของโมเดล — และ harness ไม่ใช่สิ่งที่คุณสลับได้อย่างอิสระ

ถูกจำกัดการเข้าถึง หมายความว่าประตูเปลี่ยนไปแล้ว โมเดลอาจเหมือนกับโมเดลสาธารณะทุกประการ สิ่งที่แตกต่างคือคุณต้องเป็นธุรกิจที่ได้รับการยืนยันแล้ว ทำงานที่ได้รับอนุญาต ภายใต้ข้อกำหนดที่จำกัดการใช้งาน นี่คือผลิตภัณฑ์เชิงนโยบาย และเป็นผลิตภัณฑ์ที่มีเหตุผลรองรับ แต่ไม่มีการกล่าวอ้างเรื่องความสามารถใด ๆ ที่ตามมาจากผลิตภัณฑ์นี้ โมเดลที่อันตรายในมือของคนผิดและปลอดภัยในมือของคนที่เหมาะสมไม่ได้กลายเป็นโมเดลที่มีความสามารถมากขึ้น แต่กลายเป็นโมเดลที่ถูกควบคุมมากขึ้น

ผลที่ตามมาในทางปฏิบัติ: เมื่อคุณอ่านว่าโมเดลบางตัวเป็น "โมเดลไซเบอร์" คำถามถัดไปคือมันคือแบบไหนในสามแบบ เพราะคำตอบเป็นตัวกำหนดว่าคุณกำลังซื้อความสามารถ งานวิศวกรรม หรือสิทธิ์อนุญาต — และสิ่งเหล่านี้มีราคาและรูปแบบความล้มเหลวที่แตกต่างกัน

ทำไมหมวดหมู่นี้ถึงมีอยู่จริง

งานด้านความปลอดภัยมีความอ่อนไหวอย่างผิดปกติต่อคุณสมบัติสองประการที่โมเดลทั่วไปแสดงออกมาไม่สม่ำเสมอ ได้แก่ การให้เหตุผลด้วยบริบทขนาดยาวเหนือโค้ดที่ไม่ได้เขียนขึ้นเพื่อให้ถูกอ่าน และความเต็มใจที่จะอธิบายการโจมตีอย่างละเอียดเพียงพอที่จะเป็นประโยชน์ ประการแรกเป็นคำถามเรื่องความสามารถ และเป็นเหตุผลว่าทำไมโมเดลในกลุ่มนี้จึงมักโฆษณาหน้าต่างบริบทในระดับหลายแสนหรือหลายล้านโทเค็น ประการที่สองเป็นคำถามเรื่องความปลอดภัย และเป็นเหตุผลที่หมวดหมู่นี้เกี่ยวพันกับการควบคุมการเข้าถึง

โมเดลที่ให้เหตุผลเกี่ยวกับฐานโค้ดได้ดีแต่ปฏิเสธที่จะเขียน proof-of-concept ที่ใช้งานได้นั้นไร้ประโยชน์สำหรับการคัดกรอง เพราะ proof-of-concept คือหลักฐาน โมเดลที่เขียน proof-of-concept ได้อย่างอิสระมีประโยชน์ต่อผู้ป้องกัน และมีประโยชน์พอ ๆ กันต่อคนที่ไม่ใช่ผู้ป้องกัน โมเดลที่ปรับแต่งสำหรับไซเบอร์นั้นแท้จริงแล้วเป็นความพยายามแก้ความตึงเครียดนั้นโดยการจำกัดผู้ที่อาจถาม แทนที่จะจำกัดสิ่งที่อาจได้รับคำตอบ — ซึ่งเป็นการออกแบบที่สอดคล้องกันและเป็นสิ่งที่ยากจะบังคับใช้ในชั้นโมเดล เนื่องจากการบังคับใช้เป็นกระบวนการตรวจสอบยืนยันมากกว่าการเปลี่ยนแปลงค่าน้ำหนัก

ที่ซึ่งความสามารถถูกโต้แย้งกันจริง ๆ

ข้อได้เปรียบที่ถูกกล่าวอ้างของโมเดลที่ปรับแต่งมาเพื่องานไซเบอร์นั้นมีความเฉพาะเจาะจงและตรวจสอบได้ ซึ่งนับว่าน่าสดชื่นในสาขาที่มักถกเถียงกันด้วยคำคุณศัพท์เป็นหลัก สิ่งที่ถูกกล่าวถึงซ้ำ ๆ ได้แก่ การนำเข้าบริบทขนาดยาวของทั้งรีโพซิทอรีหรือเส้นทางการตรวจสอบในครั้งเดียว เอาต์พุตแบบมีโครงสร้างสำหรับใช้ในไปป์ไลน์ และการเรียกเครื่องมือหรือฟังก์ชันที่เสถียรพอที่จะอยู่ในเวิร์กโฟลว์อัตโนมัติ สิ่งเหล่านี้เป็นข้ออ้างเชิงวิศวกรรมพอ ๆ กับเป็นข้ออ้างของโมเดล และสามารถทดสอบกับคลังข้อมูลของคุณเองได้ภายในบ่ายวันเดียว

ฝั่งการประเมินได้เติบโตจนมีสถาบันเป็นของตัวเอง Wiz Research ดำเนินการ Cyber Model Arena ซึ่งประเมินเอเจนต์ AI ที่ประกอบด้วยโมเดลพื้นฐานบวกฮาร์เนสมาตรฐานในงานความมั่นคงไซเบอร์ในโลกจริง และรายงานคุณภาพของโมเดลเทียบกับประสิทธิภาพ — อัตราความสำเร็จที่พล็อตเทียบกับต้นทุน เวลา หรือจำนวนขั้นตอนต่อการแก้หนึ่งครั้ง จากการลองที่เป็นอิสระ k ครั้ง กรอบความคิดนั้นคุ้มค่าที่จะนำมาใช้ทั้งชุด เพราะมันจับสิ่งที่ดีกรีการผ่านแบบดิบ ๆ ปิดบังไว้: เอเจนต์สองตัวสามารถไปถึงอัตราความสำเร็จเดียวกันด้วยต้นทุนต่อการแก้ที่ต่างกันมาก และตัวที่แพงมักเป็นตัวที่ใช้งบประมาณไปกับการลองซ้ำ

สังเกตว่าการสร้างแบบนั้นสื่อความหมายว่าอะไร มันเป็นการวัดประสิทธิภาพของเอเจนต์ ไม่ใช่โมเดล — โมเดลพื้นฐานบวกฮาร์เนส — ซึ่งเป็นความกำกวมที่หมวดหมู่นี้มีอยู่พอดี อารีนาแสดงความตรงไปตรงมาเรื่องนี้โดยระบุฮาร์เนสไว้ในคำนิยาม โพสต์เปิดตัวส่วนใหญ่ไม่ทำเช่นนั้น

ประตูการเข้าถึง และเหตุใดจึงเป็นขอบเขตที่แท้จริงของหมวดหมู่นี้

หากคุณดูว่าโมเดลที่ปรับแต่งสำหรับงานไซเบอร์ถูกส่งมอบจริงอย่างไร ด่านการตรวจสอบยืนยันกลับเป็นตัวกำหนดมากกว่าตัวเลข benchmark ใด ๆ เพราะมันกำหนดว่าใครสามารถรันการประเมินได้เลย รูปแบบนี้สอดคล้องกันเสมอ: ขั้นตอนการตรวจสอบยืนยันธุรกิจ ข้อกำหนดที่จำกัดการใช้เฉพาะงานด้านความปลอดภัยที่ได้รับอนุญาต และนโยบายการใช้งานที่ยอมรับได้ซึ่งมีการบันทึกการเข้าถึงไว้เทียบกับนโยบายนั้น

รายละเอียดการออกแบบสองอย่างในรูปแบบนั้นคุ้มค่าที่จะหยิบมาใช้ แม้ว่าคุณจะไม่เคยซื้อโมเดลไซเบอร์ก็ตาม อย่างแรกคือ การตรวจสอบธุรกิจแทนการรับรองตนเอง เพราะช่องทำเครื่องหมายไม่ใช่กลไกความรับผิดชอบ อย่างที่สองคือ การวางเกตไว้ในตำแหน่งเดียวกับตัวควบคุมขณะรันไทม์ — เกตเวย์เดียวกันที่ถือโมเดลยังถือไฟร์วอลล์ guardrails และการบันทึก log ด้วย ดังนั้นสิทธิ์และการบังคับใช้จึงอยู่ที่เดียวกัน เกตการตรวจสอบที่อยู่คนละระบบกับทราฟฟิกคือเกตที่คุณไม่สามารถตรวจสอบได้

ระดับไซเบอร์ของเราเองก็มีรูปร่างแบบนั้น: โมเดลสำหรับงานฝ่ายรุก การควบคุมที่เกตเวย์สำหรับงานฝ่ายรับ และการตรวจสอบยืนยันที่วางอยู่ข้างหน้าทั้งสองส่วน นอกจากนี้ยังเป็นคำตอบที่ตรงไปตรงมาสำหรับคำถามที่ว่า "ฉันเรียกใช้โมเดลนี้ได้เลยไหม" — สำหรับระดับฝ่ายรุก คำตอบก็คือ การเข้าถึงคือการตัดสินใจที่ใครบางคนมีต่อคุณ ไม่ใช่ฟิลด์ในคำขอ API

มีโมเดลไซเบอร์อะไรบ้าง และจะแยกความแตกต่างระหว่างโมเดลเหล่านั้นได้อย่างไร

จำนวนนี้เล็กพอที่จะจำได้ในหัว และมันแบ่งตามสามหมวดหมู่ข้างต้นมากกว่าตามผู้จำหน่าย

• โมเดลที่ปรับแต่งสำหรับไซเบอร์อย่างแท้จริง ฝึกด้วยข้อมูลที่เน้นความปลอดภัยเป็นหลัก โดยปกติจะรายงานผลบน CyberGym หรือ CyberSecEval โดยมีความแตกต่างที่วัดได้ในงานอ่านแครชและเขียนแพตช์ บางตัวเป็นแบบเปิดน้ำหนัก (open-weight) ซึ่งทำให้สามารถประเมินผลภายในเครื่องได้ ส่วนบางตัวเป็นแบบ API-only ภายใต้การตรวจสอบ

• โมเดลอเนกประสงค์ที่มีพฤติกรรมด้านความปลอดภัยที่แข็งแกร่ง โมเดลระดับแนวหน้าที่บังเอิญเก่งงานนี้โดยไม่ได้รับการปรับแต่งมาเพื่อสิ่งนี้โดยเฉพาะ มักเป็นตัวเลือกที่ถูกต้องสำหรับฝ่ายป้องกัน เพราะโมเดลเดียวกันยังทำงานส่วนที่เหลือได้ด้วย

• ผลิตภัณฑ์เอเจนต์ โมเดลหนึ่งตัวบวกกับลูปที่ออกแบบมาเฉพาะด้านความปลอดภัย — แซนด์บ็อกซ์ ฟัซเซอร์ แพลนเนอร์ — ขายเป็นระบบเดียว ตัดสินสิ่งเหล่านี้จากต้นทุนต่อการแก้ปัญหา และจากสิ่งที่ลูปทำเมื่อล้มเหลว ไม่ใช่จากเบนช์มาร์กของโมเดล

• เวอร์ชันที่จำกัดการเข้าถึงของรายการข้างต้น โมเดลเดียวกัน แต่จำกัดการเข้าถึง การจำกัดการเข้าถึงเปลี่ยนว่าใครสามารถใช้ได้ ไม่ใช่สิ่งที่โมเดลทำได้

การเปรียบเทียบที่สำคัญจริงสำหรับทีมความปลอดภัยนั้นแทบจะไม่ใช่การเทียบโมเดลกับโมเดล แต่คือว่างานที่คุณต้องการทำนั้นผูกกับองค์ความรู้หรือผูกกับลูป การอ่านรายงานการตรวจสอบและให้เหตุผลเกี่ยวกับ exploit chain นั้นผูกกับองค์ความรู้และเหมาะกับโมเดลที่ปรับแต่งมาแล้ว ส่วนการรัน fuzzer หกชั่วโมงและคัดแยก crash นั้นผูกกับลูปและเหมาะกับงานวิศวกรรมที่ดี โปรแกรมจริงส่วนใหญ่ต้องการทั้งสองอย่าง นี่จึงเป็นเหตุผลว่าคำถามจัดซื้อที่มีประโยชน์คือ "ฉันกำลังซื้อสำหรับงานสองอย่างนี้อย่างไหน" ไม่ใช่ "โมเดลไหนได้คะแนนสูงกว่า"

ควรถามอะไรบ้างก่อนรับมาเลี้ยง

คำถามห้าข้อที่ช่วยแยกการตัดสินใจเรื่องหมวดหมู่สินค้าออกจากการตัดสินใจทางการตลาด

• อะไรเปลี่ยนไป — ค่าน้ำหนัก ลูป หรือการเข้าถึง? ผู้ขายควรตอบได้ในประโยคเดียว ถ้าคำตอบคือ “ลูป” ให้ประเมินผลิตภัณฑ์ในฐานะผลิตภัณฑ์

• benchmark ใด ใครเป็นผู้รัน และใช้ harness ใด? ตัวเลข CyberGym ที่ไม่มี harness คือตัวเลขเกี่ยวกับการกำหนดค่าที่คุณไม่สามารถทำซ้ำได้

• ค่าใช้จ่ายต่อการแก้หนึ่งครั้งคือเท่าไร ไม่ใช่อัตราความสำเร็จ? กรอบความคิดของ Wiz เป็นกรอบที่ถูกต้อง; เอเจนต์สองตัวที่มีอัตราความสำเร็จเท่ากันไม่ได้หมายความว่าเป็นการซื้อแบบเดียวกัน

• เมื่อผมไม่ผ่านเกต มันจะทำอะไร? การดีพลอยใดก็ตามที่พึ่งพาการเข้าถึงที่ผ่านการยืนยันควรบอกคุณว่าเกิดอะไรขึ้นเมื่อเกิดผลลบเท็จ เพราะวิศวกรของคุณเองจะเป็นผลลบเท็จนั้น

• มันทำอะไรไม่ได้บ้าง? ตัวแปรที่ใช้เพื่อการป้องกันเท่านั้นได้บันทึกขีดจำกัดของตนเองไว้ และการบันทึกเช่นนั้นก็ถือเป็นคุณสมบัติอย่างหนึ่ง — โมเดลที่ไม่สามารถถูกพลิกไปใช้เพื่อการโจมตีได้นั้นเป็นวัตถุแห่งความเสี่ยงที่แตกต่างจากโมเดลที่ทำได้

หมวดหมู่นี้มีอยู่จริง ความแตกต่างด้านความสามารถก็มีอยู่จริง และความสับสนส่วนใหญ่มาจากผลิตภัณฑ์ที่แตกต่างกันสามชนิดซึ่งใช้ชื่อร่วมกัน เมื่อคุณแยกส่วนน้ำหนักออกจากส่วนห่วงและออกจากส่วนประตูได้ ตารางเปรียบเทียบก็จะเลิกขัดแย้งกันและเริ่มพูดถึงคนละเรื่อง — ซึ่งเป็นเงื่อนไขเดียวที่ทำให้ทีมความปลอดภัยใช้ตารางเหล่านั้นในการตัดสินใจได้