
GPT-6.1 Sol กลายเป็นเอนจินความปลอดภัยของ CodeRabbit แล้ว — ข้อเสนอสแกนฟรีมูลค่า $1M ให้อะไรคุณได้จริงบ้าง
- Orcaใหม่OrcaCyber: MiMo V2.6 Flash Abliterated2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 142 tok/s
- Moonshotใหม่MoonshotAI: Kimi K3.1 Pro2026-10-2455ความฉลาด
- Orcaใหม่OrcaCyber: DeepSeek V4.1 Flash Abliterated2026-10-23$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 139 tok/s
- minimaxใหม่MiniMax: M3.1 Flash2026-10-1943ความฉลาด
- Orcaใหม่Orca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 ต่อ 1 ล้านโทเค็น · 42 tok/s
- deepseekใหม่DeepSeek: DeepSeek V4.1 Flash 10172026-10-1745ความฉลาด
- DeepSeekใหม่DeepSeek: DeepSeek V4.1 Flash2026-10-1740ความฉลาด
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 ต่อ 1 ล้านโทเค็น · 115 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2952ความฉลาด
- anthropicAnthropic: Claude Sonnet 5.52026-09-2856ความฉลาด
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 ต่อ 1 ล้านโทเค็น · 697 tok/s
- OpenAIOpenAI: GPT-6 Luna2026-09-2238ความฉลาด
- OpenAIOpenAI: GPT-6 Sol2026-09-2248ความฉลาด
- AnthropicAnthropic: Claude Opus 5.52026-09-2258ความฉลาด
- xiaomiXiaomi: MiMo-V2.6-Flash2026-09-21$0.14 / $0.28 ต่อ 1 ล้านโทเค็น · 45 tok/s
- xiaomiXiaomi: MiMo-V2.6-Pro2026-09-21$0.43 / $0.87 ต่อ 1 ล้านโทเค็น · 49 tok/s
- xAIGrok 4.72026-09-2146ความฉลาด
- OrcaOrca: OrcaCyber Zero 1.02026-09-17$3.00 / $7.50 ต่อ 1 ล้านโทเค็น · 237 tok/s
- OrcaOrca: OrcaVerify Text 1.02026-09-16$2.00 / $0.00 ต่อ 1 ล้านโทเค็น · 3445 tok/s
- OpenAIOpenAI: GPT-6 Astra2026-09-0453ความฉลาด77การเขียนโค้ด
CodeRabbit สนับสนุนค่าใช้จ่ายสำหรับการตรวจสอบความปลอดภัยด้วย AI สูงถึง $5,000 ต่อองค์กร และช่วงเวลานี้จะปิดลงเมื่อเวลา 23:59:59 PST ของวันที่ 8 พฤศจิกายน 2026 โมเดลที่ใช้ทำงานนี้คือ GPT-6.1 Sol ซึ่ง OpenAI เปิดตัวเมื่อวันที่ 29 กันยายน — นี่ไม่ใช่ข่าวการเปิดตัว และอายุของโมเดลก็เป็นสิ่งที่น่าสนใจน้อยที่สุดเกี่ยวกับมัน สิ่งที่เปลี่ยนไประหว่างวันที่ 23 ตุลาคมถึง 26 ตุลาคมนั้นแคบกว่าและมีนัยสำคัญกว่า: บริษัทที่ให้บริการรีวิวโค้ดซึ่งเข้าถึงองค์กรธุรกิจได้จริงได้วางโมเดลนั้นไว้เป็นศูนย์กลางของผลิตภัณฑ์ด้านความปลอดภัย เผยแพร่เวิร์กโฟลว์ที่อยู่รอบ ๆ โมเดล และกำหนดเส้นตายสำหรับการเปิดให้คนนอกได้ลองใช้
มีเอกสารสามฉบับเผยแพร่ภายในสี่วัน บทความบล็อกของ CodeRabbit เองเมื่อวันที่ 24 ตุลาคม กรณีศึกษาลูกค้าของ OpenAI เมื่อวันที่ 26 ตุลาคม และข่าวประชาสัมพันธ์ของ Business Wire ในวันเดียวกันซึ่งประกาศทั้งพันธสัญญาเรื่องการสแกนฟรีและการที่ CodeRabbit เข้าสู่ Daybreak Defense Network ของ OpenAI เมื่ออ่านรวมกัน เอกสารเหล่านี้บรรยายรูปแบบการนำไปใช้รูปแบบหนึ่งที่น่าทำความเข้าใจ แม้คุณจะไม่เคยซื้อผลิตภัณฑ์ใดในสองตัวนี้เลยก็ตาม หากอ่านแยกกัน สิ่งเหล่านี้คือการตลาด งานที่มีประโยชน์คือการแยกสองสิ่งนั้นออกจากกัน
สิ่งที่ CodeRabbit สร้างขึ้นมาจริง ๆ บนพื้นฐานของ GPT-6.1 Sol
กรณีศึกษา OpenAI ระบุตำแหน่งการใช้งานไว้ชัดเจน ซึ่งเป็นส่วนสำคัญ: GPT-6.1 Sol ได้รับการอธิบายว่าเป็นโมเดลหลักใน security agent ของ CodeRabbit โดยทำงานร่วมกับโมเดล frontier อื่น ๆ และ scanner ที่ลูกค้าใช้งานอยู่แล้ว ไม่ได้นำเสนอให้เป็นตัวแทนที่มาแทนที่ static analysis โพสต์ของ CodeRabbit เองระบุไกลกว่านั้นเล็กน้อย โดยบอกว่า CodeRabbit Secure ใช้ “GPT 6.1 Sol and GPT Cyber models” — เป็นสแต็ก ไม่ใช่การเรียกครั้งเดียว
ผลิตภัณฑ์นี้มีสามชั้น และแต่ละชั้นเป็นงานที่แตกต่างกันอย่างแท้จริง:
• การรีวิว PR — อ่านแต่ละการเปลี่ยนแปลงเมื่อถูกนำเข้า ภายในโฟลว์การรีวิวตามปกติ
• Deep Scan — แมปทั้งรีโพซิทอรีแทนที่จะเป็น diff เดียว โดยติดตามว่าคอมโพเนนต์และ dependency ต่างๆ มีปฏิสัมพันธ์กันอย่างไร
• CodeRabbit Secure — ขยายความสามารถนั้นไปยังรีโพซิทอรีที่เชื่อมโยง เพื่อให้ข้อบกพร่องในไลบรารีการยืนยันตัวตนที่ใช้ร่วมกันแสดงขอบเขตผลกระทบครอบคลุมทุกบริการที่นำไลบรารีนั้นไปใช้
งานวิศวกรรมที่น่าสนใจอยู่ที่ปลายสุดของห่วงโซ่ สำหรับข้อค้นพบที่ผู้ใช้เลือก CodeRabbit จะพยายามตรวจสอบความเป็นไปได้ในการโจมตี โดยรันกับปัญหาดังกล่าวในแซนด์บ็อกซ์แบบแยกส่วน ซึ่งไม่ใช่ระบบโปรดักชันอย่างชัดเจน และคืนค่าสถานะหนึ่งในสามแบบ ได้แก่ ทำซ้ำได้ (Reproduced), ทำซ้ำไม่ได้ (Not reproduced) หรือสรุปไม่ได้ (Inconclusive) เฉพาะข้อค้นพบที่มีหลักฐานรองรับเท่านั้นที่จะกลายเป็นข้อเสนอการแก้ไข ซึ่งส่งมอบในรูปแบบ pull request ที่มนุษย์เป็นผู้ตรวจสอบ ทดสอบ และ merge เข้าใช้งาน ด่านการ merge จะไม่ถูกโอนไปให้โมเดลเลย
ลำดับนั้น — การเข้าถึงได้ก่อน การรันเป็นอันดับสอง แพตช์เป็นอันดับสาม — คือเหตุผลที่การติดตั้งใช้งานนี้ควรค่าแก่การอ่าน ผลิตภัณฑ์ "AI ค้นหาบั๊ก" ส่วนใหญ่หยุดอยู่ที่ขั้นแรกและส่งรายการที่เรียงตามความมั่นใจของโมเดลภาษาให้คุณ การเพิ่มแซนด์บ็อกซ์เปลี่ยนข้อกล่าวอ้างให้เป็นการทดสอบ การเพิ่ม PR ที่แก้ไขเปลี่ยนการทดสอบให้เป็นดิฟฟ์ที่ CI ของคุณตัดสินได้จริง
ข้อเสนอการสแกนฟรี ในเงื่อนไขที่กำหนดว่าคุณจะใช้ได้หรือไม่
หน้าแลนดิ้งของ CodeRabbit อธิบายกลไกการทำงานอย่างชัดเจนเป็นพิเศษ ซึ่งทำให้ข้อเสนอง่ายต่อการประเมินแทนที่จะต้องเพ่งมอง:
• ช่วงเวลา — 23 ตุลาคม ถึง 8 พฤศจิกายน 2026 สิ้นสุดเวลา 23:59:59 PST
• เพดาน — สูงสุด $5,000 ต่อองค์กรสำหรับการใช้งานและการแก้ไขใน Deep Scan
• เงินรวมทั้งหมด — $1 ล้าน ดึงจากวงเงินเครดิตร่วม 1,000,000 เครดิต ใครมาก่อนได้ก่อน
• คุณสมบัติผู้มีสิทธิ์ — องค์กรที่มีสมาชิกตั้งแต่สองคนขึ้นไป โครงการโอเพนซอร์ส ลูกค้าปัจจุบัน ลูกค้าในอดีต และทีมที่ไม่เคยสัมผัส CodeRabbit มาก่อน ล้วนมีคุณสมบัติครบถ้วน
• สิ่งที่เปลี่ยนเป็นการแก้ไขได้ — เฉพาะข้อค้นพบที่มีหลักฐานรองรับเท่านั้นที่จะกลายเป็นการแก้ไข เครดิตจึงใช้เพื่อซื้อการสอบสวนและการเยียวยาแก้ไข ไม่ใช่คำสัญญาว่าทุกสิ่งที่พบจะได้รับการแพตช์
• เครดิตที่ยังไม่ได้ใช้ — เครดิตที่รับสิทธิ์แล้วแต่ยังไม่ได้ใช้ {{1}}จะไม่ถูกยกยอดเมื่อพ้นกำหนดเวลาหรือเมื่อพูลที่ใช้ร่วมกันหมดลง{{/1}}
บรรทัดเกี่ยวกับคุณสมบัตินั้นคือสิ่งที่ควรอ่านสองรอบ “องค์กรใดก็ได้” ในข่าวประชาสัมพันธ์หมายถึงองค์กรใดก็ได้ที่มีสมาชิกอย่างน้อยสองคน ซึ่งตัดผู้ดูแลแบบคนเดียวออกไป — กลุ่มที่ดูแลโค้ดโอเพนซอร์สเป็นสัดส่วนใหญ่ที่บริษัทส่วนใหญ่พึ่งพา หากคุณเป็นคนคนเดียวที่มีรีโพซิทอรี ข้อเสนอนี้ใช้ไม่ได้กับคุณ และการสมัครเข้าร่วมไม่ว่าจะมากเพียงใดก็ไม่เปลี่ยนสิ่งนั้น

เรื่องที่สองที่ต้องวางแผนคือมาตรวัดการใช้งาน Deep Scan คิดค่าบริการตามการใช้งาน และบริบทข้ามรีโพซิทอรีเป็นส่วนหนึ่งที่ถูกคิดค่าบริการ รีโพซิทอรีที่เชื่อมโยงเป็นแบบอ่านอย่างเดียว ซึ่งจำกัดความลึกของการตรวจสอบได้ แต่ไม่ได้จำกัดต้นทุนในการลอง เพดาน $5,000 ถือว่าใจกว้างสำหรับมอโนรีโพขนาดกลาง และไม่ใช่เรื่องน่าตื่นเต้นสำหรับขนาดใหญ่ ดังนั้นวิธีปฏิบัติคือกำหนดให้การสแกนครั้งแรกไปที่รีโพซิทอรีที่คุณกลัวที่สุด มากกว่าอันที่ส่งมอบได้ง่ายที่สุด
ทำไมโมเดลระดับหนึ่งล้านโทเค็นจึงเป็นรูปแบบที่เหมาะสำหรับงานในรีโพซิทอรี
ข้อกำหนดของ GPT-6.1 Sol อธิบายความเหมาะสมได้ดีกว่าข้อความทางการตลาดใด ๆ โดยมีหน้าต่างบริบทขนาด 1,050,000 โทเค็น พร้อมเอาต์พุตสูงสุด 128,000 โทเค็น รองรับอินพุตทั้งข้อความและรูปภาพ และรองรับการทำงานแบบแบตช์แต่ไม่รองรับการปรับแต่งละเอียด จุดตัดความรู้คือวันที่ 30 เมษายน 2026 โดยมาพร้อมการตั้งค่าการให้เหตุผลห้าระดับ — low, medium, high, xhigh และ max — ซึ่ง medium เป็นค่าเริ่มต้น และไม่มีตัวเลือก "none" หรือ "minimal" สำหรับปิดการให้เหตุผลโดยสิ้นเชิง
การกำหนดราคาคือจุดที่โครงสร้างกลายเป็นกลยุทธ์ ราคาตามรายการมาตรฐานคือ $2 ต่อล้านโทเค็นอินพุต และ $10 ต่อล้านโทเค็นเอาต์พุต โดยอินพุตที่แคชไว้อยู่ที่ $0.10 และการเขียนแคชอยู่ที่ $2.50 คำขอที่เกิน 272,000 โทเค็นจะจ่ายเป็นสองเท่าสำหรับอินพุตและแคช และหนึ่งเท่าครึ่งสำหรับเอาต์พุต สำหรับคำขอทั้งรายการ Batch และ Flex คิดที่ 50% ของ Standard โหมดเร็วคิดเป็นสองเท่า และเอนด์พอยต์แบบภูมิภาคเพิ่มประมาณ 10%
เมื่ออ่านข้อเท็จจริงสองข้อนี้ควบคู่กัน การออกแบบของ CodeRabbit ก็ไม่ดูเป็นเรื่องโดยพลการอีกต่อไป โปรไฟล์ต้นทุนของเอเจนต์ด้านความปลอดภัยไม่ใช่โปรไฟล์ต้นทุนของการแชต มันอ่านซอร์สโค้ดปริมาณมหาศาลที่ส่วนใหญ่ไม่เปลี่ยนแปลง และสร้างเอาต์พุตออกมาไม่มากนัก อีกทั้งยังได้ประโยชน์จากการแคชพรอมต์มากกว่าภาระงานอื่นเกือบทั้งหมด — รีโพซิทอรีที่คุณสแกนทุกสัปดาห์คือรีโพซิทอรีที่บริบทแทบไม่ขยับระหว่างการรันแต่ละครั้ง ด้วยราคา $0.10 ต่อหนึ่งล้านโทเค็นอินพุตที่แคชไว้ การอ่านโค้ดเบสขนาดใหญ่ซ้ำจึงมีต้นทุนราคาถูกในแบบที่การอ่านซ้ำในราคา $2 ไม่เป็นเช่นนั้น เกณฑ์การคิดค่าบริการเพิ่มเติมที่ 272K คือตัวเลขที่ต้องจับตา โดยคิดเป็นประมาณหนึ่งในสี่ของหน้าต่าง ซึ่งหมายความว่าการสแกนขนาดใหญ่มากจะต้องจ่ายตัวคูณกับทุกโทเค็นในคำขอ ไม่ใช่แค่ส่วนที่เกินเท่านั้น
ถ้าคุณต้องการคำนวณราคาเทียบกับรีโพซิทอรีของคุณเอง GPT-6.1 Sol อยู่บน OrcaRouter ในราคาตามรายการ — ส่งผ่านตรง คิดกำไรส่วนเพิ่ม 0% ดังนั้นอัตรา $2/$10 และอัตราแคช $0.10 จึงเป็นตัวเลขเดียวกับที่ OpenAI ประกาศไว้ และจะเปลี่ยนในวันที่ OpenAI เปลี่ยนเช่นกัน เรื่องนี้สำคัญกับงานลักษณะนี้มากกว่าการแชท เพราะอินพุตแบบแคชทำงานเกือบทั้งหมด และเปอร์เซ็นต์ที่บวกเพิ่มเข้าไปจึงทบต้นสะสมในทุกการสแกนของแต่ละชุด

ตัวเลขความสามารถของโมเดลที่ OpenAI เผยแพร่ ซึ่งเป็นข้อมูลที่ผู้ขายรายงานเองและยังไม่ได้รับการตรวจสอบซ้ำโดยอิสระ:
• DeepSWE v1.1 — 75.22% ที่ระดับความพยายามสูง โดยมีค่าใช้จ่ายประมาณ $0.65 ต่องาน
• Terminal-Bench Science 0.1 — 57.02% ที่ระดับความพยายามสูงสุด อยู่ที่ประมาณ $5.47 ต่องาน
• OSWorld 2.0 — 71.42% ที่ความพยายามสูงสุด โดยอยู่ที่ประมาณ $1.27 ต่องาน
• AutomationBench — 36.10% ที่ความพยายามสูงสุด; GDP.pdf — 32.0% ที่ระดับสูง
• อัตราข้อผิดพลาดเชิงข้อเท็จจริง — 7.7% ที่ระดับความพยายามต่ำ เทียบกับ 11.4% สำหรับ GPT-6 Sol ซึ่งเป็นการลดลงที่ OpenAI อธิบายว่าเป็นประมาณ 32% แบบสัมพัทธ์

รายละเอียดหนึ่งในตารางนั้นสมควรได้รับความสนใจมากกว่าที่เป็นอยู่: บน DeepSWE ระดับ high effort ได้คะแนน 75.22% และ max effort ได้คะแนน 71.90% การใช้เหตุผลมากขึ้นกลับให้ผลลัพธ์ที่แย่ลง ใครก็ตามที่ตั้งค่าเป็นระดับสูงสุดโดยถือว่าโดยรวมแล้วดีกว่า ควรดูคู่นั้นก่อนจะเชื่อมต่อไปป์ไลน์ด้านความปลอดภัยเข้ากับ max
ตัวเลขที่เป็นอิสระซึ่งควรช่วยถ่วงความร้อนแรงของการนำเสนอ
เก้าวันก่อนการประกาศของ CodeRabbit นั้น Endor Labs ได้เผยแพร่ผลการประเมินที่เกี่ยวข้องโดยตรงกับคำถามที่กรณีศึกษานี้ยังคงปล่อยไว้โดยไม่มีคำตอบ Agent Security League ของบริษัทได้รันงาน 200 งานผ่าน Codex CLI 0.144.6 ในตระกูล GPT-6 และให้คะแนนในสองเรื่อง คือ เอเจนต์ทำงานนั้นสำเร็จหรือไม่เลย และทำงานนั้นสำเร็จอย่างปลอดภัยหรือไม่
GPT-6.1 Sol ทำได้ 77.7% FuncPass และ 34.1% SecPass จาก 179 งานที่ถูกให้คะแนน GPT-6 Astra ได้ 82.1% และ 34.6% GPT-6 Sol ได้ 72.1% และ 25.1% อัตราส่วน SecPass ต่อ FuncPass ของ Sol ที่ 43.9% เป็นค่าที่ดีที่สุดในบรรดาโมเดล Codex ทั้งสี่ที่ทดสอบ — หมายความว่ามันสูญเสียความถูกต้องน้อยที่สุดเมื่อใช้ข้อจำกัดด้านความปลอดภัย แม้ว่าอัตราการผ่านด้านความปลอดภัยแบบสัมบูรณ์จะต่ำกว่า Astra อยู่เพียงหนึ่งงานก็ตาม
พาดหัวคือสองในสามของงานที่ล้มเหลวด้านความปลอดภัย และนั่นเป็นข้อค้นพบจริง แต่มันก็ไม่ใช่การวัดการตรวจจับช่องโหว่เช่นกัน SecPass ถามว่าเอเจนต์เขียนโค้ดสร้างโค้ดที่ใช้งานได้และปลอดภัยด้วยหรือไม่ ซึ่งเป็นคนละคำถามกับว่าเอเจนต์ด้านความปลอดภัยค้นพบข้อบกพร่องในโค้ดที่คนอื่นเขียนได้หรือไม่ การตีความ 34.1% ว่า "GPT-6.1 Sol พลาดช่องโหว่สองในสาม" จะเป็นข้อผิดพลาดเชิงประเภท และโพสต์ของ Endor ไม่ได้อ้างเช่นนั้น สิ่งที่มันสนับสนุนคือประเด็นที่แคบและหนักหนากว่า: ในงานที่ความปลอดภัยกับฟังก์ชันการทำงานแข่งขันกัน โมเดลระดับแนวหน้าปัจจุบันแลกสิ่งหนึ่งกับอีกสิ่งหนึ่งบ่อยกว่าที่ผู้ขายสื่อ ผลิตภัณฑ์ความปลอดภัยที่สร้างบนโมเดลเหล่านี้ ควรเข้าใจว่าคือผู้ตรวจทานเพิ่มเติมที่มีงบประมาณการอ่านผิดปกติ ไม่ใช่ผู้หยั่งรู้
ตัวเลขการดำเนินงานของ Endor คือส่วนที่มีประโยชน์สำหรับใครก็ตามที่กำลังประเมินต้นทุนเรื่องนี้ ค่ามัธยฐาน 7.9 นาทีต่องาน ค่าเฉลี่ย 13.5 มีการหมดเวลาเก้าครั้ง และการรันด้วยเวิร์กเกอร์สี่ตัวเต็มรูปแบบเสร็จสิ้นในประมาณ 13 ชั่วโมง การใช้โทเคนอยู่ที่ประมาณ 235 ล้านโทเคนอินพุต โดยแคชไว้ประมาณ 94% พร้อมเอาต์พุต 1.5 ล้านโทเคน — ประมาณการ $70 ถึง $85 ในอัตราตามรายการ เทียบกับ $104 สำหรับ GPT-6 Sol และ $468 สำหรับ GPT-6 Astra Endor ยังระบุ 13 กรณีที่ต้องสงสัยว่ามีการโกงจากสัญญาณห้าประการ และตรวจสอบจนพบว่าไม่มีมูลในทุกกรณี โดยรายงานว่ามีกรณีที่ยืนยันได้เป็นศูนย์
สิ่งที่กรณีศึกษาไม่ได้บอกคุณ
กรณีศึกษาลูกค้าของ OpenAI ไม่มีอัตราผลบวกลวง ไม่มีความแตกต่างด้านการตรวจจับเมื่อเทียบกับการกำหนดค่า pre-Sol ของ CodeRabbit ไม่มีตัวเลขความหน่วง และไม่มีต้นทุนต่อรายการที่ตรวจพบ โพสต์ของ CodeRabbit ก็ไม่ได้ให้ข้อมูลเหล่านี้เช่นกัน ทั้งสองฝ่ายไม่ได้มีหน้าที่ต้องให้ — กรณีศึกษาลูกค้าไม่ใช่การประเมิน — แต่ช่องว่างนี้กำหนดว่าการประกาศดังกล่าวจะมีน้ำหนักได้มากเพียงใด
สถิติที่ถูกอ้างอิงมากที่สุดจากข่าวประชาสัมพันธ์ต้องได้รับการระมัดระวังมากที่สุด CodeRabbit รายงานช่องโหว่ระดับความรุนแรงสูงหรือวิกฤตมากกว่า 8,000 รายการที่พบใน 600 องค์กรภายใน 30 วัน โดยการควบคุมการเข้าถึงที่บกพร่อง SQL injection และความล้มเหลวในการยืนยันตัวตนคิดเป็นกว่า 70% ของช่องโหว่เหล่านั้น นั่นเป็นข้อมูลรวมสำหรับ CodeRabbit Secure ไม่ใช่ผลลัพธ์ของ GPT-6.1 Sol และไม่มีเนื้อหาที่เผยแพร่ใดระบุว่าส่วนใดส่วนหนึ่งของข้อมูลนั้นมาจากโมเดล แทนที่จะมาจากตัวสแกนและมนุษย์ที่เกี่ยวข้อง
ยังมีตัวเลขหนึ่งที่แพร่หลายและมักถูกตีความผิดอยู่บ่อยครั้ง การวิเคราะห์ทุติยภูมิของการนำไปใช้งานนี้กล่าวถึงอัตราการปฏิเสธข้อเสนอแนะ 56.3% จากแบบสำรวจนักพัฒนาในปี 2026 — โดยไม่ได้ระบุผู้ให้บริการแบบสำรวจ ขนาดตัวอย่าง หรือวิธีการ การปฏิเสธไม่เหมือนกับผลบวกเท็จ: นักพัฒนาอาจปัดข้อค้นพบที่ถูกต้องทิ้งได้ เพราะมันอยู่นอกขอบเขต ถ้อยคำไม่ดี หรือเพียงเพราะไม่สะดวก ควรถือว่า 56.3% เป็นหลักฐานว่าสัญญาณรบกวนจากการตรวจทานมีต้นทุนสูง ไม่ใช่เป็นอัตราผลบวกเท็จที่วัดได้ เพราะยังไม่มีใครเผยแพร่อัตราดังกล่าว
ข้อควรระวังประการที่สามนั้นเฉพาะเจาะจงกับการออกแบบนี้ เนื่องจากแซนด์บ็อกซ์ส่งคืน "Inconclusive" เป็นผลลัพธ์ที่แยกต่างหาก ควบคู่กับ "Reproduced" และ "Not reproduced" ทีมที่คัดแยกอย่างรวดเร็วจะเรียนรู้ที่จะข้ามกลุ่มนั้นไป เมื่อการข้ามกลายเป็นนิสัย การแจ้งเตือนจะถูกปิดเสียงเป็นจำนวนมาก — รูปแบบความล้มเหลวแบบเดียวกับที่ทำให้เครื่องมือ SAST รุ่นเก่าถูกละเลยได้ง่าย ควรกันความสนใจไว้สำหรับผลลัพธ์ที่สรุปไม่ได้ หรือไม่เช่นนั้นเครื่องมือจะเสื่อมลงเป็นเพียงช่องทำเครื่องหมายเพื่อการปฏิบัติตามข้อกำหนด
ทั้งหมดนี้ไม่ได้โต้แย้งกับการรันการสแกนฟรี แต่โต้แย้งให้รันมันในฐานะการประเมินแบบก่อนและหลัง ไม่ใช่ในฐานะการแทนที่ การวางกรอบของ CodeRabbit เองจัดให้ Secure เป็นส่วนเสริมของเครื่องมือที่มีอยู่ และนั่นคือค่าเริ่มต้นที่ถูกต้อง: เก็บ Snyk, Semgrep หรือ CodeQL ไว้ในไปป์ไลน์ แล้ววัดว่าชั้นใหม่เข้ามาเพิ่มอะไรบนของเดิม มากกว่าวัดจากสิ่งที่มันกล่าวอ้างเกี่ยวกับตัวเอง
ด่านที่ไม่มีใครใส่ลงในข่าวประชาสัมพันธ์
OpenAI จัดประเภท GPT-6.1 Sol ว่าเป็น "ความมั่นคงปลอดภัยไซเบอร์ระดับวิกฤต และชีวภาพ/เคมีระดับสูง" และกำหนดเส้นทางการเข้าถึงผ่านชุดมาตรการป้องกันเดียวกับ GPT-6 Astra รวมถึง Trusted Access และ Daybreak ในทางปฏิบัติ นั่นหมายความว่าการใช้งานที่มีศักยภาพด้านไซเบอร์ถูกจำกัดด้วยเงื่อนไข และการจำกัดดังกล่าวก็ก่อให้เกิดผลบวกลวงขึ้นเอง
มีกรณีที่ถูกบันทึกไว้เป็นหลักฐาน วันที่ 3 ตุลาคม นักพัฒนาคนหนึ่งรายงานในฟอรัมชุมชนของ OpenAI ว่า การรีวิว pull request ด้าน AppSec แบบอ่านอย่างเดียวและเป็นการป้องกัน บนรีโพซิทอรีของตนเอง ถูกบล็อก outright ในฐานะเนื้อหาด้านความปลอดภัยไซเบอร์ที่ถูกจำกัด คำตอบจากฝ่ายสนับสนุนจัดให้สิ่งนี้อยู่ภายใต้ Daybreak Blue และ Trusted Access for Cyber นั่นเป็นรายงานจากผู้ใช้เพียงรายเดียว เทียบกับปริมาณคำขอที่สำเร็จซึ่งไม่ทราบจำนวน จึงไม่ใช่การวัด — แต่มันคือรูปแบบความล้มเหลวที่ต้องวางแผนรับมือ หากการรีวิวด้านความปลอดภัยเป็นส่วนหนึ่งที่ระบบผลิตต้องพึ่งพา ให้ถือว่าสัดส่วนหนึ่งของงานป้องกันที่ชอบด้วยกฎหมายจะถูกปฏิเสธ และเก็บเส้นทางหนึ่งที่ไม่ได้วิ่งผ่าน endpoint ที่ถูกควบคุมด้วยระบบอนุญาตไว้
Daybreak Defense Network เป็นอีกครึ่งหนึ่งของโครงสร้างนั้น เป็นโปรแกรมพันธมิตรของ OpenAI สำหรับนำโมเดลไซเบอร์ระดับแนวหน้าไปใส่ในผลิตภัณฑ์และบริการของผู้ให้บริการด้านความปลอดภัยที่ได้รับอนุมัติ แทนที่จะส่งตรงถึงมือลูกค้า โดยมีกระบวนการตรวจสอบตัวตน การทดสอบแบบจำกัดขอบเขต การบันทึกเหตุการณ์ และการกำกับดูแลโดยมนุษย์แนบมาด้วย การที่ CodeRabbit เข้าร่วม และวางแผนนำโมเดลไซเบอร์ GPT เฉพาะทางของ OpenAI เข้าสู่ CodeRabbit Secure ถือเป็นสัญญาณที่มีนัยสำคัญกว่าการเปลี่ยนโมเดลเสียอีก: บ่งชี้ว่าสแต็กการตรวจทานด้านความปลอดภัยกำลังถูกแยกออก โดยโมเดลการให้เหตุผลทั่วไปรับผิดชอบภาพรวม และโมเดลไซเบอร์ที่สร้างขึ้นเพื่อวัตถุประสงค์เฉพาะรับผิดชอบส่วนที่เสี่ยงที่สุด
รูปแบบที่ควรค่าแก่การลอกเลียนแบบ แม้คุณจะข้ามสินค้าทั้งสองชิ้นไปก็ตาม
ถ้าถอดแบรนดิ้งออก สิ่งที่ CodeRabbit เผยแพร่คือลูปสามขั้นที่ทีมใดก็ประกอบได้: ให้บริบททั้งรีโพซิทอรีแก่โมเดล รวมถึง dependencies ที่เชื่อมโยง บังคับให้ข้อค้นพบที่ต้องสงสัยผ่านการตรวจสอบโดยการรันในสภาพแวดล้อมแยก และส่งออก diff ที่ตรวจทานได้ให้มนุษย์ merge โมเดลเป็นส่วนที่เป็นกรรมสิทธิ์น้อยที่สุด แซนด์บ็อกซ์และ merge gate คือสิ่งที่ทำให้ผลลัพธ์น่าเชื่อถือ และทั้งสองอย่างเป็นสิ่งที่คุณควบคุม
นั่นก็เป็นวิธีที่ถูกที่สุดในการตัดสินว่าข้อเสนอฟรีคุ้มเวลาของคุณหรือไม่ เอารีพอซิทอรีที่มีช่องโหว่ซึ่งคุณแก้ไขไปเมื่อหลายเดือนก่อนมารันสแกน แล้วดูว่ามันตรวจพบปัญหานั้นหรือไม่ ใช้เวลานานแค่ไหน และมีส่วนใดของรายงานที่คุณจะลงมือทำจริง ๆ หากมันพบเคสที่ฝังไว้และเงียบในกรณีอื่น ๆ การจ่ายเงิน 5,000 ดอลลาร์ก็คุ้มค่าที่จะจ่ายก่อนวันที่ 8 พฤศจิกายน หากมันคืนผลลัพธ์ที่ไม่ชัดเจนมาเต็มไปหมด คุณก็ได้เรียนรู้สิ่งนั้นด้วยราคาเพียงบ่ายเดียว
สำหรับทีมที่สร้างลูปเองแทนที่จะซื้อ ชั้นการกำหนดเส้นทางคือจุดที่ความเสี่ยงด้านปฏิบัติการอยู่ การรันโมเดลที่ยังไม่ผ่านการพิสูจน์บนเส้นทางการตรวจสอบในโปรดักชันเป็นการเดิมพัน และ การสลับไปใช้ระบบสำรองอัตโนมัติคือวิธีรับความเสี่ยงนั้นโดยไม่ทำให้ไปป์ไลน์ขาดเมื่อผู้ให้บริการมีประสิทธิภาพลดลง — คำขอจะไปยังโมเดลสำรองแทนที่จะทำให้งานล้มเหลว ปลายทางเดียวกันให้บริการ GPT-6.1 Sol และโมเดลที่คุณจะสลับไปใช้สำรอง ดังนั้นการเปรียบเทียบจึงมีค่าใช้จ่ายเพียงการเปลี่ยนพารามิเตอร์ ไม่ใช่สัญญาที่สองและ SDK ที่สอง
จะทำอะไรกับสิบสองวันข้างหน้าดี
ข้อเสนอนี้ไม่ใช่การเปิดตัวโมเดล และไม่ควรประเมินในฐานะการเปิดตัวโมเดล GPT-6.1 Sol ถูกเรียกใช้งานได้ตั้งแต่ 29 กันยายน และผลการทดสอบมาตรฐานของมันได้รับการเผยแพร่ต่อสาธารณะตั้งแต่นั้นมา ความสามารถของมันไม่ได้เปลี่ยนแปลงใด ๆ ในสัปดาห์นี้ สิ่งที่เปลี่ยนไปคือผู้จำหน่ายด้านความปลอดภัยที่มีช่องทางการจัดจำหน่ายระดับองค์กรได้ประกาศสนับสนุนมันต่อสาธารณะ เผยแพร่เวิร์กโฟลว์การตรวจสอบที่เกี่ยวข้อง และกำหนดเส้นตายที่แน่นอนสำหรับการเข้าถึงฟรี
หากคุณดูแลทีมที่มีสมาชิกสองคนขึ้นไปและมีฐานโค้ดที่คุณกังวล คณิตศาสตร์ก็ง่ายมาก: เพดาน 5,000 ดอลลาร์, วงเงินแบบมาก่อนได้ก่อน และเหลือเวลาสิบเอ็ดวันหลังจากวันนี้ จองการสแกนกับรีพอซิทอรีที่แย่ที่สุดของคุณตอนนี้ ฝังบั๊กที่รู้อยู่แล้วหากคุณต้องการกลุ่มควบคุม และบันทึกสิ่งที่รายงานทำผิดให้ละเอียดพอๆ กับสิ่งที่ทำถูก หากคุณทำงานคนเดียว หรือโค้ดของคุณได้รับการตรวจโดยสแกนเนอร์ที่คุณไว้ใจอยู่แล้ว คำตอบตรงไปตรงมาคือประกาศนี้แทบไม่เปลี่ยนแปลงอะไรสำหรับคุณ — โมเดลนี้มีให้ใช้ก่อนข่าวประชาสัมพันธ์ และจะยังมีให้ใช้หลังเครดิตหมด
การเปรียบเทียบในบทความนี้2
ตรวจพบจากบทความนี้ · เบนช์มาร์ก: Artificial Analysis · อัปเดตทุกวัน
