OrcaCyber Zero 1.5 กับ OrcaCyber Zero 1.0: อะไรเปลี่ยนไป อะไรไม่เปลี่ยน และตัวเลขเหล่านั้นครอบคลุมอะไรบ้าง

ยี่สิบสามวันคั่นระหว่างหน้าของโมเดลทั้งสอง และความแตกต่างนั้นสั้นกว่าที่โพสต์เปิดตัวบอกเป็นนัย OrcaCyber Zero 1.5เปิดให้ใช้งานบนOrcaRouterเมื่อวันที่ 10 ตุลาคม 2026 ในฐานะรุ่นสืบทอดของOrcaCyber Zero 1.0 ประกาศพร้อมน้ำหนักที่อัปเดตและชุดผลการทดสอบมาตรฐานชุดใหม่ น้ำหนักอาจเป็นของใหม่ก็ได้ แต่เงื่อนไขเชิงพาณิชย์ไม่ใช่: ราคาอินพุต ราคาเอาต์พุต ราคาอ่านแคช หน้าต่างบริบท เพดานเอาต์พุต แฟล็กความสามารถ และระดับการเข้าถึง เหมือนกันระหว่างทั้งสองรุ่นทุกประการ จนถึงทศนิยมตำแหน่งสุดท้าย สิ่งที่เปลี่ยนไปคือหลักฐาน — แถวผลการทดสอบมาตรฐานที่เผยแพร่สี่แถว จากที่เคยมีเพียงหนึ่งแถว และแผงข้อมูลความหน่วงที่ตอนนี้วัดเป็นเวลาสามวันแทนที่จะเป็นเจ็ดวัน ทั้งสองรุ่นตอบสนองบนปลายทางที่เข้ากันได้กับ OpenAI เดียวกัน ดังนั้นการเปรียบเทียบจึงใช้เพียง model id ตัวเดียว ตัวเลขของโมเดลเองไม่ได้บอกอะไรเกี่ยวกับสิ่งที่เอเจนต์ที่สร้างบนโมเดลนั้นทำเมื่อมันทำงานแล้ว — บันทึกนั้นถูกเก็บแยกไว้ต่างหาก ในคลังเหตุการณ์ AI.

ฟิลด์ที่ไม่ได้ถูกย้าย

เริ่มตรงนี้ เพราะการเปิดตัวรุ่นสืบทอดชวนให้สันนิษฐานว่าพวกเขาได้ทำเช่นนั้น

• ราคา — $3.00 ต่อ 1M โทเค็นอินพุต, $7.50 ต่อ 1M เอาต์พุต, $0.75 ต่อ 1M อินพุตที่แคชไว้ เหมือนกันทั้งสองหน้า และไม่มีการเปลี่ยนแปลงนับตั้งแต่ Zero 1.0 เปิดตัวเมื่อวันที่ 17 กันยายน

• หน้าต่างบริบทและเพดานเอาต์พุต — 1,000,000 โทเค็นขาเข้า, 128,000 โทเค็นขาออก เหมือนกันทุกประการ และตัวเลขทั้งสองไม่เปลี่ยนแปลงไปจากโมเดลก่อนหน้า

• แฟล็กความสามารถ — `tools`, `json`, `reasoning` เหมือนกันทุกประการ ในลำดับเดียวกัน

• การเข้าถึง — ระดับ `sec-uncensored`, กลุ่ม `offensive`, `locked: true`. เหมือนกันทุกประการ และยังคงเป็นเกตที่เข้มงวดที่สุดบนแพลตฟอร์ม

นั่นคือทั้งหมดของแง่มุมเชิงพาณิชย์ของรุ่นสืบทอด และไม่มีส่วนใดขยับเลย ถ้าสิ่งที่คุณรออยู่คือโทเค็นที่ถูกกว่า บริบทที่ยาวขึ้น หรือช่องทางเข้าถึงที่ง่ายขึ้น สิ่งเหล่านั้นก็ไม่ได้มาถึงเลย

แถวเบนช์มาร์กนั่นแหละคือที่ที่รีลีสอยู่จริง

หน้าเพจของ Zero 1.0 แสดงแถว benchmark เพียงหนึ่งแถวพอดี: CyberGym Level 1 pass@1, 98.07%, ประเมินเมื่อวันที่ 17 กันยายน ส่วนหน้าเพจของ Zero 1.5 แสดงสี่แถว โดยทั้งหมดลงวันที่ 10 ตุลาคม:

• Cybench — 100% โดยมีคำขยายในวงเล็บว่า "การรันเอเจนต์โดยไม่มีข้อจำกัด"

• CVE-Bench — 95.8% และชื่อของแบบทดสอบเองก็บ่งบอกถึงการจำกัดขอบเขตให้แคบลง: "CVE-Bench (ชุดย่อยที่ประเมินได้)"

• HumanEval+ — 93.9%

• SWE-bench Pro V2 — 76.5% ซึ่งต่ำที่สุดในสี่ค่า และเป็นคะแนนด้านวิศวกรรมซอฟต์แวร์เพียงค่าเดียวในชุดนี้ ไม่ใช่คะแนนด้านความปลอดภัย

ทั้งห้าแถวเหล่านั้นในทั้งสองเจเนอเรชัน — สี่แถวที่นี่และแถว CyberGym บน Zero 1.0 — ผลิตโดยเรา และแต่ละแถวก็บอกเช่นนั้น: สี่แถวใหม่มี แหล่งที่มา: "orca" ส่วนแถวที่เก่ากว่ามี แหล่งที่มา: "orcarouter" ไม่มีแถวของบุคคลที่สามในทั้งสองหน้า และไม่มีแถวใดที่มีวันที่ประเมินไม่ใช่วันที่ที่เจเนอเรชันนั้นเปิดตัว เรื่องนี้สำคัญก่อนที่เปอร์เซ็นต์ใด ๆ จะถูกอ้างอิงที่อื่น เพราะรายการ benchmark ที่ไม่มีคอลัมน์แหล่งที่มาดูราวกับว่าตัวเลขมาจากแหล่งที่เป็นกลาง แต่ตัวเลขเหล่านี้ไม่ได้มาแบบนั้น

สิ่งที่โพสต์เปิดตัวมี และสิ่งที่มันละไว้

ตัวประกาศเองนั้นสั้น ส่วนที่ช่วยขายคือการ์ดลิงก์ของมัน: "API OrcaCyber Zero 1.5 แบบเสียบใช้ได้ทันทีกับ OpenAI SDK ใดก็ได้ — $3.00 / $7.50 ต่อ 1M โทเคน, p50 2947ms ผ่าน OrcaRouter ไม่บวกเพิ่ม ไม่ต้องย้ายระบบ API เดียว"

2947 ms นั้นไม่ใช่ตัวเลขที่อยู่บนหน้าโมเดลในวันนี้ หน้านั้นรายงาน p50 ที่ 3220 ms ทั้งคู่เป็นของเรา ทั้งคู่ซื่อตรง และช่องว่างระหว่างสองตัวเลขนี้คือเหตุผลที่ส่วนถัดไปมีอยู่: มีตัวเลขความหน่วงที่หมุนเวียนอยู่สำหรับโมเดลนี้ มากกว่าจำนวนการวัดที่อยู่เบื้องหลังมัน

ค่าความหน่วงสามค่าสำหรับโมเดลเดียว

• 2947 ms p50 — ในลิงก์การ์ดของโพสต์เปิดตัว

• 3220 ms p50, 9656 ms p95 — บนหน้าโมเดล โดยรวบรวมจากข้อมูลของวันที่อยู่ในช่วงเวลาที่แสดงอยู่ในปัจจุบัน

• 500 ms p50, 2.36 s p95 — มีรายงานในบทความหนึ่งว่าเป็นเวลาในการสร้างโทเคนแรก (time-to-first-token) ตลอดระยะเวลาเจ็ดวัน จากตัวอย่างที่บทความดังกล่าวระบุว่ามีขนาดเล็ก ในระดับประมาณ 1.3K โทเคนของปริมาณทราฟฟิก

นี่คือปริมาณที่แตกต่างกันสามแบบ ซึ่งวัด ณ เวลาที่แตกต่างกันสามช่วง และบนปริมาณงานที่แตกต่างกันสามระดับ ตัวเลขบนการ์ดเป็นภาพ ณ ขณะหนึ่ง ตัวเลขบนหน้าเป็นค่าสถิติรวมแบบเลื่อนที่เปลี่ยนทุกวัน ตัวที่สามคือ time-to-first-token ซึ่งเป็นความหน่วงก่อนที่โทเคนแรกจะปรากฏ และไม่ใช่เวลาที่ใช้จนตอบเสร็จ — เป็นการวัดที่เป็นมิตรกว่ามาก และไม่ใช่สิ่งเดียวกันเลย หากอ้างตัวเลขใดในสามตัวนี้โดยไม่มีคำกำกับประกอบ คุณก็ได้สร้างตัวที่สี่ขึ้นมา

ข้อมูลสามวันภายใต้ป้ายกำกับเจ็ดวัน

ทั้งสองหน้าแสดงป้ายกำกับบล็อกเวลาแฝงของตนว่า window_days: 7 และทั้งคู่ระบุแหล่งเดียวกัน: orcarouter-playground ซึ่งเป็นชุดเครื่องมือวัดของเราเอง ไม่ใช่คำกล่าวอ้างของผู้ขาย แต่ของ Zero 1.5 นั้นdaily อาร์เรย์มีสามรายการ — 10, 11 และ 12 ตุลาคม — ในขณะที่ของ Zero 1.0 มีเจ็ดรายการ ป้ายกำกับเจ็ดวันบนตัวอย่างสามวันไม่ใช่เรื่องโกหก แต่เป็นหน้าต่างที่ยังไม่เต็ม และทุกอย่างที่ปลายน้ำของมันสืบทอดฐานที่บางกว่า

• p50 — ตอนนี้ 3220 ms เทียบกับ 3691 ms สำหรับ Zero 1.0 ค่ารวมของ Zero 1.0 อิงอยู่บนปริมาณทราฟฟิกประมาณสองเท่า: 6.16 พันล้านโทเคนในเจ็ดวัน เทียบกับ 3.52 พันล้านในสามวัน

• ปริมาณงานส่งออก — 75.69 โทเคนต่อวินาที เทียบกับ 43.75 นี่คือการเปลี่ยนแปลงครั้งใหญ่ที่สุดเพียงรายการเดียวใน diff ทั้งหมด และเป็นสิ่งที่สัมผัสได้ชัดที่สุดในลูปแบบเอเจนต์ที่เรียกใช้งานหลายสิบครั้งต่อการตรวจสอบหนึ่งครั้ง

• อัตราข้อผิดพลาด — 0.13% เทียบกับ 1.20% ซึ่งดีขึ้นเกือบหนึ่งหลัก

• Uptime — ไม่มีค่าตัวเลข percent_24hอ่านค่าเป็น 0 และบล็อกมีhas_data: false ซึ่งหมายความว่าเปอร์เซ็นต์นั้นยังไม่เคยถูกคำนวณ ไม่ใช่เพราะบริการล่ม ทั้งสองเจเนอเรชันเหมือนกันตรงนี้ จึงไม่มีอะไรที่ตีความได้จากความแตกต่าง

สิ่งที่อาร์เรย์รายวันเพิ่มเข้ามาคือทิศทาง และทั้งสองชี้ไปในทางตรงกันข้าม:

• Zero 1.0, เจ็ดวัน — 3663, 4614, 3408, 3729, 3791, 2152, 1946 ms. สองวันที่ดีที่สุดคือสองวันล่าสุด

• Zero 1.5 สามวัน — 2965, 3289, 3416 ms วันที่แย่ที่สุดคือวันที่ล่าสุด และ p95 ของมันแตะเพดาน 10000 ms แล้ว

สามจุดไม่ใช่แนวโน้ม และสัปดาห์เปิดตัวก็เป็นตัวอย่างที่แย่ที่สุดเท่าที่จะเป็นไปได้ที่จะใช้สรุปอ้างอิงถึง: ปริมาณการเข้าชมไม่เป็นตัวแทน โมเดลกำลังถูกทดสอบโดยทุกคนที่เพิ่งได้รับสิทธิ์เข้าใช้งาน และแคชยังเย็นอยู่ การตีความแผงข้อมูลตามที่เป็นอยู่ในตอนนี้อย่างตรงไปตรงมาคือ Zero 1.5 เร็วกว่า Zero 1.0 โดยรวม แต่ช้ากว่าในแต่ละวันนับตั้งแต่เปิดตัว ครึ่งหลังของประโยคนั้นจะไม่ยุติธรรมถ้าพูดหลังจากเจ็ดวัน และยังมีหลักฐานสนับสนุนไม่พอหลังจากสามวัน จับตาดูตัวเลขไว้ อย่าลงมือทำอะไรกับมัน

100% บน Cybench คือ 100% ของอะไร

เปอร์เซ็นต์สี่ค่า คำกำกับที่แตกต่างกันสี่คำ และความหมายอยู่ที่คำกำกับเหล่านั้นนั่นเอง

• Cybench — แถวนั้นระบุว่า "การทำงานของเอเจนต์แบบไม่จำกัด" ซึ่งอธิบายว่าการประเมินได้รับการตั้งค่าไว้อย่างไร ไม่ใช่สิ่งที่บัญชีที่ชำระเงินได้รับอนุญาตให้ทำ เบนช์มาร์กนี้สร้างขึ้นโดยอิงกับงาน capture-the-flag ระดับมืออาชีพ และบทความวิเคราะห์ชิ้นหนึ่งตีความว่า 100% นั้นหมายถึง 39 จาก 40 งานที่มีอยู่ในนั้น การทำภารกิจ CTF ให้สำเร็จก็เป็นความสำเร็จที่แตกต่างจากการค้นหาช่องโหว่ที่ยังไม่มีใครเผยแพร่วิธีแก้

• CVE-Bench — แถวนั้นระบุว่า "เซตย่อยที่ประเมินได้" และโพสต์เปิดตัวได้ให้ตัวหารไว้ นั่นคือ 23 จาก 24 มาตรฐานนี้สร้างขึ้นจากชุด CVE ของเว็บที่มีความรุนแรงระดับวิกฤต ดังนั้นคะแนนของเซตย่อยจึงเปลี่ยนไปเมื่องานที่ถูกตัดออกเปลี่ยน และเกณฑ์การตัดออกก็ไม่ได้เผยแพร่ต่อสาธารณะ

• SWE-bench Pro V2 — 76.5% และโดยเฉพาะอย่างยิ่งไม่สามารถเปรียบเทียบได้กับ SWE-bench รูปแบบอื่น ข้อแตกต่างนี้จะหายไปในทันทีที่ตัวเลขนั้นถูกนำไปวางไว้ข้างผลลัพธ์ SWE-bench แบบธรรมดา ซึ่งเป็นสิ่งที่มักเกิดขึ้นกับมัน

• HumanEval+ — 93.9% และเป็นแถวเดียวที่ไม่มีตัวกำกับพิเศษใด ๆ ต่อท้าย

98% นั้นเป็นของ harness ไม่ใช่ของโมเดล

ตัวเลขที่น่าจะถูกอ้างอิงควบคู่ไปกับ Zero 1.5 มากที่สุดคือ 98.07% และมันไม่ใช่ของ Zero 1.5 มันเป็นผลลัพธ์ CyberGym Level 1 ของ Zero 1.0 และหน้าของ Zero 1.0 เองก็อธิบายโมเดลนั้นว่า "โมเดลระดับแนวหน้าใน OrcaCyber Harness" — ซึ่งหมายความว่าคะแนนที่รายงานเป็นคุณสมบัติของ harness: โมเดลบวกกับความจำ ขั้นตอนการตรวจสอบ และสภาพแวดล้อมการทำงานของมัน ไม่ใช่ตัวโมเดลเพียงอย่างเดียว อ่านตาราง benchmark สองตารางเป็นความก้าวหน้าหนึ่งเดียว แล้วคุณจะสรุปได้ว่า 98.07 กลายเป็น 100 นั่นคือ benchmark สองแบบที่แตกต่างกัน ซึ่งรันโดยการตั้งค่าสองแบบที่แตกต่างกันของสองรุ่นที่แตกต่างกัน

ในขณะที่เรากำลังพูดถึงเรื่องนี้ มีความคลาดเคลื่อนเล็กน้อยที่ควรชี้ให้เห็น บทความชิ้นหนึ่งระบุว่าการรัน CyberGym อยู่ที่ 1,477 จาก 1,507 งาน และ 98.01%; หน้าของเราระบุว่าอยู่ที่ 1,478 จาก 1,507 และ 98.07% เศษส่วนทั้งสองสอดคล้องกันเองภายใน และเรายังไม่ได้กระทบยอดทศนิยมตำแหน่งที่สามตรงนี้ ให้ถือว่ายังไม่ยุติ ดีกว่าเลือกอันที่อ่านแล้วดูดีกว่า

ราคายังคงที่ และนั่นคือส่วนที่น่าสนใจ

• $3.00 / $7.50 / $0.75 ต่อ 1M โทเค็น โดยไม่เปลี่ยนแปลงตลอดการเปิดตัว

• **สำหรับ ราคาของ OrcaRouter ราคาตามรายการของผู้ให้บริการจะถูกส่งผ่านโดยไม่มีการบวกเพิ่ม** — มาร์กอัป 0% ดังนั้น การเปลี่ยนแปลงราคาของผู้ขายจะมาถึงฝั่งเราในวันเดียวกัน แทนที่จะเป็นหลังรอบการปรับราคา และเอนด์พอยต์เดียวที่มีคีย์เดียวและบิลเดียวคือที่ที่ค่าใช้จ่ายจากหลายโมเดลถูกกระทบยอด

• ราคาโทเคนเป็นข้อโต้แย้งเชิงพาณิชย์ที่แข็งแกร่งที่สุดของการเปิดตัวซึ่งสวนทางกับสิ่งที่โมเดลความปลอดภัยที่มีการควบคุมการเข้าถึงเทียบเคียงกันมีรายงานว่าคิดค่าบริการ — มากกว่าถึงหนึ่งหลัก อย่างน้อยในกรณีหนึ่ง สำหรับโมเดลที่ไม่ได้เผยแพร่ราคาโทเคนเลย

• หน่วยที่ใช้ตัดสินใจซื้อไม่ใช่โทเคน การสืบสวนด้านความปลอดภัยมีการเรียกโมเดลหลายสิบครั้ง อ่านรีพอซิทอรีเดิมซ้ำ เรียกใช้เครื่องมือภายนอก และแก้ไขข้อสรุปของตนก่อนที่ข้อค้นพบจะได้รับการยอมรับ ดังนั้นอินพุตที่แคชไว้ในอัตราหนึ่งในสี่ของอัตราอินพุตจึงสำคัญที่นี่มากกว่าในงานแชต สิ่งที่ผู้ซื้อควรวัดคือต้นทุนต่อข้อค้นพบที่ผ่านการตรวจสอบยืนยันแล้ว ซึ่งไม่ใช่ตัวเลขที่หน้าโมเดลทั้งสองเผยแพร่

ประตูก็ไม่เปลี่ยนเช่นกัน

การเข้าถึงยังคงดำเนินผ่านระดับ Security Research: tier sec-uncensored, band offensive, locked: true กระบวนการที่เผยแพร่ต้องมีการว่าจ้าง พาสคีย์ และการยอมรับข้อกำหนด ซึ่งเป็นด่านโดยเจตนา ไม่ใช่ข้อจำกัดด้านความสามารถ — การจำลองช่องโหว่และการทดสอบเจาะระบบเป็นปฏิบัติการเดียวกัน ไม่ว่าเป้าหมายจะยินยอมหรือไม่ก็ตาม

หนึ่งบรรทัดจากข่าวการเปิดตัวที่ควรค่าแก่การกล่าวซ้ำ เพราะมันเป็นส่วนที่คงอยู่ต่อไปหลังการเปิดตัว: ข้อจำกัดระดับโมเดลและการควบคุมการเข้าถึง API ไม่ได้แทนที่การอนุญาตระดับแอปพลิเคชัน เอเจนต์ด้านความปลอดภัยไม่ควรสืบทอดสิทธิ์ในการแก้ไขระบบ อ่านข้อมูลโปรดักชัน หรือดำเนินการที่ละเอียดอ่อน เพียงเพราะโมเดลที่อยู่ข้างใต้สามารถให้เหตุผลเกี่ยวกับการดำเนินการเหล่านั้นได้ ระดับชั้นเป็นตัวกำหนดว่าใครอาจถือกุญแจได้ มันไม่ได้กำหนดว่ากุญแจนั้นอาจแตะต้องอะไร

ยังขาดอะไรอีก รวมถึงจากหน้าของเราเองด้วย

• Zero 1.5 ไม่มีแท็กไลน์ ไม่มีภาพรวม และไม่มีกรณีการใช้งาน ทั้งสามฟิลด์ถูกกรอกบน Zero 1.0 — แท็กไลน์เต็ม ภาพรวมที่ระบุชื่อฮาร์เนสและตัวเลข CyberGym และกรณีการใช้งานที่ทำไว้สี่กรณี หน้าของรุ่นสืบทอดมีlong_description ที่ยาวกว่า (791 ตัวอักษร เทียบกับ 626) และนั่นคือข้อความทั้งหมด ซึ่งเริ่มต้นด้วยหัวข้อตามตัวอักษร "การประเมินที่ผู้ขายรายงาน:". เท่าที่หน้าอธิบายตัวเอง มันอธิบายตัวเลขของตัวเอง

• ไม่มีการระบุจำนวนพารามิเตอร์ ไม่มีสถาปัตยกรรม ไม่มีองค์ประกอบของข้อมูลฝึก — เป็นจริงกับทั้งสองรุ่น และเป็นเหตุผลที่ว่าเหตุใดเปอร์เซ็นต์สองค่าจากสองเบนช์มาร์กจึงไม่อาจระบุได้ว่าเป็นของโมเดลหรือของสแคฟโฟลด์

• ไม่มีรายงานทางเทคนิคสำหรับ 1.5 Zero 1.0 มีฉบับหนึ่ง ซึ่งเป็นที่ที่มีการอธิบายกรอบฮาร์เนสของมันไว้

• ไม่มีการทำซ้ำอย่างอิสระของตัวเลขใด ๆ ในทั้งสองหน้า

• ไม่มีการกล่าวถึงเลย บล็อกความคิดเห็น (sentiment) บน Hacker News ระบุว่า mentions_7d: 0 และ mentions_prev_7d: 0 สำหรับทั้งสองโมเดล สำหรับการเปิดตัวด้านความปลอดภัยระดับแนวหน้า ตัวมันเองคือสัญญาณ และมันชี้ไปที่เกตมากกว่าตัวโมเดล: โมเดลที่คนส่วนใหญ่เรียกใช้ไม่ได้ ย่อมไม่ถูกพูดถึง

ใครควรย้าย และใครควรรอ

หากคุณมีสิทธิ์การเข้าถึง Security Research อยู่แล้ว และกำลังใช้งาน Zero 1.0 อยู่ ก็ไม่มีอะไรต้องเจรจาใหม่และไม่มีการย้ายระบบที่ต้องจัดตารางเวลา: เอนด์พอยต์เดิม ราคาเดิม รูปแบบคำขอเดิม ดังนั้นการสลับก็แค่ model id หนึ่งตัว การปรับปรุงด้านทรูพุตและอัตราข้อผิดพลาดที่วัดได้คือเหตุผลที่ควรลองใช้งาน และสิ่งเหล่านี้มาจากชุดวัดของเราเอง ไม่ใช่มาจากการรัน benchmark โดยทีมของโมเดลเอง ซึ่งหมายความว่าคุณสามารถตรวจสอบกับทราฟฟิกของคุณเองได้ แทนที่จะต้องเชื่อโดยไม่ตรวจสอบ

หากคุณไม่ได้ถือระดับนี้ การเปิดตัวนี้จะไม่เปลี่ยนแปลงตำแหน่งของคุณแม้แต่โทเคนเดียว — เกต ราคา และหน้าต่างบริบทยังคงอยู่ที่เดิมทุกประการ

สิ่งที่ต้องรอคือแผงค่าแลเทนซี Zero 1.5 เร็วกว่ารุ่นก่อนเมื่อดูจากข้อมูลสามวัน แต่ช้ากว่าในทุกวันติดต่อกันของสามวันนั้น และหน้าต่างเจ็ดวันที่จะชี้ขาดว่าข้อเท็จจริงข้อใดในสองข้อนั้นเป็นของจริงยังไม่ปิดลง กลับมาอ่านหน้านี้อีกครั้งในสัปดาห์หน้า ถ้า p50 รายวันยังคงไต่ขึ้นเกิน 3416 ms ตัวเลขรวมบนการ์ดคือตัวที่ผิด