OrcaCyber Zero 1.5 לעומת OrcaCyber Zero 1.0: מה השתנה, מה לא, ומה המספרים מכסים

עשרים ושלושה ימים מפרידים בין שני דפי המודל, וההבדל קצר יותר ממה שפוסט ההשקה מרמז. OrcaCyber Zero 1.5 עלה לאוויר ב-OrcaRouter ב-10 באוקטובר 2026 כיורש של OrcaCyber Zero 1.0, שהוכרז עם משקלים מעודכנים ועם סט חדש של תוצאות בנצ'מרק. בהחלט ייתכן שהמשקלים חדשים. התנאים המסחריים אינם חדשים: מחיר קלט, מחיר פלט, מחיר קריאה מהמטמון, חלון הקשר, תקרת פלט, דגלי יכולות ורמת גישה זהים בין שני הדורות, עד הספרה העשרונית האחרונה. מה שהשתנה הוא הראיות — ארבע שורות בנצ'מרק שפורסמו במקום שורה אחת שהייתה קודם, ופאנל השהיה שנמדד כעת על פני שלושה ימים במקום שבעה. שני הדורות מגיבים באותה נקודת קצה תואמת OpenAI, כך שההשוואה מסתכמת במזהה מודל אחד. המספרים של המודל עצמו לא אומרים דבר על מה שסוכן שנבנה עליו עושה כשהוא פועל — התיעוד הזה נשמר בנפרד, בארכיון אירועי AI.

השדות שלא זזו

התחל כאן, כי גרסה עוקבת מזמינה את ההנחה שהם עשו זאת.

• מחיר — $3.00 לכל 1M טוקני קלט, $7.50 לכל 1M פלט, $0.75 לכל 1M קלט שמור במטמון. זהה בשני הדפים, וללא שינוי מאז ששוחרר Zero 1.0 ב-17 בספטמבר.

• חלון הקשר ותקרת הפלט — 1,000,000 טוקנים בקלט, 128,000 טוקנים בפלט. זהה, ושתי הספרות ללא שינוי מהמודל הקודם.

• דגלי יכולות — `tools`, `json`, `reasoning`. זהים, באותו סדר.

• גישה — דרג `sec-uncensored`, רצועה `offensive`, `locked: true`. זהה לחלוטין, ועדיין השער המחמיר ביותר בפלטפורמה.

זו כל החזית המסחרית של היורש, ושום דבר ממנה לא זז. אם מה שחיכית לו היה טוקן זול יותר, הקשר ארוך יותר או דרך כניסה קלה יותר, אף אחד מאלה לא הגיע.

שורות הבנצ'מרק הן המקום שבו המהדורה למעשה נמצאת

העמוד של Zero 1.0 מפרט בדיוק שורת בנצ'מרק אחת: CyberGym Level 1 pass@1, ‏98.07%, הוערך ב-17 בספטמבר. העמוד של Zero 1.5 מפרט ארבע, כולן מתאריך 10 באוקטובר:

• Cybench — 100%, עם ההסתייגות בסוגריים "הרצת סוכן בלתי מוגבלת."

• CVE-Bench — 95.8%, ושם הבנצ'מרק עצמו טומן בחובו את הצמצום: "CVE-Bench (תת-קבוצה ניתנת להערכה)."

• HumanEval+ — 93.9%.

• SWE-bench Pro V2 — 76.5%, הנמוך מבין הארבעה והציון היחיד בקבוצה שהוא של הנדסת תוכנה ולא של אבטחה.

כל אחת מחמש השורות הללו בשתי הדורות — ארבע כאן ושורת CyberGym ב-Zero 1.0 — הופקה על ידינו, וכל שורה אומרת זאת: ארבע החדשות נושאות source: "orca", הישנה יותר source: "orcarouter". אין שורת צד שלישי באף אחד מהעמודים, ואין שורה שתאריך ההערכה שלה אינו היום שבו אותו דור הושק. זה חשוב לפני שאחוזים כלשהם מצוטטים במקום אחר, כי רשימת בנצ'מרק בלי עמודת מקור נקראת כאילו המספרים הגיעו ממקום ניטרלי. הם לא.

מה הכיל פוסט ההשקה, ומה הוא השמיט

ההכרזה עצמה קצרה. כרטיס הקישור שלה עושה את המכירה: "API Drop-in של OrcaCyber Zero 1.5 לכל OpenAI SDK — $3.00 / $7.50 למיליון טוקנים, p50 2947ms דרך OrcaRouter. אפס תוספת מחיר. אפס מיגרציה. API אחד."

ה-2947 ms הזה אינו המספר שמופיע בדף המודל היום. הדף מדווח על p50 של 3220 ms. שניהם שלנו, שניהם כנים, והפער ביניהם הוא הסיבה לכך שהסעיף הבא קיים: יש יותר נתוני השהיה בתפוצה עבור המודל הזה מאשר מדידות שעומדות מאחוריהם.

שלושה מספרי השהיה עבור מודל אחד

• 2947 ms p50 — בכרטיס הקישור של פוסט ההשקה.

• 3220 ms p50, 9656 ms p95 — בעמוד המודל, במצטבר על פני הימים שנמצאים כעת בחלון שלו.

• 500 ms p50, 2.36 s p95 — דווח באחד המאמרים כזמן עד לאסימון הראשון על פני שבעה ימים, מדגם שהוא מתאר כקטן, בסדר גודל של 1.3K אסימוני תעבורה.

אלה שלוש כמויות שונות שנמדדות בשלושה זמנים שונים על פני שלושה נפחים שונים. הנתון בכרטיס הוא תמונת מצב. הנתון בעמוד הוא מצרף מתגלגל שמשתנה מדי יום. השלישי הוא זמן עד לאסימון הראשון, כלומר ההשהיה לפני הופעת האסימון הראשון ולא הזמן שנדרש כדי לסיים תגובה — מדידה ידידותית הרבה יותר, ובכלל לא אותו דבר. צטט כל אחד מהשלושה בלי הסייג שלו, והמצאת רביעי.

שלושה ימים של נתונים תחת תווית של שבעה ימים

שני העמודים מתייגים את בלוק ההשהיה שלהם window_days: 7, ושניהם מציינים את אותו מקור: orcarouter-playground, מערך המדידה שלנו ולא טענה של ספק. אבל המערך daily של Zero 1.5 מכיל שלושה ערכים — 10, 11 ו-12 באוקטובר — בעוד שזה של Zero 1.0 מכיל שבעה. תווית של שבעה ימים על מדגם של שלושה ימים אינה שקר; זהו חלון שטרם התמלא, וכל מה שבמורד הזרם ממנו יורש את הבסיס הדק יותר.

• p50 — 3220 ms כעת, לעומת 3691 ms עבור Zero 1.0. המצטבר של Zero 1.0 נשען על תעבורה כפולה בערך: 6.16 מיליארד טוקנים על פני שבעה ימים לעומת 3.52 מיליארד על פני שלושה.

• תפוקת פלט — 75.69 טוקנים לשנייה לעומת 43.75. השינוי הבודד הגדול ביותר בכל ה-diff, וזה שסביר מכל שיורגש בלולאה אג'נטית שמבצעת עשרות קריאות בכל חקירה.

• שיעור שגיאות — 0.13% לעומת 1.20%, קרוב לסדר גודל טוב יותר.

• זמן פעילות — אין נתון. percent_24h מציג 0 והבלוק מכיל has_data: false, מה שאומר שהאחוז מעולם לא חושב ולא שהשירות היה מושבת. שני הדורות זהים כאן, כך שאין לייחס משמעות להבדל.

מה שהמערכים היומיים מוסיפים הוא כיוון, והשניים מצביעים לכיוונים מנוגדים:

• Zero 1.0, שבעה ימים — 3663, 4614, 3408, 3729, 3791, 2152, 1946 מ״ש. שני הימים הטובים ביותר הם השניים האחרונים.

• Zero 1.5, שלושה ימים — 2965, 3289, 3416 ms. היום הגרוע ביותר הוא האחרון, וה-p95 שלו כבר נגע בתקרת 10000 ms.

שלוש נקודות אינן מגמה, ושבוע השקה הוא המדגם הגרוע ביותר האפשרי להכליל ממנו: התנועה אינה מייצגת, המודל מופעל על ידי כל מי שזה עתה קיבל גישה, והמטמונים קרים. הקריאה הכנה של הפאנל כפי שהוא כעת היא ש-Zero 1.5 מהיר יותר מ-Zero 1.0 במצטבר ואיטי יותר בכל יום מאז שהושק. המחצית השנייה של המשפט הזה תהיה לא הוגנת לומר אחרי שבעה ימים, והיא חסרת ביסוס אחרי שלושה. עקוב אחר המספר; אל תפעל לפיו.

100% ב-Cybench זה 100% של מה?

ארבעה שיעורים באחוזים, ארבעה מסייגים שונים, והמשמעות שוכנת במסייגים.

• Cybench — השורה אומרת "הרצת סוכן ללא הגבלה", שמתארת כיצד הוגדרה ההערכה, לא את מה שחשבון בתשלום רשאי לעשות. הבנצ'מרק בנוי סביב משימות CTF מקצועיות, וניתוח אחד מפרש את ה־100% כ־39 מתוך 40 המשימות שהוא מכיל. השלמת משימת CTF היא גם הישג שונה מלמצוא פגיעות שאף אחד לא פרסם עבורה פתרון.

• CVE-Bench — השורה אומרת "תת-קבוצה ניתנת להערכה", ופוסט ההשקה מספק את המכנה: 23 מתוך 24. הבנצ'מרק בנוי על קבוצה של פגיעויות CVE קריטיות ברשת, כך שציון תת-קבוצה משתנה כאשר המשימות המוחרגות משתנות, וקריטריוני ההחרגה אינם מפורסמים.

• SWE-bench Pro V2 — 76.5%, ובאופן ספציפי אין להשוות אותו לווריאנטים אחרים של SWE-bench. ההבחנה הזו נעלמת ברגע שהמספר מוצב לצד תוצאת SWE-bench רגילה, וזה מה שבדרך כלל קורה לו.

• HumanEval+ — 93.9%, והשורה היחידה שאליה לא מצורף סייג יוצא דופן.

ה-98% שייכים להארנס, לא למודל

המספר שסביר ביותר שיצוטט לצד Zero 1.5 הוא 98.07%, והוא אינו של Zero 1.5. זהו התוצאה של Zero 1.0 ב-CyberGym Level 1, והעמוד של Zero 1.0 עצמו מתאר את המודל הזה בתור"המודל בדרגת החזית ב-OrcaCyber Harness" — כלומר, הציון המדווח הוא תכונה של ה-harness: המודל יחד עם הזיכרון שלו, שלבי האימות שלו וסביבת ההרצה שלו, ולא המודל בפני עצמו. קראו את שתי טבלאות הבנצ'מרק כהתקדמות אחת ותסיקו ש-98.07 הפך ל-100. אלה שני בנצ'מרקים שונים שנמדדו בשתי קונפיגורציות שונות של שני דורות שונים.

יש אי־התאמה קטנה יותר ששווה לסמן בזמן שאנחנו כבר בנושא. תיאור אחד מציג את הריצה של CyberGym כ־1,477 מתוך 1,507 משימות ו־98.01%; העמוד שלנו מציג אותה כ־1,478 מתוך 1,507 ו־98.07%. שני השברים עקביים מבחינה פנימית, ולא יישבנו כאן את הספרה העשרונית השלישית. התייחסו לכך כלא־מיושב במקום לבחור במה שנראה טוב יותר.

המחיר החזיק מעמד, וזה החלק המעניין.

• $3.00 / $7.50 / $0.75 ל-1M טוקנים, ללא שינוי לאורך כל הגרסה.

• **בנוגע לתמחור של OrcaRouter, מחיר המחירון של הספק מועבר הלאה ללא כל תוספת** — 0% מרווח. לכן שינוי מחיר של ספק נוחת אצלנו באותו היום ולא לאחר מחזור תמחור מחדש, ונקודת קצה אחת עם מפתח אחד וחשבון אחד היא המקום שבו מתקזזת ההוצאה על פני כמה מודלים.

• מחיר הטוקן הוא הטיעון המסחרי החזק ביותר של ההשקה, בעומדו מול מה שלפי הדיווחים גובים מודלי אבטחה מגודרת דומים — יותר בסדר גודל, במקרה אחד לפחות, עבור מודל שאין לו כלל מחיר טוקן מפורסם.

• היחידה שמכריעה רכישה היא לא הטוקן. חקירת אבטחה מריצה עשרות קריאות למודל, קוראת מחדש את אותו מאגר, מפעילה כלים חיצוניים ומתקנת את מסקנותיה לפני שממצא מתקבל, ולכן קלט שמור במטמון ברבע מתעריף הקלט חשוב כאן יותר מאשר בעומס עבודה של צ׳אט. מה שרוכש צריך למדוד הוא עלות לכל ממצא מאומת, וזה מספר ששום דף מודל לא מפרסם.

גם השער לא השתנה

הגישה עדיין עוברת דרך שכבת Security Research: שכבה sec-uncensored, רצועה התקפית, נעול: true. התהליך המפורסם דורש את ההתקשרות, מפתח גישה ותנאים מאושרים, שזהו שער מכוון ולא שער של יכולת — שחזור פגיעויות ובדיקות חדירה הן אותן פעולות בין אם היעד הסכים להן ובין אם לא.

שורה אחת מסיקור ההשקה ראויה לחזרה, משום שהיא החלק ששורד את ההשקה: הגבלות ברמת המודל ובקרות גישה ל-API אינן מחליפות הרשאה ברמת היישום. סוכן אבטחה לא צריך לרשת הרשאה לשנות מערכות, לקרוא נתוני ייצור או לבצע פעולות רגישות רק מפני שהמודל שמתחתיו מסוגל להפעיל שיקול דעת לגבי פעולות אלה. הדרגה קובעת מי רשאי להחזיק במפתח. היא אינה קובעת במה המפתח רשאי לגעת.

מה עדיין חסר, כולל מהעמוד שלנו

• ל-Zero 1.5 אין סלוגן, אין סקירה ואין מקרי שימוש. כל שלושת השדות מאוכלסים ב-Zero 1.0 — סלוגן מלא, סקירה שמציינת את ההרנס ואת נתון ה-CyberGym, וארבעה מקרי שימוש מפורטים. הדף של היורש מכיל גרסה ארוכה יותר של long_description (791 תווים לעומת 626) וזהו כל הטקסט, שנפתח בכותרת המילולית "הערכות שדווחו על ידי הספק:". במידה שהדף מתאר את עצמו, הוא מתאר את המספרים שלו.

• אין מספר פרמטרים, אין ארכיטקטורה, אין הרכב נתוני אימון — נכון לשני הדורות, והסיבה לכך ששני אחוזים משני מבחני מידוד אינם ניתנים לייחוס למודל לעומת שלד.

• אין דוח טכני ל-1.5. ל-Zero 1.0 היה אחד, ושם הוסבר מסגור ה-harness שלו.

• אין שכפול עצמאי של אף נתון באף אחד מהעמודים.

• אפס אזכורים. בלוק הסנטימנט של Hacker News מציג mentions_7d: 0 וגם mentions_prev_7d: 0 עבור שני המודלים. עבור גרסת אבטחה חזיתית, זה כשלעצמו אות, והוא מצביע על השער ולא על המודל: מודל שרוב האנשים לא יכולים לקרוא לו לא זוכה לדיון.

מי צריך לזוז, ומי צריך לחכות

אם כבר יש לך גישת Security Research ואתה מריץ Zero 1.0, אין מה לנהל משא ומתן מחדש ואין הגירה לתזמן: אותו endpoint, אותו מחיר, אותה צורת בקשה, כך שהמעבר הוא מזהה מודל אחד. השיפורים שנמדדו בתפוקה ובשיעור השגיאות הם הסיבה לנסות אותו, והם מגיעים ממערך המדידה שלנו ולא מבנצ'מרק שהורץ על ידי הצוות של המודל עצמו, מה שאומר שאתה יכול לבדוק אותם מול התעבורה שלך במקום לקבל אותם באמונה.

אם אינך מחזיק בדרגה, השחרור הזה לא משנה את עמדתך ולו בטוקן אחד — השער, המחיר וחלון ההקשר נמצאים כולם בדיוק במקום שבו היו.

הדבר שיש להמתין לו הוא פאנל ההשהיה. Zero 1.5 מהיר יותר מקודמו על סמך שלושה ימים של נתונים, אך איטי יותר בכל אחד משלושת הימים האלה ברצף, וחלון שבעת הימים שיכריע איזו משתי העובדות האלה היא האמיתית עדיין לא נסגר. קרא שוב את הדף בשבוע הבא. אם ה-p50 היומי עדיין מטפס מעבר ל-3416 ms, המספר המצטבר שעל הכרטיס הוא זה שהיה שגוי.