بطاقة عنوان: بطاقتا نموذج موسومتان بـ OrcaCyber Zero 1.5 وOrcaCyber Zero 1.0 مع لوحة مقسّمة تحدّد الحقول التي تغيّرت بين الإصدارين والحقول التي بقيت متطابقة
Guides & Insights

أوركا سيبر زيرو 1.5 مقابل أوركا سيبر زيرو 1.0: ما الذي تغيّر، وما الذي لم يتغيّر، وما الذي تغطّيه الأرقام

الكاتب

Rowan Sterling

تاريخ النشر

أحدث النماذج · 20عرض جميع النماذج →
المعايير: Artificial Analysis · يُحدَّث يوميًا
العودة إلى جميع المقالات

يفصل ثلاثة وعشرون يومًا بين صفحتي الطرازين، والفرق أقصر مما يوحّي به منشور الإطلاق. OrcaCyber Zero 1.5 صدر على OrcaRouter في 10 أكتوبر 2026 خلفًا لـOrcaCyber Zero 1.0، وأُعلن عنه بأوزان محدَّثة ومجموعة جديدة من نتائج المعايير. قد تكون الأوزان جديدة فعلًا. أما الشروط التجارية فليست كذلك: سعر الإدخال، وسعر الإخراج، وسعر قراءة الذاكرة المؤقتة، ونافذة السياق، والحد الأقصى للإخراج، وعلامات القدرات، ومستوى الوصول — كلها متطابقة بين الجيلين، حتى آخر رقم عشري. الذي تحرّك هو الأدلة — أربعة صفوف معايير منشورة حيث كان هناك صف واحد، ولوحة لزمن الاستجابة تُقاس الآن على مدى ثلاثة أيام بدلًا من سبعة. كلا الجيلين يستجيب على نقطة النهاية نفسها المتوافقة مع OpenAI، لذا لا تكلّف المقارنة سوى معرّف طراز واحد. أرقام الطراز نفسه لا تقول شيئًا عمّا يفعله وكيل مبنيّ عليه بعد تشغيله — فذلك السجل يُحفظ على حدة، في أرشيف حوادث الذكاء الاصطناعي.

الحقول التي لم تتحرك

ابدأ من هنا، لأن إصدارًا لاحقًا يغري بافتراض أنهم فعلوا ذلك.

• السعر — 3.00 دولارات لكل مليون رمز إدخال، و7.50 دولارات لكل مليون رمز إخراج، و0.75 دولار لكل مليون رمز إدخال مخزّن مؤقتًا. متطابق في كلتا الصفحتين، ولم يتغيّر منذ إطلاق Zero 1.0 في 17 سبتمبر.

• نافذة السياق وسقف الإخراج — 1,000,000 رمز إدخال، و128,000 رمز إخراج. متطابقان، وكلا الرقمين لم يتغيرا عن النموذج السابق.

• أعلام الإمكانات — `tools`، `json`، `reasoning`. متطابقة، وبنفس الترتيب.

• الوصول — المستوى `sec-uncensored`، والنطاق `offensive`، و`locked: true`. متطابق، ولا تزال البوابة الأكثر صرامة على المنصة.

هذه هي كامل الواجهة التجارية للخلف، ولم يتغيّر منها شيء. إذا كان ما تنتظره هو رمز أرخص، أو سياق أطول، أو طريقة أسهل للدخول، فلم يصل أيٌّ من ذلك.

صفوف القياس المرجعي هي حيث يوجد الإصدار فعليًا

تعرض صفحة Zero 1.0 صفًا واحدًا فقط من صفوف المعايير: CyberGym Level 1 pass@1، بنسبة 98.07%، بُتقييم 17 سبتمبر. أما صفحة Zero 1.5 فتعرض أربعة صفوف، جميعها بتاريخ 10 أكتوبر:

• Cybench — 100%، مع المُحدِّد التفسيري بين قوسين "تنفيذ الوكيل غير المقيّد."

• CVE-Bench — 95.8%، واسم المعيار نفسه يحمل التضييق: "CVE-Bench (المجموعة الفرعية القابلة للتقييم)."

• HumanEval+ — 93.9%.

• SWE-bench Pro V2 — 76.5%، وهو الأدنى بين الأربعة، والدرجة الوحيدة في المجموعة التي تتعلق بهندسة البرمجيات لا بالأمن.

كل واحد من تلك الصفوف الخمسة عبر كلا الجيلين — الأربعة الواردة هنا وسطر CyberGym على Zero 1.0 — كان من إنتاجنا، وكل صف يذكر ذلك: الأربعة الجديدة تحمل المصدر: "orca"، أما الصف الأقدم فيحمل المصدر: "orcarouter". لا يوجد أي صف من طرف ثالث في أي من الصفحتين، ولا يوجد أي صف يكون تاريخ تقييمه شيئًا آخر غير يوم إطلاق ذلك الجيل. وهذا مهم قبل أن تُقتبس أي من النسب المئوية في مكان آخر، لأن قائمة اختبارات معيارية بلا عمود مصدر تُقرأ كما لو أن الأرقام وصلت من مكان محايد. وهذه لم تكن كذلك.

Screenshot of the OrcaCyber Zero 1.5 model page on OrcaRouter, showing the four vendor-reported benchmark rows, the $3.00 / $7.50 per 1M token pricing block and the Security Research access tier

ما حمله منشور الإطلاق، وما أغفله

الإعلان نفسه قصير. أما بطاقة الرابط الخاصة به فهي التي تتولى الترويج: "واجهة برمجة تطبيقات OrcaCyber Zero 1.5 جاهزة للاستخدام المباشر مع أي OpenAI SDK — 3.00 $ / 7.50 $ لكل مليون رمز، وزمن استجابة p50 يبلغ 2947 مللي ثانية عبر OrcaRouter. بلا أي هامش ربح. بلا أي ترحيل. واجهة برمجة واحدة."

إن الـ 2947 مللي ثانية هذه ليست الرقم الموجود على صفحة النموذج اليوم. فالصفحة تُبلغ عن p50 قدره 3220 مللي ثانية. وكلاهما لنا، وكلاهما صادق، والفجوة بينهما هي سبب وجود القسم التالي: إذ يتداول من أرقام الكمون لهذا النموذج أكثر مما توجد قياسات خلفها.

ثلاثة أرقام لزمن الاستجابة لنموذج واحد

• 2947 ms p50 — في بطاقة الرابط الخاصة بمنشور الإطلاق.

• 3220 ms p50، 9656 ms p95 — على صفحة النموذج، مجمّعة عبر الأيام الموجودة حاليًا في نطاقها.

• 500 مللي ثانية عند p50، و2.36 ثانية عند p95 — وفق ما أورده أحد التقارير عن زمن الوصول إلى أول رمز على مدى سبعة أيام، استنادًا إلى عينة يصفها بأنها صغيرة، في حدود 1.3 ألف رمز من حركة البيانات.

هذه ثلاث كميات مختلفة تُقاس في ثلاثة أزمنة مختلفة على ثلاثة أحجام مختلفة. رقم البطاقة هو لقطة آنية. رقم الصفحة هو تجميع متحرك يتغير يوميًا. والثالث هو الزمن حتى أول رمز (time-to-first-token)، وهو التأخير قبل ظهور أول رمز وليس الزمن المستغرق لإنهاء استجابة — قياس أكثر ودًّا بكثير، وليس الشيء نفسه على الإطلاق. اقتبس أيًّا من الثلاثة دون مُحدِّده فتكون قد اخترعت رابعًا.

Scoreboard comparing OrcaCyber Zero 1.5 and OrcaCyber Zero 1.0 across six labelled dimensions, with a delta column showing which values changed and which are identical

ثلاثة أيام من البيانات تحت مسمى سبعة أيام

كلا الصفحتين تُسمّي كتلة الكمون لديها window_days: 7، وكلتاهما تذكران المصدر نفسه: orcarouter-playground، وهو منصة القياس الخاصة بنا لا ادّعاء من مورّد. لكن مصفوفة daily في Zero 1.5 تضم ثلاثة مدخلات — 10 و11 و12 أكتوبر — بينما تضم مصفوفة Zero 1.0 سبعة. تسمية مدتها سبعة أيام لعيّنة من ثلاثة أيام ليست كذبة؛ إنها نافذة لم تكتمل بعد، وكل ما يتفرّع عنها يرث قاعدة أرقّ.

• p50 — 3220 مللي ثانية الآن، مقابل 3691 مللي ثانية لـ Zero 1.0. يستند إجمالي Zero 1.0 إلى نحو ضعف حجم الحركة: 6.16 مليار رمز على مدى سبعة أيام مقابل 3.52 مليار على مدى ثلاثة.

• إنتاجية الإخراج — 75.69 توكنًا في الثانية مقابل 43.75. أكبر تغيير منفرد في الفرق بأكمله، والأرجح أن يُلاحظ في حلقة وكيلية تُجري عشرات الاستدعاءات في كل تحقيق.

• معدل الخطأ — 0.13% مقابل 1.20%، أي أفضل بما يقارب رتبة مقدار كاملة.

• مدة التشغيل — لا يوجد رقم. percent_24h يعرض 0 وتحمل الكتلة has_data: false، ما يعني أن النسبة المئوية لم تُحسب قط بدلًا من أن الخدمة كانت متوقفة. كلا الجيلين متماثلان هنا، لذا لا يمكن استنتاج أي شيء من الفرق.

ما تضيفه المصفوفات اليومية هو اتجاه، والاثنان يشيران في اتجاهين متعاكسين:

• Zero 1.0، سبعة أيام — 366، 4614، 3408، 3729، 3791، 2152، 1946 مللي ثانية. اليومان الأفضلان هما الأحدثان.

• Zero 1.5، ثلاثة أيام — 2965، 3289، 3416 مللي ثانية. أسوأ يوم هو الأحدث، وقد لامس p95 الخاص به بالفعل سقف 10000 مللي ثانية.

ثلاث نقاط ليست اتجاهًا، وأسبوع الإطلاق هو أسوأ عينة ممكنة للتعميم منها: فحركة المرور غير تمثيلية، والنموذج يخضع للاختبار من قبل كل من مُنح للتو حق الوصول، وذاكرات التخزين المؤقت باردة. القراءة الصادقة للوحة كما هي الآن هي أن Zero 1.5 أسرع من Zero 1.0 في الإجمالي وأبطأ في كل يوم منذ إطلاقه. النصف الثاني من تلك الجملة سيكون من غير الإنصاف قوله بعد سبعة أيام، وهو ضعيف الدعم بعد ثلاثة. راقب الرقم؛ لا تتصرف بناءً عليه.

100% على Cybench هي 100% من ماذا

أربع نِسَب مئوية، وأربعة مُحدِّدات مختلفة، وفي المُحدِّدات يكمن المعنى.

• Cybench — يقول الصف "تنفيذ الوكيل غير المقيد"، وهو يصف كيفية تكوين التقييم، وليس ما يُسمح به لحساب مدفوع. تم بناء هذا المعيار حول مهام التقاط العلم الاحترافية، وتفسر إحدى المقالات نسبة 100% على أنها 39 من أصل 40 مهمة يتضمنها. كما أن إكمال مهمة CTF يُعد إنجازًا مختلفًا عن العثور على ثغرة لم ينشر أحد حلًا لها.

• CVE-Bench — يقول الصف "المجموعة الفرعية القابلة للتقييم"، ويورد منشور الإطلاق المقام: 23 من 24. إنّ هذا المعيار مبني على مجموعة من ثغرات CVE ويب ذات خطورة حرجة، لذلك تتغيّر درجة المجموعة الفرعية عندما تتغيّر المهام المستبعدة، كما أن معايير الاستبعاد غير منشورة.

• SWE-bench Pro V2 — 76.5%، وهو تحديدًا غير قابل للمقارنة مع متغيّرات SWE-bench الأخرى. يختفي هذا التمييز بمجرد وضع الرقم إلى جانب نتيجة SWE-bench عادية، وهو ما يحدث له عادةً.

• HumanEval+ — 93.9%، والصف الوحيد الذي لا يرتبط به أي وصف غير معتاد.

الـ98% تنتمي إلى إطار الاختبار، لا إلى النموذج

الرقم الأرجح أن يُقتبس إلى جانب Zero 1.5 هو 98.07%، وهو ليس من Zero 1.5. إنه نتيجة CyberGym Level 1 الخاصة بـ Zero 1.0، وتصف صفحة Zero 1.0 نفسها ذلك النموذج بأنه "النموذج من الفئة الرائدة في OrcaCyber Harness" — أي أن الدرجة المُبلَّغ عنها هي خاصية من خصائص منظومة الاختبار: النموذج مضافًا إليه ذاكرته ومراحل التحقق الخاصة به وبيئة تنفيذه، وليس النموذج بمفرده. اقرأ جدولي المعايير باعتبارهما تقدمًا واحدًا وستستنتج أن 98.07 أصبح 100. هذان معياران مختلفان أُجريا بتكوينين مختلفين من جيلين مختلفين.

ثمة تباين أصغر يجدر الإشارة إليه ما دمنا في هذا السياق. يضع أحد المقالات تشغيل CyberGym عند 1,477 من 1,507 مهمة و98.01%؛ بينما تضع صفحتنا عند 1,478 من 1,507 و98.07%. والكسران متسقان داخليًا، ولم نوفّق هنا بينهما عند المنزلة العشرية الثالثة. تعامل مع الأمر على أنه غير محسوم بدلًا من اختيار أيهما يبدو أفضل في القراءة.

ثبت السعر، وهذا هو الجزء المثير للاهتمام.

• $3.00 / $7.50 / $0.75 لكل مليون رمز، دون تغيير على مدار الإصدار.

• **على تسعير OrcaRouter، يُمرَّر سعر القائمة الخاص بالمزوّد دون أي إضافة** — هامش ربح 0%. وبالتالي، يصل تغيير سعر المورّد إلى جانبنا في اليوم نفسه بدلاً من بعد دورة إعادة تسعير، وتُسوَّى النفقات عبر عدة نماذج عند نقطة نهاية واحدة بمفتاح واحد وفاتورة واحدة.

• سعر الرمز هو أقوى حجة تجارية للإطلاق، في مواجهة ما يُقال إن نماذج الأمان المقيّدة المماثلة تتقاضاه — وهو أكثر بمرتبة من حيث الحجم، في حالة واحدة على الأقل، بالنسبة لنموذج لا يوجد له سعر رمز منشور على الإطلاق.

• الوحدة التي تحسم قرار الشراء ليست الرمز المميز. يُجري التحقيق الأمني عشرات من استدعاءات النموذج، ويعيد قراءة المستودع نفسه، ويستدعي أدوات خارجية، ويراجع استنتاجاته قبل قبول أي اكتشاف، لذا فإن الإدخال المخزّن مؤقتًا بربع سعر الإدخال يهم هنا أكثر مما في عبء عمل محادثة. ما ينبغي أن يقيسه المشتري هو التكلفة لكل اكتشاف مُتحقَّق منه، وهو رقم لا تنشره أي من صفحتَي النموذجين.

لم تتغير البوابة أيضًا

لا يزال الوصول يمر عبر طبقة أبحاث الأمن: الطبقة sec-uncensored، والنطاق offensive، locked: true. إن الإجراء المنشور يطلب الموافقة على المشاركة، ومفتاح مرور، وشروطًا مقبولة، وهو بوابة مقصودة لا تتعلق بالقدرة — فإعادة إنتاج الثغرات واختبار الاختراق عمليتان متطابقتان سواء وافق الهدف عليها أم لا.

يستحق سطر واحد من تغطية الإطلاق أن يُكرَّر لأنه الجزء الذي يبقى بعد الإطلاق: فقيود مستوى النموذج وضوابط الوصول إلى واجهات برمجة التطبيقات لا تحل محل التفويض على مستوى التطبيق. ولا ينبغي أن يرث وكيل أمني إذنًا لتعديل الأنظمة أو قراءة بيانات الإنتاج أو تنفيذ عمليات حساسة لمجرد أن النموذج الذي يعمل تحته قادر على الاستدلال بشأن تلك العمليات. إن الطبقة تقرر من يجوز له حمل المفتاح، لكنها لا تقرر ما الذي يجوز للمفتاح أن يلمسه.

ما الذي لا يزال ناقصًا، بما في ذلك من صفحتنا الخاصة؟

• لا يمتلك Zero 1.5 أي شعار نصي ولا نظرة عامة ولا حالات استخدام. أما الحقول الثلاثة جميعها فمملوءة في Zero 1.0 — شعار نصي كامل، ونظرة عامة تذكر أداة الاختبار ورقم CyberGym، وأربع حالات استخدام موثّقة. وتحتوي صفحة الطراز اللاحق على long_description أطول (791 حرفًا مقابل 626)، وهذا هو النص بأكمله، الذي يفتتح بالعنوان الحرفي "التقييمات المبلَّغ عنها من المورّد:". وبقدر ما تصف الصفحة نفسها، فإنها تصف أرقامها الخاصة.

• لا عدد المعلمات، ولا معمارية، ولا تكوين بيانات التدريب — ينطبق ذلك على كلا الجيلين، وهو السبب في أنه لا يمكن إسناد نسبتين مئويتين من معيارين إلى نموذج مقابل سقالة.

• لا يوجد تقرير تقني للإصدار 1.5. كان لدى Zero 1.0 تقرير واحد، وفيه شُرح تأطير منصة الاختبار الخاصة به.

• لا يوجد تكرار مستقل لأي رقم في أي من الصفحتين.

• صفر إشارات. تعرض كتلة مشاعر Hacker News mentions_7d: 0 و mentions_prev_7d: 0 لكلا النموذجين. بالنسبة لإصدار أمني حدودي، هذا بحد ذاته إشارة، وهو يشير إلى البوابة وليس إلى النموذج: النموذج الذي لا يستطيع معظم الناس استدعاءه لا تتم مناقشته.

Screenshot of the OrcaCyber Zero 1.0 model page on OrcaRouter, showing the populated tagline, overview and use-case list that the successor's page does not yet carry

من الذي يجب أن يتحرك، ومن الذي يجب أن ينتظر؟

إذا كان لديك بالفعل وصول Security Research وكنت تشغّل Zero 1.0، فلا يوجد شيء لإعادة التفاوض بشأنه ولا ترحيل يجب جدولته: نفس نقطة النهاية، نفس السعر، نفس شكل الطلب، لذا فإن التبديل هو معرّف نموذج واحد. التحسينات المقاسة في الإنتاجية ومعدل الأخطاء هي السبب لتجربته، وهي تأتي من منصة القياس الخاصة بنا وليس من اختبار قياسي أجراه فريق النموذج نفسه، ما يعني أنه يمكنك التحقق منها مقابل حركة المرور الخاصة بك بدلاً من الأخذ بها على الثقة.

إذا لم تكن تمتلك الفئة، فإن هذا الإصدار لا يغيّر موقفك بمقدار توكن واحد — فالبوابة، والسعر، ونافذة السياق كلها في مكانها تمامًا كما كانت.

الشيء الذي يجب انتظاره هو لوحة زمن الاستجابة. إن Zero 1.5 أسرع من سابقه على ثلاثة أيام من البيانات، وأبطأ في كل يوم من تلك الأيام الثلاثة على التوالي، ولم تُغلق بعد النافذة الممتدة سبعة أيام التي ستحسم أيّ هاتين الحقيقتين هي الحقيقية. أعد قراءة الصفحة الأسبوع المقبل. إذا كان p50 اليومي لا يزال يصعد متجاوزًا 3416 ms، فإن الرقم الإجمالي على البطاقة هو الذي كان خاطئًا.

مقارنات في هذه المقالة1

مستخرج من هذه المقالة