معيار Claude Fable 5.2: ما الذي يكلّفه الـ65 من الوقت الفعلي

تحصل Claude Fable 5.2 على 65 في Artificial Analysis Intelligence Index v5.0.1 — الأول من بين 78 نموذجًا، وبفارق خمس نقاط عن Gemini 4 Carbon. تأتي هذه النقاط الخمس مصحوبة بـ267 ثانية حتى أول رمز، و46.8 دقيقة من الزمن الفعلي لكل مهمة، و$26.54 من الإنفاق لكل تشغيل للمؤشر، وكل واحد منها يمثل الصورة العملية للنتيجة. هذا ما قاسه إطار الاختبار، وما ينبغي فعله به. أما Claude Fable 5.2 APIفتضم الصفحة نقاط النهاية والأسعار؛ وهذه المقالة عن المعيار.

التقييمات التسعة

AA-Briefcase v1.1، AutomationBench-AA، Terminal-Bench 4.0، FrontierCode-AA 2.0، AA-Omniscience v1.1، GDP.pdf، HLE-Diamond، CritPt v2 Hard Subset، Terminal-Bench-Science 0.1. ثلاث مهام طرفية وأتمتة، ومهمتا استدلال مسندتان إلى مستندات على مدخلات طويلة، وتقييمان صعبان في العلوم والرياضيات، وتقييم واحد للكود المتقدم. لا يوجد إطار عمل لوكيل ويب، ولا محاكاة دعم متعددة الأدوار، ولا كشف عن الثغرات الأمنية.

النتيجة ومقياسها

65، المرتبة 1 من 78، على v5.0.1. لا تنتمي إلى الجدول نفسه إلا النماذج التي أُعيد تقييمها على v5.0.1؛ فدرجات v4.3 وv4.3.2 تمثل مجموعة تقييم مختلفة، وأي مخطط يخلط بينها غير صالح. داخل الفوج الحالي، الترتيب في القمة هو Fable 5.2 عند 65 وGemini 4 Carbon عند 60، بينما بقية المتنافسين في مواقع أبعد أو لم يُعَد تقييمهم بعد.

فجوة بخمس نقاط في مؤشر قوامه تسعة تقييمات حقيقية لكنها ضيقة. والقراءة المفيدة ليست "أفضل بنسبة خمسة بالمئة" بل "تفوق متواضع في مجموعة اختبارات صعبة"، والسبب في دفع الثمن مقابلها هو التباين وليس القدرة الخام: في المهام التي تُبطل فيها إجابة خاطئة التشغيل بأكمله، فإن تفوقًا صغيرًا في احتمال النجاح يتراكم عبر الخطوات.

ساعة الحائط

267 ثانية حتى أول رمز، والمرتبة 76 من 77 نموذجًا تتوفر لها بيانات زمن الاستجابة. 46.8 دقيقة إجمالًا لكل مهمة. 97 رمزًا في الثانية من الإخراج بمجرد أن يبدأ، وهو أسرع بنسبة 35 في المئة من 72 الخاصة بـ Carbon ولا يمثل تقريبًا أي جزء من الوقت المنقضي.

التوزيع هو الجزء المهم. عبر حركة المرور الحية لـ OrcaRouter، يسجّل النموذج نفسه قيمة p50 تبلغ 8.09 ثانية حتى أول رمز، وقيمة p95 تبلغ 10.00 ثوانٍ على 35.6 مليون رمز خلال سبعة أيام. أداة الاختبار والبوابة تقيسان مجموعتين مختلفتين: إحداهما تتيح للنموذج التفكير بأقصى جهد على HLE-Diamond، والأخرى هي الطلب الوسيط بأي جهد حدده المستدعي. إذا شغّلت Fable 5.2 بأقصى جهد فستعيد إنتاج رقم AA؛ وبجهد منخفض سترى شيئًا قريبًا من رقم البوابة.

المال

$26.54 لكل تشغيل للمؤشر بمعدل $8.00 لكل مليون إدخال و$40.00 لكل مليون إخراج — المرتبة 77 من 77، الأعلى تكلفة على لوحة الترتيب. تكلّف Gemini 4 Carbon $5.48 لنفس التقييمات التسعة. هذا 4.8 أضعاف الإنفاق مقابل خمس نقاط مؤشر، وهي النسبة الأكثر فائدة في هذه المقارنة.

تُفيد AA عن 275 مليون توكن إخراج لعملية التشغيل مع بلوغ الإسهاب 0.97 بالمئة. لاحظ أن النسبة المئوية والعدد يشيران إلى اتجاهين متعاكسين مقارنةً بنسبة Carbon البالغة 2.69 بالمئة و205 ملايين توكن، ولهذا لا ينبغي الاستشهاد بالنسبة المئوية باعتبارها ادعاءً بالإيجاز.

النسبة التي تجعل المقارنة قابلة للاستخدام هي 0.41 دولار من الإنفاق على المعايير المرجعية لكل نقطة مؤشر، مقابل 0.09 دولار لـ Carbon. ومهما كان ما تستنتجه منها، فإن الحساب يفرض قرار توجيه بدلًا من قرار بنموذج واحد: بهذا السعر، النموذج طبقة، لا خيارًا افتراضيًا.

ما لا تخبرك به النتيجة

لا يوجد تقييم للأمن السيبراني ضمن المجموعة، لذا لا شيء هنا يتناول استدعاء الثغرات أو جودة الترقيع — وهو أمر ذو صلة إذا كان هذا هو سبب نظرك إلى نموذج حدودي. ولا يوجد تقييم لوكيل طويل الأمد مع استدعاءات أدوات عبر الأدوار المتعددة، وهو عبء العمل الذي يُسوَّق له Fable 5.2 في الواقع؛ فمهام الطرفية تقترب منه لكنها لا تحاكيه.

لا يوجد أيضًا قياس للموثوقية. أظهرت حركة المرور المباشرة على OrcaRouter معدل استجابات غير 2xx بلغ 10.8 بالمئة عبر جميع مزوّدي الخدمة upstream خلال سبعة أيام، مقابل 39.7 بالمئة لـ Carbon. تستوعب منصة اختبار الأداء ذلك عبر إعادة المحاولات؛ أما تطبيقك فلن يفعل ذلك ما لم تبنِه.

قراءته بوصفه قرارًا

إذا كانت مهمتك تشبه التقييمات التسعة ويمكنك تشغيلها بشكل غير متزامن، فإن 65 عملية تشغيل بتكلفة 26.54 دولارًا لكل تشغيل أمرٌ قابل للدفاع عنه في الحالات الصعبة ومُهدِر في الحالات السهلة — وزّع المسارات حسب الصعوبة واستخدم نموذجًا أرخص للأغلبية. أما إذا كانت مهمتك تفاعلية، فإن أرقام harness ليست أرقامك؛ إن p50 الخاص بالبوابة البالغ 8.09 ثوانٍ هو ما يجب التصميم على أساسه، ومستوى الجهد هو المتغير الذي يحدد ما إذا كنت ستصل إلى نحو ثماني ثوانٍ أو نحو أربع دقائق.

بالنسبة للمواجهة المباشرة، Claude Fable 5.2 مقابل Claude Fable 5.1 يغطي الجيل السابق بسعر أعلى، وGemini 4 Carbon مقابل Claude Fable 5.1 يغطي الزوج بين البائعين المختلفين. قائمة نماذج LLM تضم بقية مجموعة v5.0.1 مع المعرّفات والأسعار؛ أعد التحقق من إصدار الفهرس على أي مخطط تعيد استخدامه، لأن نتيجة v4.3 في الجدول نفسه ستُبطل المقارنة.