معيار Gemini 4 Carbon: ما الذي يقيسه 60 فعليًا على AA v5.0.1

لا تكون نتيجة اختبار معياري مفيدة إلا إذا عرفت ما طلبه نظام الاختبار، والمدة التي سُمح فيها للنموذج بالتفكير، وأي إصدار من الاختبار أنتج هذا الرقم. وبالنسبة إلى Gemini 4 Carbon، فالإجابات هي: تسعة تقييمات وكيلية وعلمية، وللمدة التي أرادها، وIntelligence Index v5.0.1 — الإصدار الحالي، ولهذا فإن درجة 60 قابلة للاقتباس، بينما معظم الأرقام التي ستجدها بجانبه ليست كذلك. أماGemini 4 Carbon API فتعرض صفحتها السعر ونقطة النهاية؛ أما هذا المقال فيتناول النتيجة.

ما الذي تم تشغيله فعليًا

AA-Briefcase v1.1، وAutomationBench-AA، وTerminal-Bench 4.0، وFrontierCode-AA 2.0، وAA-Omniscience v1.1، وGDP.pdf، وHLE-Diamond، وCritPt v2 Hard Subset، وTerminal-Bench-Science 0.1. اقرأ تلك القائمة قبل أن تعمّم بناءً عليها. ثلاثة من التسعة أعمال طرفية أو أتمتة، واثنان استدلال مستند إلى وثائق على مدخلات طويلة، واثنان علوم ورياضيات صعبة، وواحد برمجة متقدمة. لا يوجد في المجموعة تقييم لوكلاء الويب ولا محاكاة دعم عملاء متعددة الأدوار، لذا فإن الحصول على درجة ممتازة لا يقول شيئًا عن تلك المجالات.

النتيجة

يسجّل Carbon 60، وهو يحتل المرتبة 4 من 78 على v5.0.1. المتصدّر هو Claude Fable 5.2 بـ65. الفارق البالغ خمس نقاط ذو دلالة لكنه ليس قاطعًا: كلا النموذجين يجتازان التقييمات التسع نفسها، وأرخص طريقة لقراءة الفرق هي اعتباره نحو مهمة صعبة إضافية واحدة تُحلّ لكل عشرين محاولة عند مستوى كفاءة Carbon. اعتبر ذلك اتجاهًا لا معدلًا.

حاجز الإصدار أهم من الترتيب. النماذج التي جرى تقييمها على v4.3 أو v4.3.2 — بما في ذلك معظم الأسماء التي ستراها مقتبسة في منشورات المقارنة — ليست على المقياس نفسه ولا يمكن وضعها في الجدول نفسه. وإذا خلط مخطط بينها، فالمخطط خاطئ بغض النظر عمن نشره.

النتيجة العملية هي أنه لا يمكنك مقارنة Carbon بنموذج قيّمته بنفسك في الربع الأخير ما لم تكن درجات ذلك النموذج قد أُعيد احتسابها أيضًا. إما أن تعيد تشغيل أداة التقييم الخاصة بك على كليهما، أو تقصر الادعاء على مجموعة v5.0.1 وتذكر ذلك في الجملة التي تقتبس فيها الادعاء.

تكلفة الوقت

الوقت حتى أول رمز هو 64.7 ثانية، والمرتبة 69 من أصل 77 نموذجًا تتوفر لديها بيانات زمن الوصول. إجمالي زمن الاستجابة هو 28.4 دقيقة لكل مهمة عبر التقييمات التسعة. بمجرد أن يبدأ Carbon في الإخراج، فإنه يعمل بسرعة 72 رمزًا في الثانية، وهو أمر عادي. الزمن المستغرق يهيمن عليه التفكير، وليس الكتابة.

هذا خيار تصميمي لا عيب، ويستحق أن نكون دقيقين بشأن ما يعنيه. إن إطار اختبار يتيح للنموذج أن يستدل حتى يرضى سينتج درجة قوية لكنها بطيئة؛ والنموذج نفسه خلف بوابة على حركة مرور حية يُبلغ عن p50 قدره 6.89 ثانية حتى أول رمز وp95 قدره 10.00 ثوانٍ، لأن معظم الطلبات الحقيقية ليست HLE-Diamond. الرقمان يقيسان شيئين مختلفين وكلاهما ينتمي إلى خطة سعة.

التكلفة النقدية

بلغت تكلفة تشغيل المؤشر مقابل Carbon $5.48 بمعدل 2.00 دولار لكل مليون رمز إدخال و10.00 دولارات لكل مليون رمز إخراج، أي بمعدل مدمج قدره 2.70 دولار لكل مليون. تذكر AA أيضًا 205 مليون رمز إخراج لهذا التشغيل مع رقم إسهاب قدره 2.69 بالمئة. عدد الرموز، وليس النسبة المئوية، هو الرقم الذي ينبغي أخذه في الاعتبار: فهو يخبرك بأن تقييمًا وكيليًا من تسع مهام قد استهلك الجزء الأكبر من ربع مليار رمز إخراج.

للمقارنة، كلّف المؤشر نفسه مقابل Claude Fable 5.2 مبلغ 26.54 دولارًا — أي 4.8 أضعاف — عند 8.00 دولارات للإدخال و40.00 دولارًا للإخراج. وهذا هو التأطير الصحيح للزوج: فجوة النقاط البالغة خمس نقاط تُشترى بنحو خمسة أضعاف الإنفاق على الرموز.

بصيغة نسبة، تدفع Carbon 0.09 دولار من إنفاق المعيار لكل نقطة مؤشر، بينما تدفع Fable 5.2 مبلغ 0.41 دولار. هذا ليس حجة على أن النموذج الأرخص أفضل — فالقيمة في النموذج المتقدم تكمن في المهام التي يفشل فيها الأرخص — لكنه حجة لتوجيه الطلبات حسب الصعوبة بدلاً من اختيار نموذج واحد لكل شيء. لا تحتاج نسبة الـ90 بالمائة من الاستدعاءات التي ينجح فيها نموذج من فئة 60 نقطة إلى نموذج من فئة 65 نقطة.

النسبة الأخرى التي تستحق أخذها في الاعتبار هي الوقت. يستغرق Carbon 28.4 دقيقة لكل مهمة ويستغرق Fable 5.2 46.8، لذا فإن النموذج الأكثر تكلفة أبطأ أيضًا بمقدار 1.6 مرة من البداية إلى النهاية. في قائمة انتظار غير متزامنة يشكّل ذلك قيدًا على الإنتاجية؛ أما في استدعاء متزامن فهو الفرق بين مؤشر دوران ومهلة انتهاء. ملاحظات إصدار Gemini 4 Carbon تغطي ما تم شحنه مع النموذج، وإذا كان السؤال هو ما إذا كان يحل محل جيل Gemini السابق، فإن Gemini 4 Carbon مقابل Gemini 3.1 Pro هو المقارنة المباشرة.

ما لا يغطيه المقياس

لا توجد في هذه المجموعة أداة تقييم للسيبرانية أو كشف الثغرات. وإذا كنت تقيّم Carbon للعمل الأمني — الفحص والفرز وتوليد الترقيعات — فإن هذه التقييمات التسعة تخبرك عن قدرته على الاستدلال ولا شيء عن معدل استدعائه للثغرات الحقيقية. وينطبق الشيء نفسه على البرمجة طويلة الأمد على مستودع معيّن، وهو ما يقاربه FrontierCode-AA لكنه لا يحل محله.

كما لا يوجد هنا أي قياس لما يحدث تحت الحمل. بلغ معدل الأخطاء الفعلي في حركة OrcaRouter الخاصة بـ Carbon نسبة 39.7 بالمئة خلال الأيام السبعة الماضية، مقابل 10.8 بالمئة لـ Fable 5.2. أداة تشغيل الاختبارات المعيارية تعيد المحاولة وتمتص ذلك؛ أما تطبيقك فعليه أن يقرر كيف يتعامل معه.

إعادة إنتاج أي من هذا على حركة المرور الخاصة بك

لا يمكنك إعادة إنتاج 64.7 ثانية الخاصة بـ AA دون أداة الاختبار الخاصة بـ AA، ولا ينبغي أن تحاول ذلك: فالأمر المفيد هو قياس p50 وp95 الخاصين بك ومقارنتهما بالقيمتين المعلنتين للبوابة 6.89 و10.00 ثانية، لأن ذلك يخبرك ما إذا كانت مطالباتك عادية أم صعبة على نحو غير معتاد. سجّل زمن الوصول إلى أول رمز، وعدد الرموز الناتجة، وعدد الاستجابات غير 2xx لكل مسار. إذا كان معدل الخطأ لديك أعلى من 39.7 بالمئة الذي تبلغ عنه البوابة عبر جميع المزوّدين، فالمشكلة في جانبك من الطلب.

كيفية استخدام هذا في اتخاذ قرار

إذا كان عملك يشبه التقييمات التسعة — مهام الطرفية، والأتمتة، والمستندات ذات السياقات الطويلة، والعلوم الصعبة — فإن Carbon عند 60 و2.70 دولار للسعر المدمج هو الخيار الأفضل قيمة ضمن مجموعة الإصدار v5.0.1 الحالية، وزمن التفكير البالغ 64.7 ثانية هو تكلفة يمكنك استيعابها بجعل الاستدعاء غير متزامن. أما إذا كان عملك تفاعليًا، فإن النموذج نفسه بوسيط p50 قريب من سبع ثوانٍ عبر البوابة يمثل مسألة مختلفة تمامًا، والاختبار الصادق هو حركة المرور الخاصة بك لا منصة اختبار AA.

في المواجهة المباشرة ضد النموذج الذي هزمه، Gemini 4 Carbon vs Claude Fable 5.1 يضع الاثنين جنبًا إلى جنب، ومقارنة أسعار واجهات برمجة تطبيقات النماذج اللغوية تغطي موقع السعر المدمج البالغ 2.70 دولار مقارنةً ببقية الكتالوج. أعد التحقق من الإصدار على أي مخطط تعيد استخدامه: v5.0.1 هو المقياس الوحيد الذي ينتمي إليه هذا الـ60.