بطاقة عنوان لتحليل معيار GPT-6.1 Terra
Guides & Insights

معايير GPT-6.1 Terra، مرتبةً: حيث يتعادل 48 مع 52 وحيث لا يتعادل

الكاتب

Elias Hawthorne

تاريخ النشر

أحدث النماذج · 20عرض جميع النماذج →
المعايير: Artificial Analysis · يُحدَّث يوميًا
العودة إلى جميع المقالات

الرقم المركّب لـ GPT-6.1 Terra هو 48. وGPT-6.1 Sol هو 52، وGPT-6 Astra هو 53، وGPT-5.6 Terra هو 42، وGPT-6 Luna هو 38. تلك هي القصة كاملةً إذا قرأت فقط السطر الأعلى من مؤشر الذكاء Artificial Analysis — طراز من الطبقة المتوسطة يقع عند ست نقاط فوق سلفه وأربع نقاط دون شقيقه الأغلى. وهي أيضًا أقل الطرق فائدةً لقراءة الإصدار، لأن المؤشر نفسه يخفي فجوة في البرمجة قدرها 29 نقطة مقارنةً بـ Astra، وفجوة في استخدام الحاسوب قدرها 7.6 نقطة مقارنةً بـ Claude Opus 5.5، وتحسّنًا في الهلوسة أكبر من مجموع كل مكاسب الذكاء في الإطلاق.

ما يلي يفصل بين ثلاثة أنواع من الأرقام: قياسات مستقلة من Artificial Analysis، ونتائج يبلّغ عنها المورّد من OpenAI لم يُعِد إنتاجها أحد من الخارج، وأرقام مشتقة — وهي الحسابات التي تحوّل أيًّا من النوعين الأولين إلى تكلفة أو نسبة. وهذه الفروق مهمة، لأن تغطية الإطلاق بدأت بالفعل في خلطها.

النتائج الثلاث التي سيستشهد بها الجميع

تُدرج Artificial Analysis نموذج GPT-6.1 Terra عند 48 على مؤشر الذكاء الخاص بها، في المرتبة 25 من أصل 221 نموذجًا، بتكلفة 0.40 دولار لكل مهمة مؤشر. ويحل GPT-6.1 Sol عند 52 وفي المرتبة 13، بتكلفة 0.72 دولار لكل مهمة. أما GPT-6 Astra، النموذج الرائد الحالي، فهو عند 53. ويأتي GPT-5.6 Terra عند 42 وفي المرتبة 53، بتكلفة 1.40 دولار لكل مهمة. ويقع GPT-6 Luna عند 38.

إذا قُرئت على أساس سلّم المقارنة، فإن Terra ترقية حقيقية: ست نقاط مقابل أقل من ثلث التكلفة لكل مهمة منجزة، وعشر نقاط فوق الفئة الاقتصادية. وإذا قُرئت كمقارنة مع Sol، فهي تمامًا كما توحي بطاقة الأسعار — أضعف بأربع نقاط، وبنحو نصف سعر الرموز. لا شيء في المؤشر المركب يتعارض مع تموضع OpenAI.

المؤشر المركب كذلك يسطّح أمورًا لا ينبغي تسطيحها. أربع نقاط على المؤشر بين Terra وSol تمثل 8% من المقياس؛ و29 نقطة بين Terra وAstra على Coding Agent Index تمثل 60% من ذلك المقياس. لا يستطيع رقم واحد أن يحمل الأمرين معًا، والتغطية الصحفية للإطلاق التي تقتبس الأول فقط قد أسقطت الثاني بهدوء.

A four-column scoreboard comparing GPT-6.1 Terra, GPT-6.1 Sol, GPT-6 Astra and GPT-5.6 Terra on Intelligence Index, coding index, cost per task, computer-use score, hallucination rate and measured speed

حيث تتسع الفجوة: البرمجة

على مؤشر Coding Agent Index v2.0 من Artificial Analysis، تحصل GPT-6.1 Terra على 48، وGPT-6.1 Sol على 54، وGPT-6 Luna على 31. هذا فارق يبلغ ست نقاط عن Sol وتقدّم يبلغ 17 نقطة على Luna — بالشكل نفسه الذي في مؤشر الذكاء، لكن مع فجوة أكبر نسبيًا إلى قمة العائلة.

أرقام المورّد تحكي قصة أكثر إطراءً، وهي أرقام مورّد. تذكر OpenAI أن 50.3% تم حلها على Terminal-Bench 4.0 بأقصى جهد، مقابل 21.5% لـ GPT-5.6 Terra. وهذا أكثر من الضعف، وهو أكبر قفزة من جيل إلى جيل في الإصدار. وهو أيضًا معيار لمهام الطرفية، وليس مقياسًا واسعًا لوكلاء البرمجة: يمكن أن يكون Terra قريبًا من Sol في أعمال shell القصيرة ومحددة النطاق، ومع ذلك يتخلف بست نقاط في المؤشر الأوسع، وكلا الأمرين صحيحان في آن واحد.

التفسير العملي هو أن مكاسب Terra في البرمجة تتركّز حيث تكون المهمة محدودة النطاق. «شغّل مجموعة الاختبارات هذه، واقرأ الإخفاق، ورقّع الملف» هو قالب Terra. أما «احتفظ بإعادة هيكلة تضم خمسة عشر ملفًا في ذهنك لأربعين خطوة» فليس كذلك، ولا تزال توصية OpenAI نفسها توجّه أعمال البرمجة المعقّدة إلى Sol أو Astra.

حيث تكون الفجوة أصغر مما يوحي به المؤشر: استخدام الحاسوب

على OSWorld 2.1، المعيار القياسي لأتمتة سطح المكتب، يسجل GPT-6.1 Terra نسبة 74.2% عند الحد الأقصى من الاستدلال. ويسجل GPT-6.1 Sol نسبة 75.9% عند xhigh. ويسجل GPT-6 Astra نسبة 75.8%. ويتقدم Claude Opus 5.5 على النماذج التي يمكننا مقارنتها بنسبة 81.8%، مع Claude Fable 5.1 بنسبة 80.7%، وClaude Sonnet 5.5 بنسبة 80.1%، وKimi K3.1 Pro بنسبة 79.6%.

يتبع ذلك أمران. أولًا، إن Terra ضمن 1.7 نقطة من Sol في المهمة التي بُنيت من أجلها، وبنصف سعر الرمز — وهي صفقة أفضل بكثير مما يوحي به فارق الذكاء البالغ أربع نقاط. ثانيًا، تتخلف عائلة GPT-6 بأكملها عن Anthropic في أتمتة سطح المكتب بست إلى سبع نقاط، ولا تسد Terra تلك الفجوة. إذا كان منتجك وكيل متصفح، فالمقارنة المثيرة للاهتمام ليست Terra مقابل Sol؛ بل Terra مقابل Claude Sonnet 5.5، وهو أرخص لكل رمز من Sol ويسجل أعلى بـ5.9 نقاط على OSWorld.

تشير أرقام الوكيل الخاصة بالمورّد نفسه إلى الاتجاه ذاته. في Agents' Last Exam v1، تُبلغ OpenAI عن 57.6% لـ Terra عند الجهد المتوسط، مقابل 50.7% لـ GPT-5.6 Terra عند الأقصى. والادعاء المرتبط بذلك — قابل للمقارنة بـ GPT-6 Astra عند المستوى المتوسط، وبسعر لكل رمز يبلغ نحو عُشر السعر — هو ادعاء لكل مهمة، وهو الجملة الأكثر دلالة اقتصاديًا في الإطلاق.

الرقم الذي تحرّك فعليًا: الهلوسة

تقيس Artificial Analysis معدل الهلوسة في اختبار Omniscience: أي مدى تكرار تخمين النموذج عندما لا يعرف الإجابة. سجّل GPT-5.6 Terra نسبة 88%. أما GPT-6.1 Terra فيسجّل 38%. وقد ارتفعت الدقة نقطتين خلال الفترة نفسها.

إن انخفاضًا بمقدار 50 نقطة في التخمين أكبر من أي مكسب في الذكاء في هذا الإصدار، وهو الرقم الوحيد الذي يغيّر الغرض الذي يمكن أن يكون النموذج آمنًا لاستخدامه فيه. النموذج الذي يختلق إجابة بنسبة 88% من الوقت عندما يكون غير متأكد لا يمكن الوثوق به في استخراج الفواتير أو ملء النماذج دون مراجعة بشرية لكل مخرج. عند 38%، لا يزال يخمّن أكثر من ثلث الوقت — وهذا تحسّن، وليس حلًا — لكن نمط الفشل ينتقل من «افترض أنه خاطئ» إلى «خذ عينة وتحقق».

لهذا الأمر تبعات مباشرة على التكلفة. فالتحقق هو البند الخفي في كل عملية نشر لنموذج رخيص: إذا كان عليك فحص 88% من الإجابات، فإن تكلفة العمل البشري تتجاوز ما توفره الرموز. وعند 38%، يصبح الفحص الانتقائي مجديًا، ويبدأ رقم 0.40 دولار لكل مهمة في الظهور وكأنه التكلفة الحقيقية بدلًا من النصف الظاهر منها.

ادعاءات الموردين، وما يغيب عنها

نتائج OpenAI المنشورة، وكلها أجراها المورّد ولم يُعِد أيّ منها إنتاجه بشكل مستقل حتى وقت كتابة هذا النص:

• Terminal-Bench 4.0 — 50.3% عند أقصى جهد، مقابل 21.5% لـ GPT-5.6 Terra.

• اختبار الوكلاء الأخير — أعلى بـ15 نقطة من GPT-5.6 Terra عند الجهد المتوسط، وبتكلفة تبلغ نحو الثلث.

• MMMU-Pro — متقدّم على GPT-5.6 Terra عند كل مستوى من مستويات الجهد، ويقترب من Astra وSol، دون نشر أي درجات مطلقة.

• Terminal-Bench-Science 0.1 — بفارق لا يتجاوز 5 نقاط عن Claude Opus 5.5 بتكلفة تقل عن خُمس التكلفة المقدرة.

• الموجّهات المسببة للأخطاء — 16.7% عند الجهد المنخفض مقابل 53.6%، و4.3% عند الحد الأقصى، في اختبار داخلي لم تنشره الشركة.

النمط في تلك القائمة جدير بالتسمية. أقوى ادعاءين — MMMU-Pro واختبار معدل الخطأ — هما الادعاءان اللذان لا ترتبط بهما أرقام مطلقة. عبارتا «يقترب من Astra» و«قريب من Sol» بيانان مقارنان لا يمكن التحقق منهما دون الأرقام الكامنة خلفهما. أما الادعاءات ذات الأرقام الصلبة فهي التي يستطيع طرف ثالث إعادة إنتاجها، وقد أعادت Artificial Analysis بالفعل إنتاج جانب التكلفة: $0.40 لكل مهمة، و$1.40 للسلف.

السرعة هي العدد المستقل غير الموجود في الفهرس

تقيس Artificial Analysis نموذج GPT-6.1 Terra عند 90.9 رمز إخراج في الثانية، مع 133.64 ثانية حتى أول رمز في معيار الاستدلال الخاص بها. ويُقاس GPT-6.1 Sol عند 73.5 رمزًا في الثانية و284.31 ثانية. وهذا يعني إنتاجية أعلى بنحو 24%، وميزة زمن الوصول إلى أول رمز تزيد قليلًا عن الضعف — قياس مستقل، وليس ادعاءً من البائع، وأقوى حجة موضوعية لصالح Terra في الإصدار بأكمله.

بالنسبة إلى منتج محادثة، لا تكاد الإنتاجية تهم؛ أما في حلقة استخدام حاسوب تستغرق عشرين خطوة لكل مهمة، فهي الفرق بين مهمة تستغرق 40 ثانية وأخرى تستغرق 90 ثانية. لا يضع المؤشر سعرًا لزمن الاستجابة، ولهذا يمكن أن يكون نموذج يحتل المرتبة 25 هو الخيار الصحيح لوكيل يحتل المرتبة 13 من حيث الجودة.

كيف تقرأ المؤشر دون أن تُضلَّل

• تعامل مع المؤشر المركّب بوصفه مرشِّحًا، لا تصنيفًا. فهو يخبرك بالنماذج الداخلة في المقارنة؛ لكنه لا يخبرك أيّها سيفوز في مهمتك.

• انظر إلى الدرجات الفرعية للبرمجة واستخدام الحاسوب كلًا على حدة. إن ملف Terra غير معتاد الاتساع: قريب من Sol في أتمتة سطح المكتب، ومتأخر بست نقاط في البرمجة، وبأربع نقاط في الإجمالي.

• أعد التحقق من القيم المطلقة مقابل تاريخ واحد. يُعاد تطبيع المؤشر دوريًا، والتقارير الصادرة في أسابيع مختلفة تذكر أرقامًا مختلفة للنموذج نفسه.

• زِنْ معدل الهلوسة بالثقل نفسه الذي تزِن به درجة الذكاء إذا كانت أعباء عملك تنطوي على تكلفة تحقّق. فتحسّن بمقدار 50 نقطة يغيّر نموذج التشغيل، لا الدرجة وحدها.

• قِس مهمتك الخاصة. أرقام التكلفة لكل مهمة من Artificial Analysis هي مؤشر تقريبي مبني على مطالباتهم؛ وستُنتج مطالباتك نسبة مختلفة بين سعر الرمز والمحاولات.

لا شيء من هذا يجعل GPT-6.1 Terra نموذجًا سيئًا. بل يجعله نموذجًا محددًا: نموذج سريع ورخيص وأقل كثيرًا في الهلوسة، قريب من شقيقه الأغلى ثمنًا في الشاشات وبعيد عن النموذج الرائد في البرمجة. تقول النتيجة المركبة 48. وتقول الدرجات الفرعية أي 48 تشتري.

Screenshot of the Artificial Analysis leaderboard showing GPT-6.1 Terra's Intelligence Index of 48, cost per task and measured output speedScreenshot of OpenAI's model documentation for GPT-6.1 Terra listing its benchmark claims, context window and reasoning effort settings

مقارنات في هذه المقالة4

مستخرج من هذه المقالة · المعايير: Artificial Analysis · يُحدَّث يوميًا