أكبر رقم في GPT-6.1 Terra هو 38%: معدل هلوسة، وليس معدل ذكاء

تركّزت تغطية إطلاق GPT-6.1 Terra على مكسب في الذكاء بست نقاط وبطاقة بنصف السعر. لكن الرقم الذي يغيّر فعلاً طريقة استخدام النموذج هو 38% — وهو مقياس Artificial Analysis لكم مرة يخمّن Terra عندما لا يعرف، وقد انخفض من 88% في GPT-5.6 Terra. إن انخفاضاً بمقدار خمسين نقطة في التخمين أكبر من كل مكاسب الجودة في الإصدار مجتمعة، وهو ينقل النموذج من «افترض أن الإجابة مُختلقة» إلى «عاين وتحقق».

يفصل هذا المقال بين أمرين مختلفين يسمّيهما الناس «هلوسة» في هذا الإصدار — مقياس المعرفة الشاملة المستقل، واختبار الأخطاء الداخلي لدى OpenAI — ويقدّر تكلفة معدّل تخمين يبلغ 38% داخل مسار تحقق فعلي.

ما الذي يقيسه 38%

يطرح تقييم AA-Omniscience من Artificial Analysis على النماذج أسئلة قد لا تعرف إجابتها، ويحسب عدد المرات التي تقدّم فيها إجابة واثقة رغم ذلك. GPT-5.6 Terra: 88%. GPT-6.1 Terra: 38%. وقد ارتفعت الدقة نقطتين خلال الفترة نفسها.

عند قراءتهما معًا، تصف هاتان الحقيقتان نموذجًا أصبح أكثر استعدادًا لقول «لا أعرف» — لا نموذجًا أصبح أعرف بشكل كبير. تحرّك مؤشر الذكاء ست نقاط، من 42 إلى 48. أما سلوك الامتناع فتحرّك بمقدار خمسين. وبالنسبة لأي شخص يستخدم النموذج لاستخراج الحقائق، فإن هذا هو التغيير الأكثر قيمة.

لا يزال هذا غير جيد. تعني نسبة 38% أنه ضمن مجموعة من الأسئلة لا يستطيع النموذج الإجابة عنها، يحصل أكثر من واحد من كل ثلاثة على إجابة خاطئة يقدّمها بثقة. النموذج الذي يمتنع عن الإجابة 62% من الوقت عندما يكون جاهلًا أكثر أمانًا بكثير من نموذج يمتنع 12% من الوقت — ومع ذلك يبقى شيئًا لا ينبغي عرضه على عميل دون تحقّق.

رقم المورّد هو اختبار مختلف

العنوان البارز لدى OpenAI هو انخفاض بمقدار 37 نقطة في المطالبات المصممة لإحداث أخطاء: من 53.6% على GPT-5.6 Terra عند الجهد المنخفض إلى 16.7% على Terra، و4.3% عند أقصى جهد. هذا الاختبار داخلي وغير منشور ومصمم بطريقة خصومية. وهو يقيس ما إذا كان النموذج قادرًا على مقاومة مطالبة صُممت لتفشل — وليس ما إذا كان يختلق الحقائق عندما تنقصه.

يمكن أن يكون كلا الرقمين صحيحًا. يقيس اختبار المورّد المتانة تجاه المطالبات العدائية؛ بينما يقيس الاختبار المستقل المعايرة في ظل الجهل. وهما مترابطان لكن غير قابلين للتبادل، وقد تعاملت تغطية الإطلاق إلى حد كبير مع الأول بوصفه دليلًا على الثاني. وهو ليس كذلك.

ما تكلفة معدل تخمين بنسبة 38%

التحقق هو البند الخفي في كل نشر لنموذج رخيص، وهو يتزايد مع معدل التخمين. تخيّل خط أنابيب لاستخراج البيانات من المستندات يعالج 100,000 صفحة شهريًا، مع فحص عشوائي بشري بتكلفة 2 دولار لكل صفحة يتم فحصها.

عند معدل تخمين يبلغ 88%، لا يمكنك الاعتماد على الفحص الانتقائي. عليك فحص كل شيء: 100,000 صفحة × 2 دولار = 200,000 دولار شهريًا. فاتورة الرموز لا تهم.

• عند 38%، تصبح خطة المعاينة مجدية. افحص 20% من الصفحات: 20,000 × $2 = $40,000 شهريًا، مع معدل عدم كشف معروف للباقي.

• عند افتراض 10%، فإن تدقيق 5% سيكلف 10,000 دولار شهريًا وسيظل يحدّ من معدل الخطأ.

تبلغ تكلفة الرموز لخط المعالجة نفسه بأسعار Terra — لنقل 20,000 رمز إدخال و500 رمز إخراج لكل صفحة — 2,250 دولارًا لكل 100,000 صفحة. بند التحقق أكبر بعشر إلى تسعين مرة من بند النموذج. هذا هو الإطار الصحيح لمقارنة النماذج الرخيصة: الفاتورة هي النموذج مضافًا إليه المراجعة، والمراجعة يحركها معدل التخمين.

أي المهام تتحمل التخمين؟

• متسامح — تلخيص مستند موجود بالكامل في السياق (تكون الإجابة مستندة إلى المدخلات)، والتصنيف باستخدام مجموعة تسميات ثابتة، والصياغة حيث يقوم الإنسان بالتحرير، والاستخراج باستخدام مخطط يرفض المخرجات المشوهة.

• غير متسامح — الإجابة عن الأسئلة الوقائعية دون استرجاع، والأرقام المالية، والاستشهادات القانونية، والجرعات الطبية، وأي شيء تكون فيه إجابة خاطئة تبدو معقولة أسوأ من عدم الإجابة.

الخط الفاصل ليس درجة ذكاء النموذج؛ بل ما إذا كان يمكن التحقق من الإجابة بالرجوع إلى مصدر. إن معدل التخمين البالغ 38% في مهمة يُتحقَّق فيها من كل مخرج هو مشكلة كفاءة. أما في مهمة تذهب مخرجاتها مباشرة إلى العميل، فهو يمثل مخاطرة.

كيفية قياسه على بياناتك الخاصة

• أنشئ مجموعة من الأسئلة التي لا يستطيع النموذج الإجابة عنها من السياق. يُقاس معدل التخمين على العناصر غير القابلة للإجابة، لا على مجموعة الاختبار كاملة — فالاختبار الذي يكون لكل سؤال فيه إجابة يقيس الدقة، لا المعايرة.

• قيّم ثلاث نتائج، لا نتيجتين: صحيحة، وخاطئة، وممتنعة. النموذج الذي يجيب بـ«غير معروف» يتصرف بشكل صحيح إزاء عنصر لا يمكن الإجابة عنه.

• قارن بـ GPT-5.6 Terra على المجموعة نفسها. التحسّن بمقدار خمسين نقطة ادعاءٌ مستقل عن المورّد، لكنه مقيسٌ على أسئلة Artificial Analysis؛ وقد تختلف أسئلتك.

• راقب إعداد الجهد. فمزاعم معدّل الخطأ مرتبطة بمستوى الجهد تحديدًا، ومن المرجّح أن يتغيّر سلوك الامتناع عن الإجابة بتغيّر جهد الاستدلال أيضًا — فقد يخمن التشغيل منخفض الجهد أكثر مما يخمّن التشغيل بأقصى جهد.

الحث على الامتناع

المعايرة جزئيًا خاصية من خصائص الموجّه. ثلاثة أنماط تقلّل بشكل موثوق من التخمين الواثق:

• امنح النموذج مخرجًا صريحًا — «إذا لم تكن الإجابة موجودة في السياق المقدم، فأجب UNKNOWN» — واحسب تلك الإجابة صحيحة في العناصر غير القابلة للإجابة.

• اشترط استشهادًا لكل ادّعاء واقعي، وارفض المخرجات التي لا تتطابق استشهاداتها مع السياق.

• اطلب تصنيفًا لمستوى الثقة، ووجّه الإجابات منخفضة الثقة إلى نموذج ثانٍ أو إلى إنسان، بدلًا من مطالبة النموذج الرخيص بأن يكون متيقّنًا.

كلٌّ من هذه يستهلك توكنات ويضيف مرحلة. وكلٌّ منها أرخص من وصول إجابة خاطئة إلى عميل، ورقم 38% هو ما يجعل هذه المقايضة جديرة بأن تُسعَّر بدلًا من تجاهلها.

لماذا هذا أهم من المؤشر

تُغيّر زيادة مقدارها ست نقاط في الذكاء المهامَّ التي يستطيع النموذج أداءها إطلاقًا. أما تغيّر مقدارها خمسون نقطة في التخمين فيغيّر المهام التي يستطيع أداءها دون وجود إنسان في الحلقة. وبالنسبة لقرار التوجيه، فإن المحور الثاني هو الأكثر فائدة: فهو يحدد ما إذا كان النموذج الرخيص يمكن أن يعمل دون إشراف على مهمة ما، والإشراف هو التكلفة التي تهيمن على فاتورة الإنتاج.

GPT-6.1 Terra ليس نموذجًا توقّف عن الهلوسة. بل هو نموذج يهلوس أقل من نصف ما يهلوس به سلفه، بنصف السعر، ومع تاريخ أحدث للمعرفة. هذا المزيج مفيد حقًا — وهو حكاية تحقّق، لا حكاية قدرات.

ما يمكنك تشغيله اليوم

GPT-6.1 Terra ليس مدرجًا في كتالوج OrcaRouter وقت كتابة هذا النص، لذا يجب قياس سلوك الامتناع لديه مباشرةً مقابل OpenAI. كل ما يُقارَن به متاح لدينا بسعر التكلفة من دون أي هامش ربح فوق سعر قائمة المزوّد — GPT-5.6 Terra بسعر $2/$12، وGPT-6.1 Sol بسعر $2/$10، وGPT-6 Astra بسعر $10/$50، وGPT-6 Luna بسعر $0.10/$0.50، وClaude Sonnet 5.5 بسعر $2/$10 — وهو ما يكفي لبناء مجموعة المعايرة ونموذج تكلفة التحقق قبل وصول Terra.

الرقم الذي يجب أن تحمله إلى تلك التجربة ليس 48، بل هو 38، والسؤال الذي ينبغي طرحه هو: كيف تبدو ميزانية المراجعة لديك عند معدل التخمين ذلك؟