حصل Nanbeige4.3-33B على أول رقم خارجي له: 20، بمستوى Qwen3.8-27B، وأكثر ثرثرة بمرتين

لمدة أسبوعين، كان الدليل الوحيد على أن Nanbeige4.3-33B جيد في أي شيء يأتي من جدول من عشرين صفًا كتبه المختبر عن نفسه. في 5 نوفمبر تغيّر ذلك: وضعت Artificial Analysis نموذج Nanbeige4.3-33B على مؤشر الذكاء Intelligence Index v5.0.1 الخاص بها عند 20، وهي الدرجة نفسها التي تمنحها لـ Qwen3.8-27B عند أعلى إعداد استدلال لديه — 20 على المركّب، و20.1 لنموذج Qwen في تشغيل v5.0 الأساسي. إن عُشر نقطة أصغر من الضجيج بين تقييمين لنقطة التحقق نفسها، لذا فإن الاثنين في تعادل تام على المركّب العام الوحيد الذي يقيس كليهما.

هذا هو الرقم الذي كان الإصدار ينتظره، وهو أقل الأشياء إثارةً للاهتمام في القياس. يُخفي هذا المركّب نموذجًا يشير نصفاه في اتجاهين متعاكسين: نصف وكيلي يتقدّم بفارق كبير على نموذج Qwen الذي صُمّم ليتغلّب عليه، ونصف معرفي متأخّر عنه بشكل قابل للقياس. كما يُخفي حقيقة أن Nanbeige4.3-33B أنفق 160 مليون رمز إخراج للوصول إلى ذلك الـ20 — أكثر من ضعف ما يستهلكه النموذج الوسيط في فئة المقارنة الخاصة به، بما يكفي لتصنيفه في المركز الأخير من أصل ثمانية في مقياس الإسهاب لدى Artificial Analysis.

إذن، لم تعد القراءة الأمينة لهذا الإصدار "غير مُتحقَّق منها". بل أصبحت "مُتحقَّقًا منها، وأغرب مما أوحى به جدول المورّد". إليك ما يقوله التشغيل المستقل فعليًا، وأين يتفق مع أرقام Nanbeige الخاصة، والموضع الوحيد الذي جاء فيه القياس الخارجي أعلى من ادعاء المختبر نفسه.

ما الذي يعنيه 20، وما الذي لا يعنيه

تضع Artificial Analysis نموذج Nanbeige4.3-33B في المرتبة الأولى من بين تسعة في فئته المقارنة الخاصة، مقابل وسيط للفئة قدره 10. وتلك الفئة هي النماذج التسعة المفتوحة الأوزان المتقاربة الحجم التي يُقارَن بها في الرسوم البيانية، ويذكر الموقع بشكل منفصل أنه يضم 144 نموذجًا في المجموعة الأوسع القابلة للمقارنة. ومن المفيد أخذ كلتا المجموعتين في الاعتبار في آن واحد: فمقارنةً بنماذج مفتوحة الأوزان من حجمه تقريبًا، هو أقوى ما تم قياسه، ومقارنةً بالميدان بأكمله — بما في ذلك النماذج المغلقة المتقدمة وأفضل ما لدى Qwen وDeepSeek وAnthropic — فإن نتيجة قدرها 20 هي نتيجة متينة في منتصف الجدول.

تستحق تلك الفجوة بين المرتبة الأولى من أصل 9 ونتيجة في منتصف الجدول أن نتمسك بها، لأنها بالتحديد الفجوة التي تضيع عندما يُلخَّص إصدار ما بعبارة «يتفوق على Qwen». إن وصول نموذج مفتوح الأوزان بحجم 33B إلى منتصف الجدول في مركّب تهيمن عليه نماذج أكبر منه عدة أضعاف هو إنجاز حقيقي. لكنه ليس نتيجة في طليعة المجال، ولا ينبغي لشيء في مفردات هذا الإصدار أن يوحي بغير ذلك.

ما لا يتضمنه المؤشر هو السعر. لا يوجد سعر، لأنه لا توجد نقطة نهاية مستضافة: يسجل Artificial Analysis «لا توجد واجهة برمجة تطبيقات (API) متاحة للعامة»، كما أن تعيين مزوّدي الاستدلال الخاص بالمستودع على Hugging Face فارغ، وكل متتبّع يضم النموذج يُظهر التكلفة على أنها غير متاحة. تكلفتك هي العتاد.

يتعارض نصفا النموذج

لا تنشر Artificial Analysis رقمًا واحدًا، والدرجات الفرعية هي حيث يصبح هذا النموذج واضحًا. اقرأها كعمودين.

• Terminal-Bench 4.0 (أداة اختبار Artificial Analysis) — سجّل Nanbeige4.3-33B نسبة 29.8%، محتلًا المرتبة 56 من بين جميع التكوينات على لوحة الصدارة. أما Qwen3.8-27B عند xhigh فيسجل 5.6% على أداة الاختبار نفسها.

• FrontierCode 2.0 — Nanbeige4.3-33B بنسبة 10.7%، في المرتبة 81. أما Qwen3.8-27B عند xhigh فيسجّل 14.9%، لذا فإن معيار جودة الشيفرة يسير في الاتجاه المعاكس.

• AA-Omniscience v1.1 — يحقق Nanbeige4.3-33B صافي −4.4 بدقة 11.7%. ويحقق Qwen3.8-27B عند xhigh صافي −6.4 بدقة 17.3%. يعرف Qwen أكثر؛ لكن Nanbeige يحقق صافيًا أفضل لأنه يمتنع عن الإجابة أكثر.

• عدم الهلوسة في AA-Omniscience — Nanbeige4.3-33B بنسبة 81.8%، في المرتبة السابعة على مستوى الموقع بأكمله. Qwen3.8-27B عند xhigh يسجّل 71.4%.

• AutomationBench — Nanbeige4.3-33B 53.1%، في المرتبة 82. AA-Briefcase v1.1 — 1,162، في المرتبة 90. Terminal-Bench-Science 0.1 — 0.9%، في المرتبة 89.

HLE-Diamond — 6.9%، في المرتبة 117. المجموعة الفرعية الصعبة من CritPt v2 — 15.5%، في المرتبة 85. GDP.pdf — 11.2%، في المرتبة 135.

النمط عبر تلك الصفوف متسق. فحيث تكون المهمة «تشغيل طرفية لفترة طويلة دون التوقف مبكرًا»، يحقق هذا النموذج نحو خمسة أضعاف نتيجة نموذج Qwen. وحيث تكون المهمة «معرفة حقيقة»، فهو متأخر — وحيث تكون المهمة «معرفة حقيقة أو القول إنك لا تعرف»، فهو متقدم على كل ما في لوحة النتائج تقريبًا، بنسبة 81.8% في عدم الهلوسة.

هذا المزيج ليس حادثًا عارضًا في الضبط. إنه ما يبدو عليه نموذج بُني لتوليد مسارات الوكيل عندما توجّه إليه معيارًا معرفيًا. نموذج المعلّم الذي يختلق الحقائق هو معلّم يسمّم بيانات تدريب الطالب، لذا فإن المعايرة أهم من الاستدعاء في خط الأنابيب الذي تقول Nanbeige إنها تبنيه. وسواء كانت تلك المقايضة متعمدة أم ناشئة، فهي أكثر ما يمكن الدفاع عنه في هذا الإصدار.

مشكلة الإسهاب هي مشكلة تكلفة متنكّرة.

تشير تقارير Artificial Analysis إلى أن Nanbeige4.3-33B أنتج 160 مليون رمز إخراج أثناء تقييمه على مؤشر الذكاء. وقد أنتج النموذج الوسيط في فئة المقارنة الخاصة به 77.7 مليون. وفي ترتيب الإسهاب على الموقع، يأتي أخيرًا، في المرتبة #8 من 8 في تلك الفئة، بنحو 2.06 ضعف الوسيط. وكان حجم الإدخال 15.4 مليار رمز، ما يجعل نسبة الإخراج إلى الإدخال 1.034%.

يتبع ذلك أمران. الأول أن الطراز 20 كان مكلفًا عند الشراء. وإذا كنت تدفع مقابل الرموز (tokens) في أي مكان، فإن نموذجًا يُخرج ضعف عدد الرموز للحصول على الدرجة المركبة نفسها يكلّف نحو ضعف التكلفة لكل وحدة من القدرة المقاسة، ولا يطبّع المؤشر حسابه وفقًا لذلك. والثاني أن الإسهاب مشكلة زمن استجابة قبل أن يكون مشكلة تكلفة مالية: فنموذج كثيف بحجم 33B على وحدات GPU الخاصة بك، إذا أنتج ضعف عدد الرموز، يستغرق ضعف الوقت لإنجاز المهمة.

تُفسّر الإعدادات الموصى بها من Nanbeige نفسها جزءًا من ذلك، لكنها لا تبرّر كلّه. تطلب البطاقة سقفًا قدره 262,144 رمزًا للاستدلال والدردشة، و65,536 للعمل الوكيلي، مع تفعيل التفكير افتراضيًا. أي نموذج يُقال له إنه قد يفكّر بما يصل إلى ربع مليون رمز سيستخدم بعضًا منها. لكن وسيط الفئة مقارنة عادلة — فالنماذج الأخرى خلف المؤشر نفسه هي أيضًا نماذج استدلال — ومضاعف 2.06× يصمد أمام هذا الضبط.

بالنسبة إلى نشر مستضاف ذاتيًا، فإن الحل العملي هو وضع ميزانية، لا تغيير النموذج: حدّد سقفًا لـ max new tokens لكل مهمة، وقِس معدل النجاح لديك عند 8K و16K و32K قبل أن تفترض أن الإعدادات الافتراضية للبطاقة هي المناسبة لحمل عملك. معظم المهام الوكيلية لا تتحسن بعد نقطة معينة، وهذا النموذج لن يخبرك أين تقع تلك النقطة.

الصف الوحيد الذي تفوّق فيه التشغيل الخارجي على رقم المورّد نفسه

تزعم بطاقة نموذج Nanbeige أن Terminal-Bench 4.0 سجّل 23.8 لدى Nanbeige4.3-33B مقابل 6.3 لدى Qwen3.8-27B. وقاست Artificial Analysis 29.8. الرقم المستقل بست نقاط أعلى من الرقم الذي نشره المختبر عن نفسه.

ذلك أمر غير معتاد بما يكفي ليستحق ذكره بوضوح، لأن نمط الفشل المعتاد في هذه الصناعة يسير في الاتجاه المعاكس — فالمختبرات تُبلِغ عن أفضل رقم ينتجه هيكلها الخاص، بينما تأتي إعادات التشغيل الخارجية أقل. وإبلاغ مورّد بأقل من الحقيقة عن درجته الوكيلية يشير إما إلى أداة تقييم مختلفة لديه، أو إلى ادّعاء محافظ عمدًا، أو إلى جدول بُني قبل نقطة التحقق النهائية. لا شيء من ذلك سيئ؛ لكن كل ذلك يعني أن جدول المورّد ليس سقفًا ولا ينبغي قراءته على أنه كذلك.

لا يلزم من ذلك أن يكون كل صف من صفوف المورّد موثوقًا. إنّ أكبر الادعاءات في جدول Nanbeige — DeepSWE عند 65.5 مقابل 42.5 لدى Qwen، وSWE-Atlas-QnA عند 50.8 مقابل 41.9 — لا نظير مستقل لها بعد، وكلاهما من المعايير الحساسة للبنية الداعمة حيث يؤثر اختيار إطار التشغيل في الدرجات أكثر مما تؤثر جودة النموذج. أما ما تثبته نتيجة Terminal-Bench فهو أضيق نطاقًا وأكثر فائدة: الاتجاه الوكيلي للادعاء حقيقي. غير أنّ المقدار في أي صف فردي ما يزال غير مُتحقَّق منه.

ما الذي يعنيه هذا بالنسبة لفريق يريد تجربته

لم يتغيّر شيء بشأن الوصول. لا توجد نقطة نهاية لاستدعائها، ولا قائمة أسعار، ولا إدراج لدى مزوّد — فالأوزان موجودة على Hugging Face بموجب Apache 2.0، ومسار الخدمة هو vLLM أو SGLang أو Transformers على عتاد تملكه. حجم نقطة التحقق bfloat16 هو 66.3 GB موزعة على أربع عشرة شريحة، وعند سياق 512K تبلغ ذاكرة KV cache وحدها نحو 104 GiB، ولهذا فإن التكوين العملي هو توازٍ رباعي الاتجاه للموترات بدلاً من بطاقة واحدة كبيرة.

ما تغيّر هو أنه بات بإمكانك الآن تخطّي الجزء المكلف من العناية الواجبة. قبل هذا الأسبوع، كان تقييم Nanbeige4.3-33B يعني تجهيز أربع وحدات GPU لمعرفة ما إذا كانت الادعاءات المتعلقة بالوكلاء تصمد عند الاحتكاك بإطار اختبار محايد. إن نتيجة 29.8 على Terminal-Bench 4.0 تجيب عن السؤال الأول — فالاتجاه صحيح — بينما تجيب نسبة الإسهاب عن سؤال لم يكن أحد يطرحه، وهو مقدار ما سيكلفك إياه النموذج من الرموز لكل مهمة مكتملة.

إذا كنت تريد نقطة مقارنة يمكنك الاتصال بها فعليًا اليوم، فإن Qwen3.8-27B هو الضابط المرجعي الطبيعي: النتيجة المركبة نفسها، والسعر المنشور، ونافذة 262K. وهو يعمل على OrcaRouter بسعر $0.33 لكل مليون إدخال و$2.40 لكل مليون إخراج، على المفتاح نفسه المستخدم لبقية الكتالوج، مع تمرير أسعار القائمة من المزوّدين كما هي دون أي هامش ربح. إن تشغيل مجموعة مهامك مقابل نموذج مستضاف ونموذج مستضاف ذاتيًا خلف قاعدة توجيه واحدة هو أرخص طريقة لمعرفة ما إذا كانت نقطة تحقق كثيفة بحجم 33B على عتادك الخاص تتفوق على نموذج 27B تستأجره بالرمز — وهو سؤال لا يستطيع Intelligence Index الإجابة عنه نيابة عنك، لأنه لا يعرف ما هي مهامك ولا كم تكلف وحدات معالجة الرسومات لديك.

الأشياء التي ما زالت مجهولة حقًا ضيقة النطاق. وما إذا كان Nanbeige4.3-3B، هدف التقطير الذي وُجد هذا النموذج لتعليمه، يرث أيًا من المعايرة. وما إذا كان الإسهاب يبقى مع الطالب، لأن نموذجًا صغيرًا يُخرج ضعف عدد الرموز خطأ أرخص بكثير. وما إذا كانت نتيجة عدم الهلوسة تصمد خارج إطار Omniscience، لأن 81.8% رقم لافت، والأرقام اللافتة تستحق نظرة ثانية قبل أن يبني أي شخص خطًا لمعالجة البيانات عليها.