قياسات أداء Kimi K3.1 Pro: كل نتيجة، ومن أنتجها، وأين لا يزال الجدول فارغًا

الرقم الأكثر فائدة في إطلاق Kimi K3.1 Pro ليس موجودًا في مخطط Moonshot نفسه. فـ Artificial Analysis، التي تُجري تقييماتها الخاصة بدلًا من الاقتباس من جداول الموردين، تقيس Kimi K3.1 Pro عند 55 على مؤشر الذكاء الخاص بها — الرابع من بين 215 نموذجًا في فئته، بفارق نقطتين فوق GPT-6 Astra عند 53، وأقل بثلاث نقاط من Claude Opus 5.5 عند 58. أما مواد إطلاق Moonshot فتحكي قصة مختلفة وأكثر إطراءً: 65.7% في Terminal-Bench 4.0، بتقدم قدره 7.5 نقاط على 58.2% التي تنسبها إلى Astra. كلا الرقمين حقيقي، وكلاهما أُنتج بأمانة، وهما يختلفان حول من يتقدم. هذا الاختلاف هو ما يستحق الفهم قبل نقل حمل عمل إلى هذا النموذج.

فيما يلي كل رقم منشور لـ Kimi K3.1 Pro، مع المصدر والإعداد المرفقين بكل صف، وملاحظة حيثما تكون الورقة خالية. وهي المعالجة نفسها التي تتبعها هذه المدونة مع نماذج Anthropic وOpenAI، وللسبب نفسه: فجدول قياسات الأداء هو ادعاء عن منظومة الاختبار بقدر ما هو ادعاء عن النموذج.

الرقم المستقل، أولًا

قيّمت Artificial Analysis الطراز على الإصدار 4.3.2 من مؤشرها، الذي يدمج عشرة تقييمات في رقم واحد. والأرقام الأربعة المهمة للمشتري هي هذه:

• مؤشر الذكاء — 55، في المرتبة الرابعة من أصل 215 نموذجًا. للمرجعية، الوسيط في فئته هو 27، وGPT-6 Astra (Max) يسجل 53 بينما يسجل Claude Opus 5.5 نتيجة 58 على نفس إصدار المؤشر.

• التكلفة لكل مهمة — 2.11 دولار لكل مهمة في مؤشر الذكاء، بترتيب 85 من 113 من حيث التكلفة. أما ما يعادلها لدى GPT-6 Astra فهو 3.26 دولار. هذا هو الرقم الذي يحوّل سعر الرمز الواحد إلى تكلفة عبء عمل، إذ يُستنزف جزء من انخفاض سعر الرمز لدى النموذج في الإسهاب.

• الإسهاب — 150 مليون رمز ناتج تم توليده أثناء تشغيل الفهرس، مقابل وسيط قدره 87 مليونًا. يصف المُقيّم النموذج بأنه "شديد الإسهاب"، وهذا مهم مباشرة: فالناتج هو البند المكلف في قائمة أسعار هذا النموذج نفسه عند 10 دولارات لكل مليون رمز.

• السرعة — 73.5 رمز إخراج في الثانية على مزوّد المُقيِّم، وهو أبطأ من المتوسط البالغ 82. وعلى مسارنا الخاص، يبلغ الوسيط الزمني لأول رمز 7.15 ثانية، وهو الرقم الذي يحدّد انطباع المستخدم عن النموذج في جلسة برمجة تفاعلية.

هناك تسمية واحدة في تلك الصفحة جديرة بالتنبيه: يُدرج {{1}}Artificial Analysis{{/1}} نموذج Kimi K3.1 Pro بوصفه نموذجًا مملوكًا، لأنه اعتبارًا من 24 أكتوبر فإن الأوزان موعودة لكنها غير منشورة. وينبغي أن يتغيّر هذا التصنيف بحلول 4 نوفمبر إذا التزمت Moonshot بموعدها.

جدول المورّد، صفًا بصف، مع الإعداد المرفق

نشرت Moonshot جدولاً واسعاً بتقييماتها الخاصة إلى جانب الإطلاق، وتقارن في عدة مواضع Kimi K3.1 Pro بـ Claude Opus 5.5 وGPT-6 Astra في الصفوف نفسها. كل رقم أدناه مُبلَّغ عنه من الجهة المورّدة ما لم يذكر الصف خلاف ذلك.

• Terminal-Bench 4.0 — ‏65.7% لـ Kimi K3.1 Pro، مقابل 66.4% لـ Claude Opus 5.5 و58.2% لـ GPT-6 Astra. هذا هو العنوان الأبرز. وهو أيضًا الصف الأكثر محاذير: فنسبة 66.4% الخاصة بـ Anthropic أُنتجت عند جهد xhigh، أي مستوى أعلى من مستواها الافتراضي؛ أما تشغيل Kimi نفسه فهو عند المستوى الافتراضي للنموذج وهو max. والرقمان يأتيان من أدوات تقييم مختلفة.

• Kimi Code Bench 3.0، طويل الأفق — 61.2% مقابل 55.95% لـ Kimi K3. هذه أنظف مقارنة بالسلف في الإطلاق، والأكثر خضوعًا لسيطرة الشركة المورّدة: فكل من المعيار وأداة التقييم مملوكان لـ Moonshot.

• BenchCAD مع الأدوات — 92.7% لـ Kimi K3.1 Pro، مقابل 96.2% لـ Claude Opus 5.5 و95.9% لـ GPT-6 Astra. وبدون أدوات، 72.8% مقابل 73.0% لـ Opus؛ ولم تُفصح Astra عن رقمٍ خاصٍ بالأداء بدون أدوات. هذا هو الصف الذي يخسر فيه المتحدي بصورة واضحة، وهو يقع في منتصف عرض الإطلاق نفسه الخاص بإنشاء المحتوى ثلاثي الأبعاد.

• Kimi Hallu Bench Hard — معدل هلوسة على مستوى الادعاءات قدره 8.3% مع الأدوات، و5.4% بدونها. وعلى المعيار نفسه، يُعد GPT-6 Astra أفضل مع الأدوات (5.5 مقابل 8.3) وأفضل بدونها (4.2 مقابل 5.4)؛ بينما Claude Opus 5.5 أسوأ في الحالتين (15.0 و6.8). وتُفيد Moonshot أيضًا بأن المعدل انخفض من 23.4% في Kimi K3، وأن الاستجابات التي تحتوي على خطأ واقعي واحد على الأقل باتت تمثل الآن 42.4% من معدل الطراز السابق.

• التقييمات المالية والتجارية، الداخلية — Financial Modeling 57.6 مقابل 50.4 لـ K3، وFinancial Research 70.4 مقابل 58.8، وBusiness Operation 37 مقابل 8.9. الأخير تحسّن بأربعة أضعاف في مهمة كان فيها النموذج القديم قريبًا من غير القابل للعمل. تعامل مع المقادير على أنها اتجاهية؛ فهذه مجموعات Moonshot الخاصة بها.

• OfficeQA Pro v2 — 64.4، وهو ما تصفه Moonshot بأنه أحدث ما توصلت إليه التقنية. لا يظهر رقم أي بائع ثانٍ في الصف.

• xdev-bench-hard، pass@3 — 81.0% للنموذج المُشحَن، و90.5% لنقطة تحقق دُرِّبت دون تدابير الشركة للحد من مخاطر الأمن السيبراني، و33.3% لـ Kimi K3. وتلك الفجوة البالغة 9.5 نقاط هي الثمن الذي تقول Moonshot إنها دفعته لإبقاء القدرة السيبرانية الهجومية دون عتبة معيّنة.

حيث لا يزال الجدول فارغًا

هناك ثلاث فجوات جديرة بالذكر لأن تغطية هذا الإطلاق قد تجاهلتها إلى حد كبير.

الأول موجود في وثائق واجهة برمجة التطبيقات الخاصة بـ Moonshot نفسها. في يوم الإطلاق، كانت صفحة البدء السريع الخاصة بـ Kimi K3.1 Pro لا تزال تحمل سلاسل عناصر نائبة حرفية — "[xx.x%]" — في المواضع التي كان ينبغي أن تظهر فيها درجات Terminal-Bench 4.0 وTerminal-Bench-Science 0.1 ودرجات البرمجة الداخلية، بينما حمل المنشور التسويقي الأرقام النهائية. هذا خط أنابيب توثيق نُشر قبل النص التسويقي، وليس اختلاقًا، لكنه سبب لقراءة الأرقام من صفحة المدونة بدلًا من الوثائق.

الثاني هو Terminal-Bench-Science 0.1، حيث تنشر Anthropic نسبة 58.7% لـ Claude Opus 5.5، بينما تقول مواد Moonshot فقط إن Kimi K3.1 Pro «أعلى من K3»، دون رقم. الصف الذي لا يحتوي على رقم على أي من طرفي المقارنة ليس صفًا.

الثالث هو SWE-bench. فهو المعيار الذي لا يزال معظم الفرق يستشهد به عند الحديث عن وكلاء البرمجة، وقد ذكر منشور الإطلاق DeepSWE v1.1 وSWE-Marathon v1.1 في الحواشي دون نشر النتائج. وأيًّا كان السبب، فإن الرقم الأكثر طلبًا غائب.

كيف تقرأ 65.7

هناك أمران يؤثران في درجة Terminal-Bench أكثر مما يؤثر النموذج نفسه: البنية الداعمة المحيطة به، وإعداد جهد الاستدلال. ويُظهر جدول Opus 5.5 من Anthropic كلا التأثيرين داخل النموذج نفسه — إذ ينتقل CursorBench 4.0 من 57.8% عند جهد xhigh إلى 52.5% عند medium، بينما يتحرك FrontierCode بمقدار 0.2 نقطة بين الإعدادين نفسيهما. ولدى Kimi K3.1 Pro ثلاثة إعدادات، وهو يعتمد افتراضيًا الإعداد الأكثر تكلفة، لذا فمن المرجح أن يكون تشغيل المورّد الذي لا يذكر مستوى الجهد لديه تشغيلًا بأقصى إعداد، سواء أعلن ذلك أم لم يعلنه.

ولهذا السبب يصنّف المؤشر المستقل وجدول المورّد هذين النموذجين الثلاثة بترتيب مختلف. في صف Terminal-Bench لدى Moonshot، يتفوق Kimi على Astra بفارق 7.5 نقاط. وفي مؤشر التقييمات العشرة لدى Artificial Analysis، يتقدم Kimi على Astra بفارق نقطتين ويتأخر عن Opus بثلاث نقاط. لا يوجد ترتيب خاطئ بينهما؛ فكلاهما يجيب عن سؤال مختلف باستخدام أدوات تقييم مختلفة، والخلاصة الوحيدة المعقولة هي أن النماذج الثلاثة كلها ضمن بضع نقاط من بعضها في القدرة العامة، مع اختلاف السعر خمس مرات بين الأرخص والأغلى.

ماذا نفعل بالأرقام

بالنسبة لعبء عمل تهيمن عليه مخرجات الحجم — توليد أكواد طويل، وصياغة مستندات، وحلقات وكيلية تكتب أكثر بكثير مما تقرأ — فإن مؤشر الإسهاب هو ما ينبغي التخطيط على أساسه. فعند 150 مليون رمز لكل تشغيل فهرسة مقابل 60 مليونًا لدى Astra، ينتج Kimi K3.1 Pro نحو 2.5 ضعف المخرجات للمهمة، وحتى عند خُمس سعر المخرجات، فإن ذلك لا يزال يقلّص ميزة التكلفة بشكل كبير. ورقم 2.11 دولار لكل مهمة يأخذ ذلك في الحساب بالفعل، ولهذا فهو الرقم الأفضل للتخطيط من بطاقة الأسعار.

بالنسبة لعبء عملٍ تحدد فيه نقطةُ دقةٍ واحدة النتيجةَ، فإن الفجوة البالغة ثلاث نقاط أمام Claude Opus 5.5 على المؤشر المستقل هي الرقم المعني، ولا ينبغي لأي جدول من مورّد أن يقنعك بغير ذلك.

يمكن استدعاء Kimi K3.1 Pro عبر OrcaRouter بسعر $2.00 لكل مليون رمز إدخال و$10.00 لكل مليون رمز إخراج، مع سياق يبلغ 1,048,576 رمزًا، وما يصل إلى 943,718 رمز إخراج، وثلاثة تنسيقات لنقاط النهاية — Chat Completions وResponses وMessages — باستخدام المفتاح نفسه المستخدم لبقية حزمتك. سعر القائمة من المورّد هو ما تدفعه، دون إضافة أي هامش ربح، ما يعني أن الحساب أعلاه هو الحساب الذي ستحصل عليه. الشيء الوحيد الذي لا يمكن لهذه الصفحة تقديمه لك هو اختبار الأداء المرجعي الخاص بك: شغّل عيّنة من حركة المرور الحقيقية لديك عند الجهد المنخفض والمرتفع والأقصى قبل أن تختار إعدادًا افتراضيًا، لأن هذا الإعداد يحرّك التكلفة أكثر مما يفعل اختيار النموذج.