SWE-2 Flash مقابل SWE-2: ما الذي يعنيه فعلاً فوز بفارق 0.2 نقطة

يمنح جدول المقارنة الخاص بـ Cognition SWE-2 Flash فوزًا واحدًا بالضبط على SWE-2: 24.0 مقابل 23.8 على FrontierCode 2.0. عُشران من نقطة، على معيار Cognition الخاص، في جدول بنته Cognition لإظهار النموذج الأصغر في أفضل حالاته. وهو أيضًا الرقم الأكثر فائدة في الإصدار، بسبب ما تفعله الصفوف الواقعة تحته — وبسبب ما يغفله بهدوء الصف الوحيد الظاهر في الأعلى.

النسخة القصيرة لمن يتخذ قرارًا على مكتبه بدلًا من القراءة حتى النهاية: إن Flash ليس نسخة أصغر من SWE-2. إنه طراز مختلف من قاعدة مختلفة، مضبوط للطرف المحدود من العمل، ومسعّر بخُمس السعر داخل المنتج نفسه. الفوز بـ0.2 نقطة حقيقي، لكنه يعني أقل مما يبدو.

نسختان من المعيار نفسه لا تتفقان، وهذا هو الاكتشاف الأول

ضع صفَّي FrontierCode جنبًا إلى جنب، وعندها يتوقف الجدول عن كونه قصة عن نموذج صغير يلحق بالركب.

• FrontierCode 2.0 — SWE-2 Flash 24.0 مقابل SWE-2 23.8

• FrontierCode 1.1 الرئيسي — 45.5 مقابل 50.0

الأداة نفسها، إصداران، وحكمان متعاكسان. في الإصدار الأحدث يتقدّم Flash بفارق ضئيل؛ وفي الأقدم يتأخر بـ4.5 نقطة. أحد هذين الصفين سينتهي في شريحة عرض الإطلاق والآخر لن يحدث، وأي الصفين يُختار يكشف عن العارض أكثر مما يكشف عن النموذج.

ثمة قراءة يمكن الدفاع عنها يكون فيها الصفّان صحيحين ولا يتناقضان: إصدار 2.0 أصعب، والدرجات المطلقة تنضغط، وقد تكافئ مجموعة مهام أحدث الأمر الذي دُرّب عليه Flash في مرحلة التدريب اللاحق. وثمة أيضًا قراءة أقل إطراءً: أن تقلّبًا بمقدار 4.5 نقاط بين إصدارين من معيار واحد هو مقياس لمدى حساسية الأداة، وأن هامشًا قدره 0.2 نقطة يقع داخل تلك الحساسية. لا تنشر Cognition فترات ثقة ولا تشغيلات متكررة، لذا لا يمكن تمييز الفرق بين 24.0 و23.8 عن الضوضاء بالمعلومات المعطاة. ما يمكن قوله أضيق نطاقًا وما يزال مفيدًا — على أحدث معيار لدى Cognition، النموذجان متعادلان، لا منفصلان.

أين تُوضع النقاط الثلاث عشرة

أما بقية الجدول فليست متقاربة، وشكل الفجوة هو ما يحمل المعلومة.

• DeepSWE 1.1 — SWE-2 Flash 60.1 مقابل SWE-2 73.0

• Terminal-Bench 4.0 — 20.0 مقابل 27.3

• SWE-Atlas QA — 50.0 مقابل 56.3

• Terminal-Bench 2.1 — 89.2 مقابل 92.8

• SWE-Bench Pro v2 Hard — 89.9 مقابل 90.6

• ExploitBench — 34.8 مقابل 36.1

رتّب تلك حسب مقدار الحرية التي تمنحها المهمة للوكيل، وسيظهر نمط. على SWE-Bench Pro v2 Hard — مسألة محددة جيدًا بإصلاح معرّف — يتخلف Flash بمقدار 0.7 نقطة. على Terminal-Bench 2.1 يتخلف بمقدار 3.6. على Terminal-Bench 4.0 تبلغ الفجوة 7.3، وعلى DeepSWE 1.1، صف الأفق الطويل، تبلغ 12.9. كلما زادت الحاجة في المهمة إلى أن يقرر النموذج ما يجب فعله بعد ذلك، اتسعت الفجوة.

هذه آلية معقولة، لا آلية مُثبتة. فالنموذج الذي يمتلك عُشر المعاملات النشطة لديه قدرة أقل على الحفاظ على خطة طويلة متماسكة، واختبارات الأداء طويلة الأمد هي أول ما يظهر فيه ذلك. لكن Cognition لا تنشر أعداد الدورات أو أعداد الرموز أو التفاصيل المُفصّلة لكل مهمة بشأن Flash كما فعلت مع SWE-2 — حيث أبلغت عن انخفاض متوسط الخطوات من 127 إلى 53 عند الجهد المتوسط — لذا فاستنتاج الآلية يأتي من شكل الجدول لا من إثباتها. تعامل معها كفرضية تنطبق على تجربتك أو لا تنطبق.

السعر والسرعة، بالعملة الوحيدة التي تُسعّر بها Cognition.

لا يملك أيٌّ من الطرازين سعرًا لكل رمز، لأن أياً منهما لا يملك نقطة نهاية. ما تنشره Cognition هو نسبة: يكلف SWE-2 Flash خُمس تكلفة SWE-2، ويعمل بسرعة ثلاثة أضعاف، أي 200 رمز/ثانية مقابل 60. ويأتي الرقمان من منهجية إعادة تشغيل واحدة — تشغيل كل طراز على مهمة gsea-proteomics في Terminal-Bench 4.0، معادًا تشغيله بمعدلات محاكاة مع تقصير النصوص إلى طول متساوٍ — لذا يصف كلاهما ملف تعريف تقديم مقصودًا لا ملفًا مقاسًا.

لا تزال النسبة هي الرقم الأكثر أهمية لاتخاذ القرار في الإصدار، بشرط أن تنفّذ الخطوة التالية. فالسعر لكل وحدة عمل ليس هو التكلفة لكل مهمة محلولة، والثانية هي ما تدفعه الفرق فعليًا. وإذا كان الخُمس يمثل خُمس تكلفة المهمة — وهو التفسير الوحيد الذي يجعل الادعاء ذا معنى داخل منتج قائم على الاشتراك — فإن الحساب يكون مباشرًا.

• على DeepSWE 1.1 — يحل Flash عددًا من المهام يعادل 82% من المهام التي يحلها المنافس بتكلفة تعادل خُمس التكلفة، أي أرخص بنحو 4.1 أضعاف لكل مهمة محلولة، حتى في الصف الذي يكون فيه الأداء الأسوأ.

• على FrontierCode 2.0 — فهو يحل مهامًا أكثر قليلًا بخُمس التكلفة، أي أرخص بنحو 5 أضعاف لكل مهمة محلولة.

• على Terminal-Bench 4.0 — يحل 73% من عدد المهام نفسها مقابل خُمس التكلفة، أي بتكلفة أقل بنحو 3.7 أضعاف لكل مهمة محلولة.

كل واحد من تلك الأرقام يفترض أن الخُمس ينطبق على تكلفة مهمة لا على رمز مميز، وأن معدلات الحل تنتقل إلى طابورك. لا تحدد Cognition أيّهما، والافتراض يقوم بعمل كبير. إذا كان الخُمس سعر رمز مميز على نموذج يُصدر رموزًا مميزة أكثر لكل مهمة، فإن الميزة تضيق وقد تنقلب في صفوف الأفق الطويل. الحساب هو فحص حساسية، لا قياس، وينبغي تشغيله مرة أخرى مقابل سجلاتك الخاصة.

ما لا شك فيه هو نافذة العرض الترويجي. إن SWE-2 Flash مجاني في Devin Desktop وCLI حتى 30 نوفمبر 2026. وقد انتهت نافذة SWE-2 المجانية في 10 أكتوبر. وخلال الأسابيع القليلة المقبلة، ستكون مقارنة السعر داخل Devin خُمسًا مقابل صفر، وهي ليست مقارنة على الإطلاق — بل فترة تقييم لها موعد نهائي.

إنهما ليسا من السلالة نفسها، وفجوة المعاملات هي أقل ما يثير الاهتمام بشأنهما.

تمّ تدريب SWE-2 لاحقًا انطلاقًا من Kimi K3: 2.8 تريليون معامل، و104 مليارات معامل نشطة لكل رمز، وأساس كان قد خضع بالفعل لتدريب معزّز مكثّف للتعلّم البرمجي الوكيلي. أما SWE-2 Flash فقد دُرّب لاحقًا انطلاقًا من Inkling-Small: 276 مليارًا إجمالًا، و12 مليارًا نشطة، برخصة Apache 2.0، من Thinking Machines. ويضع مخطط الأحجام الخاص بـ Cognition نسخة Flash عند 1x وSWE-2 عند 10.1x. أما بالنسبة إلى المعاملات النشطة، فإن النسبة أقرب إلى تسعة إلى واحد.

الآن قارن ذلك بالنتائج. إن فرقًا بمقدار ثمانية أضعاف ونصف في المعاملات النشطة يجلب 4.5 نقطة على FrontierCode 1.1 Main ولا شيء على الإطلاق على FrontierCode 2.0. وفي الوقت نفسه، فإن خطوة ما بعد التدريب نفسها تساوي أكثر بكثير من فرق المعاملات: يُظهر جدول Cognition أن Inkling-Small عند 21.5 على FrontierCode 1.1 Main وFlash عند 45.5، أي زيادة قدرها 24 نقطة من التدريب المتوسط والتعلم المعزز على نفس الأساس. والتباين المنسوب إلى ما بعد التدريب يبلغ نحو خمسة أضعاف التباين المنسوب إلى الفجوة الكاملة في المعاملات بين النموذجين.

هذا هو الاستنتاج الذي ينتجه النموذجان معًا، وهو أكبر مما يقدمه أي منهما على حدة. كما يفسّر سبب استعداد Cognition لبيع النموذج الأصغر مقابل خُمس السعر: فلم يكن الجزء المكلف في SWE-2 هو النموذج الأساسي قط. بل كانت البيانات والمدقّقات وبيئات التعلّم المعزّز، ويعيد Flash استخدام هذا الاستثمار على قاعدة أرخص.

هناك تحذيران تجدر الإشارة إليهما هنا. فالمقارنة هي جدول مورّد واحد على معايير يتحكم بها المورّد، ولم يُعَد إنتاج أي شيء فيه بشكل مستقل. كما أن النماذج الأساسية ليست مدخلات متكافئة — فـ Kimi K3 يأتي بسياق يبلغ مليون رمز ورؤية أصلية، بينما Inkling-Small بنية مختلفة بدعم مختلف للوسائط المتعددة — لذا فإن عبارة "التدريب اللاحق نفسه، وأساس أرخص" هي صياغة Cognition وليست متغيرًا معزولًا.

عدم التماثل في إعداد الجهد

صدر SWE-2 بثلاثة مستويات موثّقة لجهد الاستدلال — medium وhigh وmax — وقد أوضح إطلاق Cognition في سبتمبر الغرض من كل منها: المستوى medium ينتقل إلى التنفيذ على نحو أسرع، في حين يخطّط high وmax أكثر، ويستكشفان قدرًا أكبر من قاعدة الشيفرة، وينفقان أكثر على التحقق. كما ذكر أنه جرى الإبلاغ بأفضل نتيجة لكل نموذج عبر إعدادات الجهد المختلفة.

لا يوثّق SWE-2 Flash أي تحكم في الجهد على الإطلاق. فلا يذكر منشور الإطلاق شيئًا من ذلك، ولا يتضمن جدول المعايير أي عمود للإعدادات. لذا فإن المقارنة كما نُشرت هي SWE-2 بأفضل حالاته مقابل Flash بتكوين غير معلن — وهي مقارنة متكافئة فقط إذا كان لـ Flash إعداد واحد، وغير عادلة باتجاه غير معروف إذا كان له عدة إعدادات.

إذا كان Flash لا يملك حقًا أي تحكم في مستوى الجهد، فإن ذلك يمثل فرقًا في المنتج يستحق التسمية بدلًا من اعتباره ثغرة توثيقية. فالجهد هو وسيلتك لمقايضة التكلفة بالعمق على أساس كل مهمة، والنموذج الذي يفتقر إليه يمنحك إعدادًا واحدًا لطابور يضم أعمالًا تافهة وصعبة معًا. وهذا تحديدًا هو المقايضة التي يُفترض أن تتيحها لك النسبة.

إلى أي طابور ينتمي كل واحد منها

إن صياغة Cognition نفسها هي الدليل الأصدق هنا. فهي تقول إن النماذج الأصغر "تزداد قدرتها على التعامل مع جزء كبير من العمل الذي يؤديه وكلاء البرمجيات، مثل الأتمتة ومراجعة الشيفرة وتطوير الميزات وتحديث الوثائق"، وإن SWE-2 Flash طُوّر لهذا العمل. قارن تلك القائمة بشكل المعيار، وستجد أن الاثنين متفقان: مهام محدودة النطاق، وتعريف واضح للإنجاز، وحجم كبير، وتحمّل منخفض لزمن الاستجابة.

• إذا كانت المهمة تتّسع في موجّه واحد وكان تعريف الإنجاز واضحًا لا لبس فيه — جولة مراجعة، أو تحديث مستند، أو ميزة صغيرة، أو أتمتة مجدولة — فإن Flash هو الخيار الافتراضي الصحيح، وحساب التكلفة لكل مهمة مُنجزة الوارد أعلاه يقول إنه أرخص عدة مرات حتى في الحالات التي ينجز فيها مهامًا أقل.

• إذا كان على الوكيل أن يقرر ما الذي يفعله تاليًا أكثر من بضع مرات — عملية ترحيل، أو إعادة هيكلة عبر مستودعات متعددة، أو جلسة تصحيح أخطاء يكون فيها الفرض الأول عادةً خاطئًا — فإن فجوة {{1}}DeepSWE{{/1}} البالغة 13 نقطة هي بالضبط ما تدفع مقابله مع {{2}}SWE-2{{/2}}، ولا تعوّض النسبة عنها.

• إذا لم تتمكن من تحديد أيّ من تلك هي المهمة، فابدأها على Flash ثم صعّدها. هذا هو القرار الذي بنت Cognition مستويات الجهد من أجله على SWE-2، وغياب التحكم في الجهد لدى Flash يجعل التصعيد قرار توجيه بدلًا من كونه معاملًا.

الخطأ الذي يجب تجنّبه هو استخدام الفوز بـ0.2 نقطة كرخصة لتحريك قائمة الانتظار الصعبة. فهو معيار واحد، وإصدار واحد، ومورّد واحد، ويقع ضمن حساسية الأداة نفسها.

خارج Devin، لا يُعد أيٌّ منهما مرشحًا.

لا يوفّر أي من الطرازين واجهة برمجة تطبيقات (API). ولا تتوفر لأي منهما أوزان عامة. وإذا كانت أداة التقييم لديك خاصة بك، فإن هذا الزوج ليس خيارًا متاحًا لك، ولن تفيدك النافذة المجانية — فهي مجرد تجربة داخل منتج يتعيّن عليك شراؤه.

النصف القابل للوصول من هذا المكدس هو الأساس. يتم توجيه Kimi K3 عبر OrcaRouter باسم kimi/kimi-k3 بسعر 3.00 دولارات لكل مليون رمز إدخال و15.00 دولارًا لكل مليون رمز إخراج، مع نافذة سياق بسعة مليون رمز واستدعاء أدوات أصلي، بسعر القائمة الخاص بالمزوّد دون أي هامش ربح مضاف. تغطي واجهة API واحدة أكثر من 200 نموذج، مما يجعل تقسيم قائمة الانتظار أعلاه قابلًا للتنفيذ خارج Devin: يمكن لقاعدة توجيه أن ترسل العمل المحدود إلى نموذج رخيص وتصعّد المهام الطويلة الأفق إلى نموذج أقوى، من دون أن يعرف العميل أيّها أجاب. يقع التبديل التلقائي عند الفشل خلف المسار المصعّد، لأن النموذج الذي تصعّد إليه هو النموذج الذي لا يمكنك تحمّل تعطّله.

ذلك منتج مختلف عن SWE-2 Flash، وليس بديلاً عنه. وهو ما تفعله عندما لا تكون للشيء الذي تريد تقييمه نقطة نهاية.

ما الذي سيحسم الأمر؟

ثلاثة إفصاحات من شأنها أن تحوّل هذه المقارنة من جدول مورّد إلى دليل. تشغيل مستقلّ لـ DeepSWE 1.1 وTerminal-Bench 4.0 على كلا النموذجين، ينفّذه طرف ليس Cognition ولا يستخدم أداة الاختبار الخاصة بـ Cognition. وبيان بإعداد الجهد والبنية الأساسية (scaffold) الكامنة خلف كل صف في جدول Flash، بما يوازي ما وفّرته نسخة إطلاق SWE-2. وتشغيل متكرّر، بحيث يمكن تمييز فارق قدره 0.2 نقطة عن التباين بين تشغيل وآخر.

حتى ذلك الحين، فإن القراءة القابلة للدفاع هي القراءة الضيقة. إن SWE-2 Flash شقيق مُحسَّن من حيث التكلفة، مبني على قاعدة أصغر بكثير، ومتعادل مع SWE-2 على أحدث معيار، ومتخلف بوضوح في الأعمال طويلة الأفق، ويُباع بنسبة تجعله أرخص عدة مرات لكل مهمة محلولة استنادًا إلى الأدلة المتاحة. هذا قرار منتج جيد وادعاء تقني متواضع. إن الفوز بـ0.2 نقطة ليس دليلًا على أنه استبدل أي شيء — بل هو دليل على أن الفجوة، على أداة واحدة، وفي يوم واحد، أُغلقت بما يكفي لتتلاشى في الضجيج.