SWE-2 Flash مقابل North Mini Code: الاختبار المعياري داخل الاختبار المعياري

هذه مقارنة غير مريحة. إن SWE-2 Flash نموذج مُدرَّب بعديًا بعدد 276 مليار معامل، صدر في 4 نوفمبر 2026، وله ثمانية صفوف معايير ولا توجد طريقة لاستدعائه. أما North Mini Code فهو نموذج بعدد 30 مليار معامل أطلقتها Cohere في يونيو 2026 بموجب Apache 2.0، وله جدول معايير لا يتقاطع مع SWE-2 Flash في أي صف على الإطلاق — ودرجة مستقلة لا يملكها SWE-2 Flash إطلاقًا. على الورق، يفوز النموذج الأحدث والأكبر في كل شيء. أما من حيث الأدلة، فإن الأقدم والأصغر هو الوحيد من بين الاثنين الذي قاسه طرف ثالث.

ذلك الانقلاب هو المقال بأكمله، وهو أكثر فائدة من مقارنة الدرجات، لأن مقارنة الدرجات لا يمكن فعليًا إجراؤها.

نموذجان من MoEs بميزانيتَي معلمات متعاكستين

كلا النموذجين من نماذج خليط الخبراء المتناثرة، وقد بُنيا على الحجة نفسها المتعلقة بالتكلفة: ادفع مقابل المعاملات النشطة، لا الإجمالية. وهما يقعان عند طرفين متقابلين تقريبًا من النطاق.

• إجمالي المعاملات — SWE-2 Flash 276B مقابل North Mini Code 30B

• نشط لكل توكن — SWE-2 Flash 12B مقابل North Mini Code 3B

• تخطيط الخبراء — يرث SWE-2 Flash بنية Inkling-Small؛ ويوجّه North Mini Code إلى 8 من أصل 128 خبيرًا

• السياق — SWE-2 Flash غير منشور مقابل North Mini Code 256K، مع حد أقصى للإخراج 64K

• الحد الأقصى للإخراج — SWE-2 Flash غير المنشور مقابل North Mini Code 64K

• الترخيص — SWE-2 Flash محجوز مقابل North Mini Code بترخيص Apache 2.0 بصيغ BF16 وFP8 وW4A16

إن الفارق البالغ تسعة أضعاف في المعاملات النشطة هو الرقم الذي يفسّر كل ما عداه. فبوسع SWE-2 Flash أن يكون نموذجًا أكبر وأبطأ في التدريب يعمل بتكلفة زهيدة لكل رمز، لأن 12 مليارًا فقط من معاملاته تُفعَّل. أما North Mini Code فيعمل بجزء ضئيل من ذلك، ولهذا تستطيع Cohere نشره في بيئة تشغيل بحجم حاسوب محمول، ولهذا أيضًا يكون سقفه في الاختبارات المعيارية أدنى.

لماذا لا يمكنك وضع 89.2 بجانب 36.0

المقارنة التي ستنتشر هي Terminal-Bench: SWE-2 Flash عند 89.2، وNorth Mini Code عند 36.0. فجوة قدرها 53 نقطة كان من شأنها أن تجعل هذا الموضوع غير جدير بأن يُنشر كمقال. لكنها ليست عملية طرح صالحة، لسبب يسهل تفويته.

تُفيد North Mini Code بأن "Terminal-Bench v2" عند 36.0 و"Terminal-Bench Hard" عند 31.1. وتُفيد SWE-2 Flash بأن "Terminal-Bench 2.1" عند 89.2 و"Terminal-Bench 4.0" عند 20.0. إن "v2" و"2.1" تسميتان متجاورتان لمجموعة مهام قد تكون أو لا تكون نفسها، ولا يذكر أيٌّ من المورّدين عدد المهام أو أداة الاختبار أو اصطلاح الاحتساب في المواد التي تتم مقارنتها.

الدليل الداخلي هو أن هذه الإصدارات أدوات مختلفة اختلافًا جذريًا. صفّا Terminal-Bench الخاصان بـ SWE-2 Flash نفسها يفصل بينهما 69 نقطة — 20.0 على 4.0، و89.2 على 2.1. عندما يحصل نموذج واحد على 20 و89 في اختبارين يحملان الاسم نفسه بأرقام مختلفة، فإن الإصدار هو القياس. وضع نتيجة 2.x مقابل نتيجة v2 ووصف الفرق بأنه فجوة في القدرات هو الخطأ الأكثر شيوعًا في مجال هذه المقارنة.

تبدو الصفوف الأخرى مشتركة وليست كذلك. يذكر North Mini Code نتيجة SWE-bench Pro عند 40.2؛ ويذكر SWE-2 Flash نتيجة SWE-Bench Pro v2 Hard عند 89.9. ذلك جيل مختلف من المقاييس ومجموعة فرعية مُصفّاة. يذكر North نتيجة SWE-bench Verified عند 67.6؛ بينما لا يذكر SWE-2 Flash نتيجة Verified إطلاقًا. يذكر North نتيجتي SciCode 38.2 وLiveCodeBench v6 70.3؛ بينما لا يذكر SWE-2 Flash أيًا منهما.

وهذا يترك DeepSWE 1.1، حيث يُبلّغ SWE-2 Flash عن 60.1 ولا يُبلّغ North Mini Code عن شيء.

الرقم المستقل الذي يمتلكه واحد منهم فقط

يمتلك North Mini Code مؤشر الذكاء Artificial Analysis Intelligence Index بقيمة 27.6 ومؤشر البرمجة Coding Index بقيمة 33.4. وهذه قياسات من جهات خارجية وفق منهجية متسقة، أُجريت على نموذج يمكن لأي شخص تنزيله وإعادة تشغيله.

ليس لـ SWE-2 Flash مدخل في Artificial Analysis، لأن Artificial Analysis يقيس النماذج عبر API وليس لـ SWE-2 Flash أي API. كل رقم منسوب إليه — 60.1 و89.2 و20.0 و24.0 على FrontierCode 2.0 — هو رقم Cognition نفسه، أُنتج على منصة اختبار غير معلنة، وFrontierCode هو معيار تقييم خاص بـ Cognition نفسه. لا شيء هنا يقول إن تلك الأرقام خاطئة. إنه يقول إن القارئ لا يملك طريقة لتمييز قدرة حقيقية عن سقالة سخية.

بالنسبة لنموذج مفتوح الأوزان بحجم 30B من يونيو، فإن مؤشر AA للبرمجة البالغ 33.4 هو درجة متواضعة — أعلى من 25.9 لدى GLM-4.7-Flash، وأدنى من 35.2 لدى Qwen3.6 35B-A3B. وهي أيضًا درجة يمكنك التحقق منها، وهذا أثمن من صف بيانات لمورّد لا يمكنك التحقق منه.

السرعة، وأيّ ادعاء يمكن التحقق منه

تُبلغ Cohere عن نحو 199 رمز إخراج في الثانية عبر واجهة API الخاصة بها، أي نحو 2.8 ضعف إنتاجية Devstral Small 2. وهذا قياس على نقطة نهاية مخدومة: يدخل الطلب، وتخرج الرموز، ويمكن لأي شخص لديه صلاحية الوصول أن يعيد إنتاجه.

تُبلغ Cognition عن نحو 200 توكن في الثانية لـ SWE-2 Flash مقابل 60 لـ SWE-2، وذلك عبر إعادة تشغيل نصوص جلسات مختصرة بمعدلات محاكاة. الرقمان متقاربان بفارق توكن واحد في الثانية، لكنهما يعنيان أمرين مختلفين تمامًا. أحدهما قياس لمعدل الإنتاجية؛ والآخر عرض لما سيبدو عليه النموذج عند تلك السرعة.

هذا هو النمط في المقارنة بأكملها. النموذج الأقدم ينشر ادعاءات أقل إبهارًا مع منهجية أكبر مرفقة بها. أما النموذج الأحدث فينشر ادعاءات تبدو أفضل دون أي منهجية.

حيث يكون North Mini Code ضعيفًا حقًا

ليس كل شيء في صالح Cohere. فـ North Mini Code متخصص في البرمجة ويتصرف على هذا النحو: يسجّل 14% في GDPval-AA و37% في τ²-Bench Telecom، وكلاهما تقييمات وكيلية غير برمجية سيكون أداء نموذج عام فيها أفضل بكثير. إذا كان وكيلك مضطرًا لفعل أي شيء غير كتابة الشيفرة واختبارها — معالجة سير عمل عميل، أو التفكير في عملية تجارية — فإن North Mini Code هو الأداة الخاطئة، ومن المرجح أن تكون قاعدة SWE-2 Flash الأوسع هي الرهان الأفضل.

نافذة السياق الخاصة به منشورة وكبيرة — 256,000 رمز مع حد إخراج قدره 64,000 رمز — رغم أن النافذة القابلة للاستخدام لا تزال تعتمد على مكدس الخدمة. كما أن نموذجًا بحجم 30B مع 3B نشطة لديه سقف أقل من نموذج بحجم 276B مع 12B نشطة؛ ولا يمكن لأي قدر من الشفافية المنهجية أن يسد هذه الفجوة.

التكلفة، والحجة الداعمة لطبقة توجيه

North Mini Code مجاني للتنزيل بموجب Apache 2.0، مع تسعير مستضاف على واجهة Cohere البرمجية الخاصة وإتاحته عبر عدة منصات طرف ثالث. SWE-2 Flash مجاني داخل Devin حتى 30 نوفمبر 2026 وغير مسعّر بعد ذلك، دون أي صيغة قابلة للتنزيل في أي أفق منظور.

لا يوجد أيٌّ منهما في كتالوج OrcaRouter. فنموذج Cohere قابل للاستضافة الذاتية من قبل أي شخص يمتلك العتاد اللازم، ونموذج Cognition ليس لديه نقطة نهاية يمكن التوجيه إليها — لذا فالصياغة الصادقة هي أن هذا القرار يُتخذ خارج كتالوجنا في كلتا الحالتين. وما تغيّره طبقة التوجيه فعلاً هو تكلفة الخطأ. OrcaRouter يمرّر سعر قائمة المزوّد كما هو بهامش 0% ويبدّل تلقائياً عند الفشل، لذا فإن تطبيقاً مكتوباً استناداً إلى معرّف نموذج واحد ليس تطبيقاً مكتوباً استناداً إلى جهوزية مورّد واحد. وبالنسبة لزوج قد يُعاد تسعير أحد طرفيه في 1 ديسمبر وقد لا يكون الطرف الآخر قابلاً للاستدعاء أبداً، فإن قابلية النقل هذه هي الجزء الذي يستحق هندسته.

كيف تقرر

إذا كنت تريد نموذجًا يمكنك تشغيله وفحصه وتكميمه وقياس أدائه بنفسك، فإن North Mini Code هو الخيار الوحيد في هذا الثنائي، كما أن نافذة السياق المنشورة وميزانية 3B النشطة تجعله عمليًا على أجهزة متواضعة. اقبل سقف القدرات الأدنى والتركيز الضيق على البرمجة.

إذا كنت داخل Devin وكانت النافذة المجانية هي المقصودة، فإن SWE-2 Flash هو النموذج الأقوى وفق أرقامه الخاصة بفارق كبير، وتكلفة تجربته حتى 30 نوفمبر صفر.

ما ينبغي ألا تفعله هو أن تضع 89.2 بجانب 36.0 وتستنتج أي شيء. فهذه الأرقام تأتي من أدوات مختلفة، أبلغت عنها شركات مختلفة، ضمن عائلة معايير رقم إصدارها هو القياس نفسه. العبارة الوحيدة القابلة للدفاع بشأن هذين الرقمين هي تلك التي تبدو أقل ما يشبه الحكم: أحد الرقمين قُيّم بشكل مستقل والآخر لم يُقيّم، وهذا فرق أكبر من أي صف في أي من الجدولين.