بطاقة عنوان مُولَّدة بعنوان «Karpo Decision 31B vs Kev 27B» وعنوان فرعي «Same board, fourteen points apart — and the loser has the better calibration»، وأربع شرائح نصية تحمل «Karpo 73.9 Full» و«Kev 59.6 Full» و«calibration error 4.8 vs 2.18» و«identical private tests»، وبطاقتان محددتا الإطار تحملان اسمَي «Kev 27B» و«Karpo Decision 31B» يجمعهما سطر يقول «both graded by the Decision Index».
Guides & Insights

كاربو ديسيشن 31B مقابل كيف 27B: النموذج الأفضل توثيقًا يخسر بـ14 نقطة

الكاتب

Elias Hawthorne

تاريخ النشر

أحدث النماذج · 20عرض جميع النماذج →
المعايير: Artificial Analysis · يُحدَّث يوميًا
العودة إلى جميع المقالات

هذه مواجهة نادرة جرى فيها تقييم كلا النموذجين على الأداة نفسها ومن الأشخاص أنفسهم. يقع كل من Karpo Decision 31B وKev 27B على Decision Index، وهي لوحة مجتمعية تقيّم النسخ المفتوحة من Jev التابع لـ TypeSafe، والفجوة بينهما ليست صغيرة: 73.9 Full لنموذج MachinePulse مقابل 59.6 لـ Kev 27B الخاص بـ Jared Palmer، أي فارق قدره أربع عشرة نقطة على اختبارات خاصة متطابقة. يتصدّر Karpo اللوحة. أما Kev فهو في المرتبة 74 من 307.

هذه النتيجة محرجة، لأن Kev 27B هو النموذج الأكثر توثيقًا بصرامة وبفارق كبير، وفي الخاصية الوحيدة التي يُستعان فعليًا بنموذج قرار من أجلها — صدق احتمالاته — هو أفضل بصورة قابلة للقياس من النموذج الذي يتفوق عليه. وكلا هذين الادعاءين يأتيان من المصدرين نفسيهما، وفهم سبب عدم تعارضهما هو الأمر الأكثر فائدة في هذه المقارنة.

ما هو كل نموذج، قبل الدرجات

Kev 27B هو ضبط دقيق كامل الأوزان لـ Qwen3.8-27B، نشره Jared Palmer بموجب Apache-2.0. نسخته الثانية، الصادرة في 30 سبتمبر 2026، هي متوسط مرجّح: كل موتر في العمود الفقري يساوي 0.85 × الوزن المضبوط بدقة زائد 0.15 × وزن النسخة السابقة، مع الإبقاء على رأس المؤشر من التشغيل الجديد. تبلغ نقطة التحقق المخدومة 25.6B في العمود الفقري إضافةً إلى رأس بمعاملات 2.6M، وحجمها 51.3 GB بصيغة bf16، مع درجة حرارة معايرة واحدة مقدارها 1.32 مضمّنة في ملف الرأس. تمتد الحالات إلى 65,536 رمزًا بما لا يقل عن 8,192 لكل سؤال، وهذا الرقم مُتحقَّق منه وليس اسميًا — تنشر بطاقة النموذج فرق الدقة المقترن عند كل شريحة من 8k إلى 64k مقابل خط الأساس 8k، مع فترات ثقة.

Karpo Decision 31B هو نسخة مضبوطة بدقة من Gemma 4 31B المضبوط بالتعليمات، وقد نشرته MachinePulse في 5 نوفمبر 2026، وهو أيضًا بترخيص Apache-2.0. يحتفظ بـ31.3 مليار معلمة بصيغة bf16 إضافة إلى قراءة fp32 بحجم 255 × 5,376 — 62.5 GB على القرص — ويجيب عبر رأس خطي على أكواد الخيارات بدلًا من رأس مؤشر على الرموز. السياق 32,768 رمزًا لكل تسلسل، ويُقسَّم حسب السؤال عندما يتجاوز الطلب سعة السياق، مع رفض صريح بدلًا من الاقتطاع عندما لا يتسع سؤال واحد.

نفس المهمة، هندسة مختلفة. يقرأ كيف مستندًا طويلًا وينتج توزيعًا. ويقرأ كاربو مستندًا أقصر بعض الشيء وينتج توزيعًا، وبسرعة أكبر.

النقاط الأربع عشرة، وما أنتجها

A generated two-column scoreboard titled 'Karpo Decision 31B vs Kev 27B — the scoreboard'. The Karpo column reads 'Full score: 73.9', 'Rank: first of 307, tied', 'Calibration error: 4.77 points', 'Context: 32,768 tokens', 'Latency: 94 ms median' and 'Licence: Apache-2.0'; the Kev column reads 'Full score: 59.6', 'Rank: 74th of 307', 'Calibration error: 2.18 points', 'Context: 65,536 tokens', 'Latency: 135 ms median' and 'Licence: Apache-2.0'. The footer reads 'Scores and calibration per the Decision Index; latency per each model card, hardware not identical.'

كلا الصفين يأتيان من اللوحة نفسها، لذا يُعد هذا القسم واحدًا من الأماكن القليلة التي يكون فيها الطرح المباشر مشروعًا.

• النتيجة الكاملة — كاربو 73.9، كيف 59.6.

• المؤشر العام — Karpo 75.05، Kev 56.69.

• الترتيب حسب الدرجة الكاملة — Karpo في المركز الأول (بالتساوي مع GLiDE 27B عند 73.4)، وKev في المركز 74 من 307.

• المعرفة والاستدلال — مهارة Karpo المصححة وفقًا للصدفة 65.5، وKev 45.7.

• الأدوات والأتمتة — كاربو 88.4، كيف 72.7.

• الفنون والذوق البشري — Karpo 68.2، Kev 42.7.

• زمن الاستجابة الوسيط، وحدة معالجة رسومات واحدة، طلب واحد في كل مرة — Karpo 94 مللي ثانية، Kev 135 مللي ثانية.

شكل الخسارة متسق عبر كل فئة، وأكبر فجوة مطلقة توجد في المعرفة، بنحو عشرين نقطة. وهذه هي الفجوة التي ينبغي أن تقلق أي شخص يخطط لاستخدام Kev في قرارات المستندات: فقد دُرّب النموذج بكثافة على أعمال المستندات وأدوات المطورين — إذ تأتي 24,000 من أصل 145,840 سجل تدريب لديه من عائلات مهام مرخّصة، و7,617 أخرى عبارة عن مستندات طويلة مجمّعة — ومع ذلك لا يزال يبلغ ثلثي مهارة المعرفة لدى Karpo.

بطاقة Kev الخاصة صريحة بشأن اتجاه المسار. فعند قياسها على مجموعة الاختبارات الخاصة بالاتساع الخاصة بها مقابل Jev من TypeSafe، تُبلغ عن مؤشر قدره 52.3 مع فاصل ثقة مقداره [49.2، 55.4] مقابل 54.0 [51.2، 57.0] لـJev — وهي خسارة يذكرها بوضوح ولا يجمّلها. والفريق الذي ينشر فاصل الثقة الخاص بخسارته هو فريق تستحق أرقامه الأخرى أن يُحسن الظن بها. وهذا تحديدًا ما يجعل 59.6 جديرًا بالثقة بدلًا من أن يكون مثيرًا للحرج.

الرقم الذي يسير في الاتجاه المعاكس

وهنا المفاجأة. خطأ المعايرة — أي مدى انحراف الاحتمال المعلن عن معدل الإصابة المرصود — يصب في مصلحة كيف، وليس بفارق ضئيل.

يسجّل المتتبّع خطأ معايرة متوقّعًا قدره 2.18 نقطة لـ Kev 27B مقابل 4.77 لـ Karpo Decision 31B. وبعبارة بسيطة: عندما يقول Kev إن القيمة 0.8، يكون محقًا نحو 80% من الوقت، بمتوسط انحراف نقطتين. وعندما يقول Karpo 0.8، يقترب متوسط الانحراف من خمس نقاط. وتؤكّد بطاقة Kev ذلك من جانبها، إذ تنشر أرقام ECE لكل لوحة تتراوح بين 0.014 و0.053، وتُجري تحقّقًا متقاطعًا خماسي الطيّات يخفّض خطأ الملاءمة من 4.8% إلى 3.8%.

إذن، النموذج الأضعف في الإجابة هو الأفضل في معرفة مدى جودة إجاباته. هذا ليس مفارقة، بل هو التمييز بين الدقة والمعايرة، وهو ما يحدد أي نموذج ينتمي إلى أين:

• إذا كان القرار مؤتمتًا عند عتبة، فإن المعايرة هي الخاصية الحاكمة. إن بوابةً مضبوطةً عند 0.9 وتُفعَّل عند إجابات كاربو البالغة 0.9 ستكون مخطئة بنحو ضعف ما تخطئ به البوابة نفسها لدى كيف. إن دقة كيف الأقل تكلّفك من الإنتاجية — إذ تسقط مزيد من الحالات دون العتبة وتذهب إلى المراجعة — ومعايرة كيف الأفضل تعني أن الحالات التي تجتاز الحد أكثر أمانًا.

• إذا كان القرار قيد المراجعة أو التقييم، فإن الدقة هي الغالبة. يرى إنسان أو عملية لاحقة الإجابة الأعلى والاحتمال، وكل أربع عشرة نقطة من الدقة تعني أربع عشرة نقطة من العمل المنجز بشكل صحيح. لا تجلب ميزة المعايرة لدى Kev أي فائدة عندما لا يحدّد أحد عتبات.

A capture of the community Decision Index leaderboard, headed with the multimodalart jev-decision-index attribution, listing Karpo Decision 31B at 73.86 in first place ahead of GLiDE 27B at 73.37, REAX 1.3 at 72.64, Logits Sigma-1 Duo at 72.28, Copernicus-31B at 72.11, KnowLine 31B Gen1.5 at 71.91, Copernicus-57B at 71.8, FlexDM-LoRA 2.1 at 71.66, Sieve 31B v3 at 71.10, OneJev1.6g-31B at 70.86 and Turion Jev 31B at 70.47.

يقدّم كلا النموذجين أنواع الأسئلة الثلاثة نفسها — ‏choice حتى 255 خيارًا، وnoul للصواب/الخطأ، وscore لمعيار تقييم مرتّب — وكلاهما يعرّضان نقطة نهاية HTTP على شكل System One، لذا فإن القرار قابل للعكس في الشيفرة. هذه هي الأخبار الجيدة: يمكنك قياس ذلك على بياناتك الخاصة في غضون فترة ما بعد الظهر بدلًا من الجدال حوله.

طول المستند هو حيث تتباين المواصفات فعليًا

سقف Karpo البالغ 32,768 رمزًا هو لكل تسلسل، وقاعدة التقسيم هي "حسب السؤال، مع حمل كل جزء للحالة الكاملة". بالنسبة لمئة سؤال على عقد من 20 ألف رمز، فهذه تمريرة واحدة دون أي مشكلة. أما بالنسبة لسؤال واحد على عقد من 40 ألف رمز، فيُرفض الطلب — وقد فشلت تسعة من أصل 140,178 طلبًا في تشغيل MachinePulse نفسه بهذه الطريقة تحديدًا.

يقدّم Kev حالات بطول 65,536 رمزًا، يجري التحقق منها ضمن فئات، ولوحة المستندات الطويلة لديه هي الشيء الأكثر فائدة على البطاقة لأي شخص يتعامل مع عقود حقيقية. وعلى اتفاقيات CUAD التجارية، يسجّل دقة تبلغ 0.874 عبر 2,194 سؤالًا، مع بقاء أرقام كل فئة بين 0.867 و0.880 من أقل من 8 آلاف وصولًا إلى 32–64 ألف رمز. لا تنهار الدقة مع الطول. الذي يتغير فعلًا هو المعايرة: فالخطأ في لوحة المستندات الطويلة يبلغ 0.053، أي نحو ثلاثة أضعاف رقم المستندات القصيرة. الحالات الطويلة هي حيث تصبح ثقة Kev متراخية.

المقايضة الصادقة بشأن الطول هي: سيقبل كيف مستندًا يرفضه كاربو، وسيجيب عنه بموثوقية أقل قليلًا مما يجيب عن مستند قصير. لن يقتطع أي من النموذجين النص بصمت، وهذا أهم من أي من الرقمين — فنموذج قرار يُسقط بهدوء البند الذي سألت عنه أسوأ من نموذج يقول لا.

النشر والأوزان والترخيص يتشاركان كلاهما

كلا النموذجين مرخّصان بموجب Apache-2.0 للأوزان والرأس، وكلاهما يتطلب المحمّل الخاص به، ويفشل كلاهما فشلًا ذريعًا إذا تعاملت معهما كنماذج محادثة. يحتاج Kev إلى وحدة معالجة رسومات من فئة 80 GB — فقد بلغت ذروة حالة 64 ألف رمز 87.1 GB على H200 — أو إلى جهاز Mac بذاكرة نحو 96 GB. ويحتاج Karpo إلى وحدة معالجة رسومات تستوعب 62.5 GB من أوزان bf16. لا يملك أيٌّ منهما نقطة نهاية مستضافة من ناشره؛ فـKev يقدّمه خادم مستودعه الخاص، ويقدّم Karpo حزمته الخاصة. اجتذب كلاهما تكميمات من المجتمع، وهي الإشارة المعتادة إلى أن الناس يشغّلونها فعليًا بدلًا من القراءة عنها.

الفرق بين 135 ms و94 ms هو لكل طلب على عتاد غير متطابق، لذا تعامل معه على أنه إرشادي. أما ما ليس إرشاديًا فهو الشكل التشغيلي: فالانتباه غير السببي لدى Kev على التسلسل الكامل يكلّف أكثر لكل رمز كلما طالت الحالات، بينما يحسب Karpo حالة واحدة مشتركة لكل طلب ويفرّع الأسئلة منها. إذا كان عبء العمل لديك أسئلة كثيرة على حالة قصيرة، فإن Karpo مبني لذلك بالضبط. وإذا كان سؤالًا واحدًا على مستند طويل، فـ Kev هو المناسب.

أي واحد يجب تشغيله؟

اختر Kev 27B إذا كنت بحاجة إلى تسليم نموذج اتفاقية من 64 ألف رمز، وإذا كنت تريد ضبط عتبة على الاحتمال وتهتم بأن تعني العتبة ما تقوله، وإذا كنت تقدّر مورّدًا ينشر فترات ثقة حول خسائره الخاصة. أنت تقبل نحو أربع عشرة نقطة من الدقة على لوحة تنافس عليها كلا النموذجين، وتحصل على أفضل أدلة المجال على ما تغطيه هذه الدقة وما لا تغطيه.

اختر Karpo Decision 31B إذا كانت الحالة لقطة شاشة أو تذكرة أو صفحة — قصيرة، كثيرة الأسئلة، حساسة لزمن الاستجابة — وإذا كانت درجة Full في اللوحة هي الدليل الذي ترجّحه. أنت تقبل خطأ معايرة بمقدار خمس نقاط وسقفًا قدره 32k، وتحصل على المتصدر الحالي عند 94 ms.

ما لا يمنحك إياه أيٌّ منهما هو نقطة نهاية للإنتاج. إذا كان على طبقة القرار أن تقف خلف بوابة تنطلق قبل كل استدعاء أداة، فستشغّل أحد هذين بنفسك، أو ستستدعي شيئًا مستضافًا. إن Jev 1.14 من TypeSafe مدرج في كتالوجنا لهذا الدور تحديدًا، وهو النموذج الذي بُنيت كلتا نقطتي التحقق لمجاراته — وهو مفيد كعنصر تحكم في اختبار ظلّي، لأن نسخة مفتوحة معاد إنتاجها تتفوق على النموذج المستهدف في لوحة تقييم تابعة لطرف ثالث ينبغي أن تتفوق عليه أيضًا في حركة المرور لديك. يضم الكتالوج أيضًا كلا النموذجين الأساسيين، Gemma 4 31B وQwen3.8-27B، عبر واجهة API واحدة لأكثر من 200 نموذج بسعر قائمة المزوّد دون أي هامش ربح، وهي أرخص طريقة لتحديد ما إذا كانت طبقة القرار تستحق امتلاكها أصلًا قبل شراء GPU.

السؤال المفتوح الذي تتركه هذه المواجهة هو السؤال الذي لا تستطيع لوحة الصدارة الإجابة عنه: هل يصمد تقدم Karpo بفارق أربع عشرة نقطة عند مواجهة عبء عمل حقيقي، أم أنه نوع التقدم الذي يأتي من الضبط على توزيع أقرب إلى مجموعة الاختبار الخاصة من توزيع منافسه. توثّق بطاقة Kev مزيج تدريبها وصولاً إلى عدد السجلات؛ أما بطاقة Karpo فلا تفعل. هذا التفاوت ليس دليلاً على شيء، وهو السبب في القياس بدلاً من الثقة بأي من الرقمين.

A capture of the Hugging Face model card for jaredpalmer/kev-27b showing the Text Classification tag, the qwen3.8 and typesafe tags, the apache-2.0 licence, the summary describing a decision model that returns a calibrated probability distribution in a single forward pass over documents of up to 64k tokens, 'a full-weight fine-tune of Qwen3.8-27B averaged with version 1', the model-details block listing a Qwen3.8-27B backbone of 64 layers with 48 Gated DeltaNet and 16 full-attention layers, 25.6B backbone parameters plus 2.6M in the head, bf16 precision in a 51.3 GB checkpoint, and states of up to 65,536 tokens.