כרטיס כותרת מופק שכותרתו 'Karpo Decision 31B מול Kev 27B' עם כותרת משנה 'אותו לוח, פער של ארבע עשרה נקודות — ולמפסיד יש כיול טוב יותר', ארבעה צ'יפים שבהם כתוב 'Karpo 73.9 Full', 'Kev 59.6 Full', 'שגיאת כיול 4.8 מול 2.18' ו'מבחנים פרטיים זהים', ושני כרטיסים עם מסגרת שעליהם הכיתוב 'Kev 27B' ו-'Karpo Decision 31B', המחוברים בקו שעליו כתוב 'שניהם דורגו לפי Decision Index'.
Guides & Insights

Karpo Decision 31B לעומת Kev 27B: המודל המתועד יותר מפסיד ב-14 נקודות

מחבר

Elias Hawthorne

תאריך פרסום

מודלים אחרונים · 20צפו בכל המודלים →
בנצ'מרקים: Artificial Analysis · מתעדכן יומית
חזרה לכל הפוסטים

זהו מפגש נדיר שבו שני המודלים הוערכו באותו כלי על ידי אותם אנשים. גם Karpo Decision 31B וגם Kev 27B נמצאים ב-Decision Index, לוח הקהילה שמדרג שחזורים פתוחים של Jev מבית TypeSafe, והפער ביניהם אינו קטן: 73.9 Full עבור המודל של MachinePulse לעומת 59.6 עבור Kev 27B של ג'ארד פאלמר — פער של ארבעה עשר נקודות במבחנים פרטיים זהים. Karpo מוביל בלוח. Kev נמצא במקום ה-74 מתוך 307.

התוצאה הזו מביכה, כי Kev 27B הוא המודל המתועד בקפדנות רבה יותר בפער ניכר, ובתכונה היחידה שבגללה באמת שוכרים מודל קבלת החלטות — כנות ההסתברויות שלו — הוא טוב בצורה מדידה מהמודל שמנצח אותו. שתי הטענות האלה מגיעות מאותם שני מקורות, וההבנה מדוע הן אינן סותרות זו את זו היא הדבר השימושי ביותר בהשוואה הזו.

מהו כל מודל, לפני הציונים

Kev 27B הוא כיוונון עדין במשקל מלא של Qwen3.8-27B שפורסם על ידי ג'ארד פאלמר תחת רישיון Apache-2.0. הגרסה השנייה שלו, שיצאה לאור ב-30 בספטמבר 2026, היא ממוצע משוקלל: כל טנסור עמוד שדרה הוא 0.85 × המשקל שעבר כיוונון עדין ועוד 0.15 × מזה של הגרסה הקודמת, כאשר ראש המצביע נשמר מההרצה החדשה. נקודת הבדיקה המוגשת היא 25.6B בעמוד השדרה ועוד ראש בעל 2.6M פרמטרים, 51.3 GB ב-bf16, עם טמפרטורת כיול יחידה של 1.32 המוטמעת בקובץ הראש. המצבים מגיעים עד 65,536 טוקנים עם לפחות 8,192 لكل שאלה, ונתון זה מאומת ולא נומינלי — הכרטיס מפרסם את הפרש הדיוק המזווג בכל מדרגה מ-8k עד 64k לעומת בסיס ה-8k, עם רווחי סמך.

Karpo Decision 31B הוא כיוונון עדין של Gemma 4 31B מכוונן להוראות, שפורסם על ידי MachinePulse ב-5 בנובמבר 2026, גם תחת Apache-2.0. הוא שומר על 31.3B פרמטרים ב-bf16 בתוספת readout של fp32 בגודל 255 × 5,376 — 62.5 GB בדיסק — ומשיב דרך ראש ליניארי מעל קודי אפשרויות ולא דרך ראש מצביע מעל טוקנים. ההקשר הוא 32,768 טוקנים לכל רצף, מפוצל לפי שאלה כאשר בקשה חורגת מהמגבלה, עם סירוב מוחלט ולא קיצוץ כאשר שאלה בודדת אינה נכנסת.

אותה עבודה, הנדסה אחרת. קב קורא מסמך ארוך ומפיק התפלגות. קרפו קורא מסמך שקצר במקצת יותר ומפיק התפלגות, מהר יותר.

14 הנקודות, ומה שיצר אותן

A generated two-column scoreboard titled 'Karpo Decision 31B vs Kev 27B — the scoreboard'. The Karpo column reads 'Full score: 73.9', 'Rank: first of 307, tied', 'Calibration error: 4.77 points', 'Context: 32,768 tokens', 'Latency: 94 ms median' and 'Licence: Apache-2.0'; the Kev column reads 'Full score: 59.6', 'Rank: 74th of 307', 'Calibration error: 2.18 points', 'Context: 65,536 tokens', 'Latency: 135 ms median' and 'Licence: Apache-2.0'. The footer reads 'Scores and calibration per the Decision Index; latency per each model card, hardware not identical.'

שתי השורות מגיעות מאותו לוח, ולכן קטע זה הוא אחד המקומות הבודדים שבהם חיסור ישיר הוא לגיטימי.

• ניקוד מלא — קארפו 73.9, קב 59.6.

מדד ציבורי — Karpo 75.05, Kev 56.69.

• דירוג לפי ציון מלא — Karpo במקום הראשון (בשוויון עם GLiDE 27B ב־73.4), Kev במקום ה־74 מתוך 307.

• ידע והיסק — קארפו 65.5 מיומנות מתוקנת-לסיכוי, קוו 45.7.

• כלים ואוטומציה — Karpo 88.4, Kev 72.7.

• אמנויות וטעם אנושי — Karpo 68.2, Kev 42.7.

• השהיה חציונית, GPU אחד, בקשה אחת בכל פעם — Karpo 94 ms, Kev 135 ms.

צורת הפער עקבית בכל קטגוריה, והפער המוחלט הגדול ביותר הוא בידע, בכמעט עשרים נקודות. זה מה שצריך להדאיג כל מי שמתכנן להשתמש ב-Kev לקבלת החלטות בנוגע למסמכים: המודל אומן באופן נרחב על עבודה עם מסמכים וכלי פיתוח — 24,000 מתוך 145,840 רשומות האימון שלו מגיעות ממשפחות משימות ברישיון, ועוד 7,617 הן מסמכים ארוכים שהורכבו — והוא עדיין מגיע לשני שלישים מהיכולת של Karpo בידע.

הכרטיס של Kev עצמו כנה לגבי כיוון התנועה. כאשר הוא נמדד בחבילת מבחני הרוחב שלו מול Jev של TypeSafe, הוא מדווח על מדד של 52.3 עם רווח סמך של [49.2, 55.4], לעומת 54.0 [51.2, 57.0] של Jev — הפסד שהוא מציג בפשטות ואינו מייפה אותו. צוות שמפרסם את רווח ההפסד של עצמו הוא צוות שהמספרים האחרים שלו ראויים לחזקת הספק. זה בדיוק מה שהופך את 59.6 לאמין ולא למביך.

המספר שהולך בכיוון ההפוך

הנה הטוויסט. שגיאת כיול — עד כמה ההסתברות המוצהרת סוטה משיעור הפגיעה שנצפה — מעדיפה את קֶב, ולא במעט.

העוקב מתעד שגיאת כיול צפויה של 2.18 נקודות עבור Kev 27B לעומת 4.77 עבור Karpo Decision 31B. במילים פשוטות: כאשר Kev אומר 0.8, הוא צודק בערך ב-80% מהמקרים, עם סטייה ממוצעת של שתי נקודות. כאשר Karpo אומר 0.8, הסטייה הממוצעת קרובה יותר לחמש נקודות. הכרטיס של Kev מאשש זאת מצדו, ומפרסם נתוני ECE לכל פאנל בין 0.014 ל-0.053, וכן אימות צולב מחומש שמפחית את שגיאת ההתאמה מ-4.8% ל-3.8%.

אז המודל שפחות טוב במתן תשובות טוב יותר בלדעת עד כמה התשובות שלו טובות. זה לא פרדוקס, זה ההבחנה בין דיוק לכיול, והיא קובעת איזה מודל שייך לאן:

• אם ההחלטה היא אוטומטית בסף, כיול הוא התכונה המכרעת. שער שנקבע על 0.9 ומופעל על תשובות ה-0.9 של Karpo יהיה שגוי בערך פי שניים לעומת אותו שער אצל Kev. הדיוק הנמוך יותר של Kev עולה לך בתפוקה — יותר מקרים נופלים מתחת לסף ועוברים לבדיקה — והכיול הטוב יותר שלו משמעו שאלה שעוברים את הרף בטוחים יותר.

• אם ההחלטה נבדקת או מדורגת, הדיוק הוא הקובע. אדם או תהליך בהמשך רואה את התשובה המובילה ואת ההסתברות, וארבעה עשר נקודות דיוק הן ארבעה עשר נקודות של עבודה שנעשתה נכון. ליתרון הכיול של קב אין כל ערך כאשר אף אחד אינו מיישם סף.

A capture of the community Decision Index leaderboard, headed with the multimodalart jev-decision-index attribution, listing Karpo Decision 31B at 73.86 in first place ahead of GLiDE 27B at 73.37, REAX 1.3 at 72.64, Logits Sigma-1 Duo at 72.28, Copernicus-31B at 72.11, KnowLine 31B Gen1.5 at 71.91, Copernicus-57B at 71.8, FlexDM-LoRA 2.1 at 71.66, Sieve 31B v3 at 71.10, OneJev1.6g-31B at 70.86 and Turion Jev 31B at 70.47.

שני המודלים מספקים את אותם שלושה סוגי שאלות — choice עם עד 255 אפשרויות, noul עבור נכון/לא נכון, score עבור רובריקה מסודרת — ושניהם חושפים נקודת קצה HTTP בצורת System One, כך שהבחירה הפיכה בקוד. אלו החדשות הטובות: אפשר למדוד את זה על הנתונים שלכם בתוך אחר צהריים במקום להתווכח על כך.

אורך המסמך הוא הנקודה שבה המפרטים למעשה נבדלים זה מזה.

תקרת 32,768 הטוקנים של Karpo היא לכל רצף, וכלל הפיצול הוא "לפי שאלה, כאשר כל חלק נושא את המצב המלא". עבור מאה שאלות על חוזה של 20 אלף טוקנים, זה מעבר אחד ובלי דרמה. עבור שאלה אחת על חוזה של 40 אלף טוקנים, הבקשה נדחית — תשע מתוך 140,178 הבקשות בהרצה של MachinePulse עצמה נכשלו בדיוק כך.

Kev מספק מצבי 65,536 טוקנים, מאומתים בדליים, ופאנל המסמכים הארוכים שלו הוא הדבר השימושי ביותר בכרטיס למי שיש לו חוזים אמיתיים. בהסכמים מסחריים של CUAD הוא מדווח על דיוק של 0.874 על פני 2,194 שאלות, כאשר הנתונים לכל דלי נעים בין 0.867 ל-0.880 מפחות מ-8k ועד 32k–64k טוקנים. הדיוק אינו קורס עם האורך. מה שכן משתנה הוא הכיול: השגיאה בפאנל המסמכים הארוכים היא 0.053, בערך פי שלושה מנתון המסמכים הקצרים שלו. מצבים ארוכים הם המקום שבו הביטחון של Kev נעשה רופף.

אז הפשרה הכנה בכל הנוגע לאורך: קֵב ייקח מסמך שקארפו מסרב לו, והוא יענה עליו באופן קצת פחות אמין מאשר הוא עונה על מסמך קצר. אף אחד מהמודלים לא יחתוך בשקט, וזה חשוב יותר משני המספרים גם יחד — מודל החלטות שמפיל בשקט את הסעיף ששאלת עליו גרוע ממודל שאומר לא.

פריסה, משקלים והרישיון חולקים גם יחד

שני המודלים הם ברישיון Apache-2.0 עבור המשקלים וה-head, שניהם דורשים loader משלהם, ושניהם נכשלים באופן חמור אם מתייחסים אליהם כאל מודלי צ'אט. Kev זקוק ל-GPU בדרגת 80 GB — מצב של 64k טוקנים הגיע לשיא של 87.1 GB על H200 — או ל-Mac עם כ-96 GB. Karpo זקוק ל-GPU שמחזיק 62.5 GB של משקלי bf16. לאף אחד מהם אין endpoint מתארח מטעם המפרסם; Kev מוגש על ידי השרת של המאגר שלו עצמו, ו-Karpo על ידי החבילה שלו עצמה. שניהם משכו קוונטיזציות קהילתיות, וזה האות הרגיל לכך שאנשים באמת מריצים אותם ולא רק קוראים עליהם.

ההבדל בין 135 ms ל-94 ms הוא לכל בקשה על חומרה שאינה זהה, אז יש להתייחס אליו כאל אינדיקציה כיוונית. מה שאינו כיווני הוא הצורה התפעולית: הקשב הלא-סיבתי של Kev על הרצף המלא עולה יותר לכל טוקן ככל שהמצבים מתארכים, בעוד Karpo מחשב מצב משותף אחד לכל בקשה ומסתעף ממנו שאלות. אם עומס העבודה שלך הוא שאלות רבות על מצב קצר, Karpo נבנה בדיוק לכך. אם מדובר בשאלה אחת על מסמך ארוך, Kev הוא המתאים.

איזה מהם להריץ

בחר ב־Kev 27B אם אתה צריך למסור למודל הסכם של 64 אלף טוקנים, אם אתה רוצה לקבוע סף על הסתברות ואכפת לך שהסף אומר את מה שהוא אומר, ואם אתה מעריך ספק שמפרסם רווחי סמך על ההפסדים של עצמו. אתה מקבל בערך ארבעה־עשר נקודות דיוק בלוח שבו שני המודלים התחרו, ואתה מקבל את הראיות הטובות ביותר בתחום לגבי מה שהדיוק הזה מכסה ומה הוא אינו מכסה.

בחרו ב-Karpo Decision 31B אם המצב הוא צילום מסך, כרטיס או עמוד — קצר, עם שאלות רבות ורגיש להשהיה — ואם ציון ה-Full score של הלוח הוא הראיה שאתם נותנים לה משקל. אתם מקבלים שגיאת כיול של חמש נקודות ותקרה של 32k, ואתם מקבלים את המוביל הנוכחי ב-94 ms.

מה שאף אחד מהשניים לא נותן לך הוא נקודת קצה לסביבת ייצור. אם שכבת ההחלטה צריכה לשבת מאחורי שער שמופעל לפני כל קריאת כלי, תריץ אחד מאלה בעצמך, או שתקרא למשהו מתארח.Jev 1.14 של TypeSafe נמצא בקטלוג שלנו בדיוק לתפקיד הזה, וזה המודל ששתי נקודות הביקורת נבנו כדי לרדוף אחריו — שימושי כבקרה בבדיקת צל, מכיוון ששחזור פתוח שמנצח את היעד שלו בטבלת דירוג של צד שלישי אמור לנצח אותו גם בתעבורה שלך. הקטלוג כולל גם את שני מודלי הבסיס, Gemma 4 31B ו-Qwen3.8-27B, דרך API אחד ל-200+ מודלים במחיר המחירון של הספק ללא תוספת, וזו הדרך הזולה ביותר לקבוע אם שכבת החלטה שווה בכלל להחזיק לפני שאתם קונים את ה-GPU.

השאלה הפתוחה שהמפגש הזה מותיר היא זו שהלוח אינו יכול להשיב עליה: האם היתרון של ארבעה־עשר נקודות של Karpo ישרוד מפגש עם עומס עבודה אמיתי, או שמא זהו סוג של יתרון שמגיע מכיול על התפלגות הקרובה יותר למערך המבחן הפרטי מזו של מתחרהו. הכרטיס של Kev מתעד את תערובת האימון שלו עד לרמת מספר הרשומות; זה של Karpo לא. האסימטריה הזו אינה ראיה לשום דבר, והיא הסיבה למדוד ולא לסמוך על אף אחד משני המספרים.

A capture of the Hugging Face model card for jaredpalmer/kev-27b showing the Text Classification tag, the qwen3.8 and typesafe tags, the apache-2.0 licence, the summary describing a decision model that returns a calibrated probability distribution in a single forward pass over documents of up to 64k tokens, 'a full-weight fine-tune of Qwen3.8-27B averaged with version 1', the model-details block listing a Qwen3.8-27B backbone of 64 layers with 48 Gated DeltaNet and 16 full-attention layers, 25.6B backbone parameters plus 2.6M in the head, bf16 precision in a 51.3 GB checkpoint, and states of up to 65,536 tokens.