כרטיס כותרת שנוצר שכותרתו 'Karpo Decision 31B' עם כותרת המשנה 'כיוונון עדין של Gemma 4 בגודל 31B בראש לוח של 307 מודלים, ללא פוסט השקה על שמו', שלושה שבבים עם הכיתוב 'משקלים: 5 בנובמבר 2026', 'ציון מלא: 73.9' ו'הכרזה: אין', ציר זמן אופקי בעל ארבע נקודות עם הכיתוב 'מאגר 5 בנוב׳', 'הרצת ניקוד 6 בנוב׳', 'משפחת שישה מודלים 12 בנוב׳' ו'עריכות README 16 בנוב׳', וכרטיס עם מסגרת עם הכיתוב 'אין מחיר', 'אין נקודת קצה' ו'אין שורה ב-Artificial Analysis'.
Guides & Insights

Karpo Decision 31B עומד בראש לוח של 307 מודלים בלי שום פוסט השקה על שמו

מחבר

jinhao.song

תאריך פרסום

מודלים אחרונים · 20צפו בכל המודלים →
בנצ'מרקים: Artificial Analysis · מתעדכן יומית
חזרה לכל הפוסטים

ב-12 בנובמבר 2026 הציב Decision Index — לוח המובילים הקהילתי שעוקב אחר שחזורים פתוחים של Je​v מבית TypeSafe — את Karpo Decision 31B בראש הציון המלא שלו, 73.9, הגבוה מבין 307 רשומות. באותו שבוע החל להסתובב הטענה שהמודל הזה, כיוונון עדין של Gemma 4 31B הפתוח של Goog​le, גובר על Gem​ini Decision 1 של Goog​le עצמה. רק אחת משתי הטענות האלה ניתנת לבדיקה כיום, וההבדל ביניהן הוא כל הסיפור. הצבתו של Karpo במקום הראשון בלוח היא פומבית, מתוארכת וניתנת לשחזור מקובץ תוצאות בגודל 45 MB שהמעבדה פרסמה. ההתמודדות ראש בראש מול Gem​ini Decision 1 מעולם לא נערכה: שני המודלים אינם חולקים אפילו לוח תוצאות אחד, והכלים שבהם דורגו אינם אותו כלי.

מה שהופך את המחצית הראשונה למוזרה אינו הציון. אלא השתיקה סביבו. MachinePulse Pte. Ltd., החברה הסינגפורית שמאחורי Karpo, יצרה את מאגר Hugging Face ב-5 בנובמבר 2026, פרסמה מאגר הסקה ב-GitHub באותו יום, והשיקה חמישה אחים קטנים יותר — 12B, ‏9B, ‏4B, ‏2B ו-0.8B — ב-12 בנובמבר. נכון לכתיבת שורות אלה אין דף מוצר, אין פוסט בבלוג, אין תמחור, אין הכרזה על מודל ואין API. האתר של החברה עצמה מחזיר 404 בכל נתיב שאמור להכיל אחד מהם. Karpo קיים כמשקלים, קובץ README, חבילת Python ושורה בטבלת מובילים. המאמר הזה עוסק במה שארבעת הדברים האלה יכולים ולא יכולים לספר לך.

A capture of the community Decision Index leaderboard, headed with the multimodalart jev-decision-index attribution, listing Karpo Decision 31B at 73.86 in first place ahead of GLiDE 27B at 73.37, REAX 1.3 at 72.64, Logits Sigma-1 Duo at 72.28, Copernicus-31B at 72.11, KnowLine 31B Gen1.5 at 71.91, Copernicus-57B at 71.8, FlexDM-LoRA 2.1 at 71.66, Sieve 31B v3 at 71.10, OneJev1.6g-31B at 70.86 and Turion Jev 31B at 70.47.

התאריכים, ולמה הם חשובים יותר מהרגיל

חותמת יצירת המאגר היא 5 בנובמבר 2026 בשעה 15:33 UTC. קוד האינפרנס ב-GitHub נוצר עשרים ושתיים דקות לאחר מכן. מערך הנתונים של הרצת Decision Index — הדבר שהופך את 73.9 לניתן לביקורת — הועלה ב-6 בנובמבר בשעה 05:18 UTC. ה-README עדיין נערך ב-16 בנובמבר, כששני הקומיטים האחרונים לא שינו דבר מלבד שורת זכויות יוצרים והצהרת רישיון.

זהו מודל בן שבועיים עם מאגר פעיל וללא השקה. זה לא דליפה, וזה לא שינוי שם של משהו ישן יותר: המשקלים חדשים, קובץ הרישיון חדש, ומשפחת ששת המודלים הועלתה באחר צהריים אחד. מה שזה כן, זה מעבדה שהחליטה לפרסם את הארטיפקט לפני השיווק.

מה בדיוק מודד ה־73.9

A single-column scoreboard titled 'Karpo Decision 31B — the scoreboard' with six rows reading 'Full score: 73.9, third-party private tests', 'Public index: 75.05, vendor run, board-adopted', 'Rank: joint first of 307', 'Artificial Analysis: no row', 'Price: none published' and 'Licence: Apache-2.0, Gemma 4 terms alongside', footed 'Full score computed by the Decision Index maintainers; public index from a 140,178-request vendor run adopted by the board.'

ה-Decision Index במצבו הנוכחי הוא מהדורה 0.4.1. ציון ה-Full שלו מחושב על ידי מתחזקי הלוח על סמך מבחנים פרטיים: כ-60% מהמשימות נשאבות מאותם כישורים כמו במערך הציבורי ו-40% מתחומים שהמערך הציבורי אינו מכסה. השורה של Karpo מציגה 73.9 Full, עם 70.7 בחלק של אותם כישורים ו-78.6 בחלק של התחום החדש. שני המספרים האחרונים מופיעים בסדר יוצא דופן — מודל בדרך כלל מצליח פחות בשטח לא מוכר מאשר בכישורים שאליהם כוונן — והכרטיס מדווח על כך ללא הערה.

הלוח מפרסם דירוג אחד לדגמים שנמצאים בטווח של 0.9 נקודות מהמוביל, כך שקארפו אינו מחזיק במקום הראשון לבדו. GLiDE 27B, עם 73.4, חולק את המקום הראשון. מאחוריהם נמצאים REAX 1.3 עם 72.6, Logits Sigma-1 Duo עם 72.3, Copernicus-31B עם 72.1 ו-KnowLine 31B Gen1.5 עם 71.9. זהו צמרת צפופה, לא הובלה חד-צדדית.

המספר השני על הכרטיס, 75.05, הוא בעל מקור שונה וראוי להיקרא אחרת. זהו האינדקס הציבורי, והוא מגיע מההרצה של MachinePulse עצמה של ערכת הניקוד הרשמית — 140,178 בקשות שנוקדו, תשע מהן נדחו משום ששאלה בודדת יחד עם המצב שלה חרגה מחלון של 32,768 טוקנים. המועצה אימצה את אותה הרצה. הסיבה לסמוך עליו יותר מנתון ספק טיפוסי היא שתיקיית ההרצה ציבורית: results.jsonl.gz, קובץ ציונים לכל בקשה, מניפסט סביבה. כל אחד יכול להריץ מחדש את הערכה ולהשוות. האימוץ של המועצה עצמה הוא שלב הביקורת. זהו סטנדרט חזק יותר ממה שרוב טענות ההשקה עומדות בו, ועדיין אינו זהה לכך שמעבדה עצמאית תנקד את המודל על החומרה שלה.

שתי תוויות, אם כן, ואסור למזג אותן: ציון ה-Full מחושב על ידי צד שלישי מתוך מבחנים פרטיים; האינדקס הציבורי מחושב על ידי הצד הראשון מתוך חבילה ציבורית ומאומץ. אף אחד מהם אינו בנצ'מרק של ספק במובן הרגיל. אף אחד מהם אינו Artificial Analysis.

מדוע "beats Gemini Decision 1" אינה עדיין קביעה מדידה?

ל-Gemini Decision 1 יש מספר. Artificial Analysis העניקה לו ציון 65.98 ב-Decision Index v2.1, מדד משולב של שש הערכות המשוקללות על פני החלטות מסמך, קריאה לכלים, ידע, הסקה ואינווריאנטיות. בלוח הזה הוא נמצא במקום ה-11 מבין מודלי ההחלטות ש-AA מדרגת, מתחת ל-d1.2-ultra עם 74.85, ל-Drex Max v1.1 עם 72.62 ול-SubQ Snap 1.2 עם 72.58, ומעל Microsoft-Decision-1 עם 62.07. הדירוג הוא של AA, על החומרה של AA, וההרצה עולה $345 למיליון משימות.

Karpo אינו מופיע בלוח הזה כלל. ל-Artificial Analysis אין דף עבורו ואין שורה עבורו. גם Gem​ini Decision 1 אינו מופיע בכלי המעקב Decision Index שכולל את Karpo — הלוח הזה הוא מרשם של שחזורים פתוחים, והמודל של Goog​le הוא מוצר סגור, מבוסס API בלבד, ללא משקלים לשחזור.

אז ההשוואה שכולם עושים היא הסקה משני מספרים שהופקו על ידי שני ארגונים על שתי חבילות עם תמהילי משימות שונים, נתחי מבחן פרטי שונים ונוסחאות ניקוד שונות. 73.9 אינו גדול מ-65.98 בשום מובן ששורד מפגש עם המתודולוגיה. אילו השניים היו מורצים דרך אותה ערכה מחר, ייתכן בהחלט ש-Karpo היה מנצח — הפרופיל שלו לפי קטגוריות חזק — אבל אף אחד לא הריץ אותו, והכותרת היא כרגע השערה שלובשת בגדים של תוצאה.

יש עוד קמט אחד שכדאי להכיר, מפני שהוא דווקא מחליש את הטענה ולא מחזק אותה. בחמשת פילוחי הקטגוריות של הטרקר, התחום החלש ביותר של Karpo הוא ידע והסקה, עם 65.5 במיומנות מתוקנת לניחוש. החזק ביותר שלה הוא כלים ואוטומציה, עם 88.4. בלוח הדירוג של AA, הרכיב היחיד שבו Gem​ini Decision 1 גובר כמעט על הכול הוא רכיב הידע: 66.3 ב-AA-Omniscience, הגבוה מבין ארבעת המודלים שנבדקו כאן. התחום שבו מודל Goog​le הוא הטוב ביותר הוא התחום שבו הכיוונון העדין של Gem​ma הוא החלש ביותר יחסית. עימות ראש בראש יהיה שם תחרות אמיתית, לא ניצחון קל, וזו בדיוק הסיבה שאין לדווח על ההשוואה שלא הורצה כניצחון.

החלק בכרטיס שמעניין יותר מהדירוג

A capture of the Hugging Face model card for MachinePulseAI/karpo-decision-31B showing the Text Classification tag, the gemma4 image-text-to-text tag, the apache-2.0 licence, the line 'Ranked #1 on the Decision Index, with the highest Full score, 73.9', the description of a multimodal decision model that returns a probability for every option of every question in one forward pass without generating text, 'Fine-tuned from google/gemma-4-31B', 'Parameters: 31.3B in bf16, plus a 255 x 5,376 readout in fp32', the screenshot input at state.viewport_screenshot, and the base-model link to google/gemma-4-31B.

קרפו אינו מודל צ׳אט עם מצב JSON. זהו מנגנון קריאה. לכל אפשרות בשאלה מוקצה קוד אפשרות, וראש לינארי נותן ציון ל-255 קודים במשבצת קבועה, ואז מפעיל softmax על האפשרויות שהשאלה הציעה בפועל. שום דבר אינו נוצר, כך שהתשובה היא תמיד אחת מהאפשרויות שסיפקת, ועלות הפלט היא אפסית מבחינה מבנית.

הארכיטקטורה ראויה לפסקה אחת כי היא מסבירה את זמן ההשהיה. בקשה היא מצב אחד בתוספת כל מספר של שאלות, המקודדים כרצף יחיד: תחילה השאלות, אחר כך המצב, ואז ענף אחד לכל שאלה. מנגנון הקשב הענפי מאפשר לענף לקרוא את הבלוק המשותף ואת עצמו, ולעולם לא ענף אחר. המצב מחושב פעם אחת. לכן מאה שאלות על חשבונית אחת עולות בערך כמו מעבר אחד על החשבונית, ולא כמו מאה.

• פרמטרים — 31.3B ב-bf16, בתוספת readout בגודל 255 × 5,376 ב-fp32; כ-62.5 GB בדיסק.

• הקשר — 32,768 אסימונים לכל רצף; בקשה ארוכה יותר מפוצלת לפי שאלה, כאשר כל חלק נושא את המצב המלא, ושאלה שעדיין אינה נכנסת נדחית במקום להיות מקוצרת.

• קלט — טקסט, JSON ותמונות; ניתן להעביר צילום מסך בתור state.viewport_screenshot או ככתובת URL של נתונים.

• סוגי שאלות — choice עם עד 255 אפשרויות, noul עבור נכון/לא נכון, score עבור רמה מסודרת.

• ממשק — API של Python ושרת HTTP בתצורת System One, POST /v1/systemone.

• רישיון — Apache-2.0 עבור המשקלים והקוד, ולצידו רישיונו העצמי של Gem‌ma 4 כפי שהוא מופיע במאגר.

השהיה הנמדדת על חומרת הייחוס של הטראקר, GPU אחד ובקשה אחת בכל פעם, היא 94 מ"ש בחציון. זה לא מספיק מהיר כדי להיות בלתי נראה בתוך לולאת סוכן לכל צעד שמבצעת עשרים קריאות קטנות בכל תור, וזה מספיק מהיר כדי לשבת מאחורי שער קריאת כלים שמופעל כמה פעמים בכל שיחה. הכרטיס גם מדווח על שגיאת כיול של 4.8 נקודות, וזה המספר שפריסה למעשה תלויה בו: דיוק אומר לך באיזו תדירות התשובה המובילה נכונה, כיול אומר לך אם ניתן להחיל סף על ההסתברות שמצורפת אליה.

מה שלא מאושר, נאמר בפשטות

אין מחיר. לא "לא נמסר עד להשקה" — אין מחירון, אין נקודת קצה מתארחת, אין קונסולה, אין ניסיון. אם אתם רוצים את Karpo Decision 31B היום, עליכם להוריד 62.5 GB ולהריץ אותו על ה-GPU שלכם עם הטוען של המאגר עצמו. טעינת ה-checkpoint כמודל צ'אט רגיל לא תשחזר את תשובותיו; גם ה-branch attention וגם ה-readout נדרשים.

אין ציון עצמאי. ה-Decision Index הוא לא־רשמי ומתוחזק על ידי הקהילה. הוא קפדני, מתועד היטב ושקוף באופן יוצא דופן לגבי השיטה, והוא אינו Artificial Analysis, ולא התבקש לדרג את המודל הזה על החומרה שלו עצמו. המרכיב החזק ביותר מצד שלישי הוא שמתחזקיו חישבו את ציון ה-Full על מבחנים שהספק מעולם לא ראה.

אין הצהרה של הספק בדבר מה שלשמו נבנה המודל מעבר לתיאור שב-README עצמו: הקריאות הקטנות שסוכן מבצע בכל שלב — אם לקרוא לכלי או לשאול תחילה, באיזה רכיב בעמוד ללחוץ, אם החזרה זכאית לפי מדיניות. תיאור זה הוא המסגור של המעבדה, ולא היקף שאומת באופן עצמאי.

ואין שום הודעה. לא שקטה, לא רשומת יומן שינויים. שבועיים אחרי שהמשקלים עלו, החזית הציבורית של החברה היא עמוד גיוס וקו מוצרים אחר.

לאן זה משאיר צוות שרוצה לנסות את זה

הסיכום הכנה הוא ש-Karpo Decision 31B הוא מודל ההחלטות הפתוח המעניין ביותר של השבועיים האחרונים והפחות מגובה. היתרון שלו אמיתי אך צמוד, המדד הציבורי שלו ניתן לשחזור, ציון המבחן הפרטי שלו הוא אכן מצד שלישי, והטענה השיווקית המרכזית שלו — שמודל Gem​ma שעבר כיוונון עדין מנצח כעת את Goog​le במודל ההחלטות שלה עצמה — אינה נמדדת.

עבור צוותים שכבר מריצים שכבת החלטה, המסלול המעשי הוא פריסת צל ולא הגירה. השאירו את המודל שנושא בתעבורת הייצור, הריצו את Karpo על אותן בקשות במצב לא מקוון, והשוו את ההסתברויות ולא את התוויות: שגיאת כיול של 4.8 נקודות פירושה שכבערך תשובה אחת מתוך עשרים שגויה בביטחון רב יותר ממה שההסתברות המוצהרת שלה מרמזת, ומדיניות הסף שלכם היא מה שהופך את זה או לתור בדיקה אנושית או לתקרית. אם אתם מתקבעים על נקודת קצה אחת לשאר המחסנית, המודלים שאתם באמת יכולים להגיע אליהם השבוע הם אלה שבקטלוג — Gemma 4 31B עצמו, שהוא הבסיס של Karpo ומוגש דרך one API ליותר מ-200 מודלים במחיר המחירון של הספק ללא תוספת, וJev 1.14 של TypeSafe, המודל שכל לוח השחזור הפתוח הזה נבנה כדי לרדוף אחריו. Karpo תצטרך להרוויח את מקומה כפי שעשו האחרים: בכך שתהיה ניתנת לקריאה.

הדבר שכדאי לשים לב אליו אינו ה-73.9. אלא האם MachinePulse תשחרר דף מוצר, מחיר והגשה ל-AA במהלך החודש הקרוב. למעבדה שמפרסמת משקולות לפני אתר אינטרנט יש בדרך כלל סיבה, והסיבה נוטה להופיע כנקודת קצה מתארחת או כפיבוט. כך או כך, המספר העצמאי הראשון בלוח של AA יכריע בתוך שבוע את מה ששבועיים של חישובי לוחות דירוג לא הכריעו.