כרטיס כותרת שנוצר שכותרתו 'החלטת Karpo: 31B מול Laya' עם כותרת המשנה 'מוביל 31B מול מקודד 421M שאפשר להריץ על מחשב נייד', שלושה צ'יפים עם הכיתוב 'Karpo: 31.3B, 62.5 GB, 32,768 טוקנים', 'Laya: 421M, 808 MB, 512 טוקנים' ו'ניקוד מלא 73.9 מול 9.2', וצמד אייקונים שטוחים — ארון GPU במרכז נתונים שעליו כתוב 'זקוק ל-GPU' ומחשב נייד שעליו כתוב 'פועל על מחשב נייד'.
Guides & Insights

Karpo Decision 31B לעומת Laya: מוביל עם 31B מול Encoder עם 421M שאפשר להריץ על לפטופ

מחבר

Gideon Frost

תאריך פרסום

מודלים אחרונים · 20צפו בכל המודלים →
בנצ'מרקים: Artificial Analysis · מתעדכן יומית
חזרה לכל הפוסטים

להציב את Karpo Decision 31B לצד Laya, והתגובה הראשונה הכנה היא שמישהו עשה שגיאת יחידות. Karpo הוא פיין-טיון של Gemma 4 עם 31.3 מיליארד פרמטרים, שזקוק ל-62.5 GB של משקלים ול-GPU של מרכז נתונים. Laya הוא מקודד ModernBERT עם 421 מיליון פרמטרים מבית Convai Innovations, ברישיון Apache-2.0, בגודל 808 MB בדיסק, שרץ על מחשב נייד ומחזיר תשובה בכ-33 מילישניות. ב-Decision Index, לוח הקהילה ששניהם מופיעים בו, הפער בציון Full הוא 73.9 מול 9.2 — הפער הגדול ביותר בכל אצוות ההשוואות הזו.

ובכל זאת, Laya הוא המודל שמסופק עם חבילת pip מתוחזקת, שרת MCP, גרסאות ONNX ו-Core ML, ומסלול כוונון עדין עם קפיצת דיוק מתועדת מ-0.362 ל-0.766 על מערך זרימות עבודה אמיתי. Karpo מסופק עם README ומאגר. השאלה המעניינת אינה איזה מודל טוב יותר. היא לשם מה כל אחד מהם מיועד בפועל, משום שפער הציונים ופער השימושיות מצביעים בכיוונים מנוגדים ורק אחד מהם חשוב בכל רגע נתון.

מה משמעות שני המספרים, ומדוע ההשוואה חד־צדדית מעצם התכנון

ציון ה-Full 9.21 של Laya בטרקר הוא מדד מיומנות מתוקן לסיכוי, והדיוק הגולמי שלו באותה חבילת מבחנים הוא 37.7% עם כיסוי של 0.76 — כלומר, כ�רבע מהבקשות בחבילה לא נענו כלל. הטרקר מתעד מדוע: 320 בקשות סומנו כלא נתמכות, בעיקר משום שהוראה הייתה ארוכה מהתקציב המובנה של Laya והמודל מסרב במקום לקצר. בחבילת מבחנים שנבנתה עבור מודלים שמקבלים מצב של 32 אלף טוקנים, מקודד של 512 טוקנים אינו מתחרה — הוא פועל כברירת מחדל.

Karpo עונה על אותה סוויטת מבחנים בכיסוי של 99.87% ודיוק גולמי של 83.2%. תשע בקשות נדחו, כולן משום ששאלה יחד עם המצב שלה חרגו מ-32,768 אסימונים.

אז השוואת ציונים ישירה מספרת לך שמודל שנועד לסיווג קצר בחלון של 512 אסימונים מתפקד גרוע במבחן שנועד למודלים של קבלת החלטות על מסמכים ארוכים. זו אינה ביקורת על Laya; זהו משפט על מערך המבחנים. ההשוואה השימושית היא לפי משימה, ולכרטיס של Laya יש השוואה כזו: במשימת סיווג הכוונות MASSIVE הציון הוא 0.783 באנגלית, וב-XNLI 0.860, על קלטים שנכנסים לחלון שלה. ל-Karpo אין מספר מקביל שפורסם עבור משימת סיווג קצרה ובודדת, מכיוון שהכרטיס שלו אינו מפרסם תוצאות ברמת המשימה בכלל.

המפרטים, ומה כל אחד מהם מרמז

A generated two-column scoreboard titled 'Karpo Decision 31B vs Laya — the scoreboard'. The Karpo column reads 'Params: 31.3B, 62.5 GB', 'Context: 32,768 tokens', 'Full score: 73.9', 'Coverage: 99.87%', 'Latency: 94 ms median' and 'Licence: Apache-2.0'; the Laya column reads 'Params: 421M, 808 MB', 'Context: 512 tokens', 'Full score: 9.21', 'Coverage: 0.76', 'Latency: 5.8 ms median' and 'Licence: Apache-2.0'. The footer reads 'Full score and coverage per the Decision Index; Laya latency per the tracker and its model card.'

• פרמטרים — Karpo 31.3B בתוספת readout בגודל 255 × 5,376, 62.5 GB ב-bf16; Laya 421M, כ-808 MB שהורדו.

• ארכיטקטורה — שלד מודל שפה סיבתי שמופעל במצב prefill-only עם קריאה לינארית, לעומת מקודד דו-כיווני שנותן ציון לכל אפשרות ב{{3}}טוקן{{/3}} ה-{{2}}[MASK]{{/2}} שלה.[MASK]טוקן

• הקשר — Karpo 32,768 טוקנים לכל רצף, מחולקים לפי שאלה כאשר המצב חוזר על עצמו; Laya 512 טוקנים בסך הכול בתצורת ההפצה, מתוכם 192 שמורים לפרומפט האפשרות, ומותירים כ-320 עבור המצב.

• רב-מודאליות — Karpo קורא תמונות וטקסט; Laya קורא טקסט בלבד. אין מסלול ראייה בנקודת הביקורת האנגלית.

• השהיה — Karpo 94 מ״ש חציוני על GPU ייחוס; Laya 39.5 מ״ש נמדדו על הכרטיס שלה, והעוקב מתעד חציון של 5.8 מ״ש על החומרה שלו.

• רישיון — Apache-2.0 על שניהם, המשקלים והקוד, ללא הגבלות שימוש.

• אחסון — אף אחד מהשניים אינו מתארח בנקודת קצה של המפרסם שלו.‏ Laya לא זקוקה לדבר מלבד pip install laya.

שורת ההקשר היא כל ההחלטה. 320 טוקנים שמישים עבור המצב הם פניית תמיכה, הודעת דוא״ל, הודעת צ׳אט, כותרת מוצר, שורת לוג. זה לא חשבונית עם שורות פריטים או מדיניות בת ארבעים עמודים. אם המצב שלך ארוך מפסקה, לא ניתן לשאול את Laya את השאלה — לא בצורה גרועה, לא לאט, אלא בכלל לא.

כאשר המודל הקטן הוא באמת התשובה הנכונה

יש סוג של החלטה שקארפו אבסורדי עבורה, והעיצוב של לאיה מכוון ישירות אליה. חשבו על סוכן שצריך, בכל צעד, תשובת כן/לא לשאלה אם תוצאת כלי נראית ככזו שמממשת את הכוונה, או לאיזה מששת מקורות השליפה שאילתה צריכה לפנות, או אם הודעת משתמש מכילה אות נטישה. אלה שאלות בקנה מידה של מיקרו־שניות על משפט אחד של הקשר, וייתכנו חמישים מהן בשיחה אחת.

ב-94 ms ועם מודל השוכן בזיכרון בגודל 62.5 GB, חמישים קריאות הן כמעט חמש שניות של זמן GPU לשיחה, על חומרה שעולה יותר ממה שהתעבורה מצדיקה. ב-5.8 ms חציוני, עם מודל בגודל 800 MB שרץ על אותה מכונה שעליה רצה האפליקציה שלך, אותן חמישים קריאות עולות שליש שנייה וללא סעיף עלות של מרכז נתונים. זה לא הבדל שולי בלולאה לכל שלב; זה ההבדל בין פיצ'ר שיוצא לאור לבין כזה שלא.

הכרטיס של Laya גם מתעד את מצבי הכשל בכנות, מה ששווה יותר מגיליון מפרט נקי. הצ'קפוינט האנגלי קורס על כתבים לא-לטיניים — חמר בדיוק של 0.000 תוך הצהרת ביטחון של 0.952 — שזה בדיוק כשל הביטחון המוטעה שאסור שיהיה לשכבת החלטה. הRouter שנשלח מזהה את הכתב בפחות מחצי מילישנייה ב-Python טהור ומנתב לצ'קפוינט הרב-לשוני לפני המעבר קדימה. גם שאלות עם קרדינליות גבוהה נחלשות: 77 אפשרויות בתקציב של 256 טוקנים נותנות לכל תווית שלושה או ארבעה טוקנים, והדיוק של Banking77 יורד ל-0.425 לעומת 0.870 של Jev. הכרטיס אומר לך להעלות את תקציב הראש במקום להעמיד פנים שברירת המחדל עובדת.

A capture of the Hugging Face model card for convaiinnovations/laya showing the Text Classification tag, the Laya_system-one, calibrated-decisions and reinforcement-learning tags, the apache-2.0 licence, the summary describing a multilingual non-autoregressive System 1 decision model that returns calibrated probabilities in a single forward pass of about 33 ms across 100+ languages, the 'pip install laya' line with its onnx, mcp, langchain and serve extras, and the 0.4B-parameter file listing.

השילוב הזה — מודל קטן עם אופני כשל שפורסמו ותיקון מתועד לכל אחד מהם — שימושי יותר מבחינה תפעולית מאשר ציון טוב יותר ללא פירוט ברמת המשימה.

היכן שמודל 31B מצדיק את 62 ה-GB שלו

היתרונות של Karpo הם אלה שנובעים מכך שיש בו מודל שפה אמיתי. הוא קורא צילום מסך. הוא מחזיק מסמך מדיניות ורשומת לקוח באותו מצב של 32,768 טוקנים ועונה על מאה שאלות לגבי שניהם במעבר אחד, מפני שהמצב מחושב פעם אחת וכל שאלה מסתעפת מהבלוק המשותף בלי לראות את האפשרויות של האחרות. הוא מתמודד עם בחירות בעלות 255 אפשרויות בלי מחסור בטוקנים, מכיוון שמנגנון הקריאה מדרג קודים במקום להטמיע טקסט של אפשרויות בתקציב קבוע.

פרופיל הקטגוריה תומך בכך באופן שממפה היטב את מה שמודל גדול מעניק לך. יכולת הידע וההיסק של Karpo היא 65.5 לעומת 2.9 של Laya — נתון שמשקף בעיקר את שאלות הידע בהקשר ארוך של החבילה, שאותן אי אפשר לשאול את Laya. יכולת הכלים והאוטומציה שלו היא 88.4 לעומת 5.8. אלה אינם הבדלים דקים בין שני מודלים ברי-השוואה; אלה שני סוגים שונים של מכשיר.

מה שאין ל-Karpo הוא שום תשתית תפעולית. אין ייצוא ONNX, אין בנייה ל-Core ML, אין שרת MCP, ואין סוכן שניתן להתקין באמצעות pip ושאליו אפשר להפנות תיאור של זרימת עבודה ולבצע כוונון עדין בתוך אחר צהריים. הקהילה כבר החלה לבצע בו קוונטיזציה — גרסת IQ3_M GGUF וגרסת NVFP4 הופיעו בתוך שבועיים — אך נכון לכתיבת שורות אלה אין מסלול רשמי בעל טביעת רגל קטנה ואין מחיר.

פער הכיוונון העדין, שמכריע יותר פריסות מאשר לוח המובילים

המספר החשוב ביותר בכרטיס של Laya אינו ציון בנצ'מרק. זה 0.766 לעומת 0.362: הדיוק של צ'ק-פוינט מכוונן לעומת מודל הבסיס האנגלי על 2,000 החלטות בארבעה תהליכי עבודה. כיוונון עדין יותר מהכפיל את הדיוק בעומסי העבודה שחשובים.

זו הטענה בעד מודל של 421M בשורה אחת. מודל קטן שתוכל לאמן מחדש על ההחלטות המתויגות שלך בתוך שעה ינצח מודל של 31B שאינך יכול לאמן מחדש כלל, על התעבורה שלך, עם הסכימה שלך. הציון 73.9 של Karpo הוא ממוצע על פני חבילה פרטית; ההתפלגות שלך אינה החבילה הזו. ציון הבסיס 0.362 של Laya הוא גם ממוצע על פני ההחלטות של מישהו אחר, ושני המודלים ישתנו ברגע שהנתונים יהיו שלך — אבל רק אחד מהם מגיע עם מסלול מתועד לביצוע השינוי הזה.

Karpo הוא כיוונון עדין מלא של checkpoint בגודל 31B, ללא מתכון אימון מפורסם וללא adapter. עקרונית אפשר לבצע בו כיוונון עדין, וזה אינו משהו שכרטיס המודל תומך בו, מתעד אותו או מצפה לו.

כשמריצים את שניהם, זו לעתים קרובות יותר התשובה מאשר כל אחד מהם בנפרד.

שני המודלים משלימים זה את זה יותר מאשר תחליפים, והפיצול מכני. נתבו מצבים קצרים אל המקודד ומצבים ארוכים אל ה-31B. דפוס הRouter כבר הוא ברירת המחדל המופצת בצד של Laya; בצד של Karpo המקבילה היא בדיקת גודל של המצב לפני שאתם שולחים.

המקום שבו שכבת ניתוב מוכיחה את ערכה הוא המקרה השלישי: השכבה שביניהם. אם המצבים שלכם נמצאים בין 512 טוקנים ל-32,768, אף אחד מהשניים אינו מתאים היטב — Laya מסרבת ו-Karpo הוא מוגזם ויקר. רצועת הביניים הזו היא המקום שבו מודל החלטה מוגש הגיוני, ו-Jev 1.14 נמצא בקטלוג שלנו לצורך כך, וניתן לקרוא לו באותו מפתח כמו לכל דבר אחר. הצבת מדיניות סף לפני נקודת קצה אחת של ניתוב — מצב קצר אל המקודד שאתם מארחים, מצב ארוך אל מודל מוגש, פלט לא ודאי אל תור בדיקה — היא משימת הנדסה קטנה יותר מאשר לתפעל צ׳קפוינט של 62.5 GB, והיא מוציאה את החלפת המודל מקוד האפליקציה שלכם. ה-200+ מודלים של הקטלוג, בחיוב לפי מחירון הספק ללא תוספת, כוללים גם את Gemma 4 31B, מודל הבסיס ש-Karpo כוונן ממנו, שזו דרך זולה לבדוק מה הכיוונון בפועל הביא לפני שמקדישים לו GPU.

אם נאלצים לבחור המלצה אחת: התחילו עם Laya. זה לא עולה כלום, זה מותקן בדקה, ובהחלטות הקצרות ועתירות הנפח שסוכן מקבל בכל צעד זה הכלי הנכון — לא פשרה. עברו ל-Karpo Decision 31B כשמצב מפסיק להיכנס לפסקה, וקבלו שכעת אתם קונים GPU, הורדה של 62 GB ומודל בלי מחיר, בלי הכרזה ובלי ציון עצמאי. הפער של 64 נקודות בלוח המובילים הוא אמיתי והוא מודד משהו שחשוב רק כשהקלט שלכם ארוך מספיק כדי להזדקק לו.

A capture of the Hugging Face model card for MachinePulseAI/karpo-decision-31B showing the Text Classification tag, the gemma4 image-text-to-text tag, the apache-2.0 licence, the line 'Ranked #1 on the Decision Index, with the highest Full score, 73.9', the description of a multimodal decision model that returns a probability for every option of every question in one forward pass without generating text, 'Fine-tuned from google/gemma-4-31B', 'Parameters: 31.3B in bf16, plus a 255 x 5,376 readout in fp32', the screenshot input at state.viewport_screenshot, and the base-model link to google/gemma-4-31B.