כרטיס כותרת שנוצר שכותרתו "Karpo Decision 31B vs Nimble v3", עם כותרת המשנה "הרישיון עונה לפני לוח הדירוג." למטה, שני כרטיסים: "Nimble v3" שמפרט "מתאם LoRA 9B", "CC BY-NC 4.0 — ללא שימוש מסחרי" ו"51.06 ציון מלא" לצד מנעול סגור; ו"Karpo Decision 31B" שמפרט "צ'קפוינט מלא 31.3B", "משקולות Apache-2.0" ו"73.86 ציון מלא" לצד מנעול פתוח.
Guides & Insights

Karpo Decision 31B מול Nimble v3: הרישיון עונה לפני לוח הדירוג

מחבר

Elias Hawthorne

תאריך פרסום

מודלים אחרונים · 20צפו בכל המודלים →
בנצ'מרקים: Artificial Analysis · מתעדכן יומית
חזרה לכל הפוסטים

Two decision models shipped in the same autumn with almost no announcement, and they land on opposite sides of the one question that usually decides a purchase. Nimble v3 — filed as Bespoke-Nimble-9B-v3, uploaded to Hugging Face on 30 September 2026 — is a 9B LoRA adapter under CC BY-NC 4.0, which the card glosses as "it may not be used for commercial purposes." Karpo Decision 31B, created on 5 November 2026 by MachinePulse, is a 31.3B Gem​ma 4 fine-tune under Apache-2.0 with Gem​ma 4's own terms carried alongside. Everything else in this matchup — a 22-point leaderboard gap, a three-times difference in weight size, a calibration error that differs by a factor of two and a half — is downstream of that fork, and most teams discover it after they have already picked a winner on benchmarks.

אז קח קודם את הרישיון, כי זה החלק היחיד בהשוואה הזו שהוא גם מוסכם וגם מכריע. לאחר מכן הבט במה שהמספרים יכולים לומר לך ומה הם אינם יכולים, כי בצד הזה כמעט שום דבר אינו מוכרע כלל.

מה כל מאגר מכיל בפועל

Nimble v3 כולל חמישה קבצים: README, adapter_config.json, adapter_model.safetensors, schema_config.json ו-.gitattributes. זהו מתאם PEFT, לא מודל עצמאי, והוא מצפה ל-Qwen/Qwen3.5-9B כבסיס שלו, שהמאגר אינו משכפל. הכרטיס מתאר הקשר ושאלות עם טיפוסים — בחירה מבין אפשרויות, או כן או לא — ומחזיר הסתברות לכל אפשרות. Bespoke Labs לא פרסמה אורך הקשר, תקרת אפשרויות, טמפרטורה או הערת שינוי עבור v3; נקודות הביקורת המוקדמות יותר של המשפחה תיעדו חלק מזה, ואילו זו לא.

Karpo Decision 31B הוא צ'קפוינט מלא, 62.5 GB של משקלים ב-31.3B פרמטרים ב-bf16, בתוספת ראש קריאה (readout) של 255 × 5,376 ב-fp32. הוא קורא טקסט, JSON ותמונות, מקבל עד 255 אפשרויות לכל שאלה, מגביל רצף ל-32,768 טוקנים, מפצל בקשות ארוכות יותר לפי שאלה ומסרב לכל דבר שעדיין לא ייכנס במקום לחתוך אותו. הוא מגיע כחבילת Python ושרת HTTP בצורת System One, POST /v1/systemone, כי מחסנית צ'אט-השלמות גנרית לא יכולה להריץ אותו: גם תשומת הענפים וגם ראש הקריאה הם בעלי תפקיד קריטי, וטעינת הצ'קפוינט כמודל צ'אט רגיל לא תשחזר את תשובותיו.

להבדל בין המאגרים יש היבט מעשי. ה-README של Nimble v3 לא אומר לך איך לשרת אותו נכון; הכרטיס של Karpo כן. האחד הוא צ'קפוינט עם מדריך למשתמש, והשני הוא צ'קפוינט עם שורת רישיון.

הפער, והמכשירים שתצטרכו לסמוך עליהם כדי להאמין בו

On the Decision Index — the community board tracking open reproductions of TypeSafe's Je​v, now in edition 0.4.1 — the two numbers are 73.86 and 51.06 on the Full score. That is a 22.8-point gap. The Full figure is the one worth trusting most, because the maintainers ran it themselves: roughly 60% of it comes from tests over the same skills as the public suite and 40% from domains nobody published for, and neither vendor saw either half beforehand. Karpo's split is 70.94 same-skills against 61.5 new-domains. Nimble v3's is 52.34 against 38.2.

המספרים הפומביים בכל כרטיס הם הרצות של הספקים עצמם של הערכה הרשמית, ויש לקרוא אותם בנפרד: 75.05 עבור Karpo על פני 140,178 בקשות שקיבלו ציון, ו-56.88 עבור Nimble v3 — הנתון שהכרטיס שלו מציג על חבילת 0.2.1 הישנה יותר, שאותו הרצה חוזרת של הלוח מציבה על 57.19 בסולם הנוכחי. שניהם אומצו על ידי הלוח, וזה שלב סקירה אמיתי ולא אותו דבר כמו מעבדה עצמאית שמעמידה את המודל על החומרה שלה. אף אחד מהמודלים לא מופיע ב-Artificial Analysis. אף אחד מחוץ לשני המאגרים האלה לא נתן ציון לאף אחד מהם.

מבחינה מעשית, המשמעות היא ש-22.8 הנקודות מהימנות יותר מרוב ההשוואות בין ספקים, ופחות מהימנות מקריאת מכשיר בודדת של שני המודלים. הן הופקו על ידי ארגון אחד, על גבי חבילה אחת, בנוסחה אחת — וזה אכן המקרה הטוב ביותר הזמין עבור מודלי החלטה פתוחים — והחבילה אינה רשמית, טווח התיקו הוא 0.9 נקודות, והמחצית הפרטית אינה ניתנת לבדיקה על ידך. התייחס לכיוון כאל אמיתי ולגודל כאל משוער.

היכן שמודל ה-9B קרוב יותר מכפי שמרמז פער הגודל

A generated dual-bar chart titled 'Five category scores, one board' with rows reading 'Tools and automation — 84.24 / 88.39', 'Language understanding — 60.68 / 76.78', 'Retrieval — 55.48 / 76.42', 'Knowledge and reasoning — 40.96 / 65.46' and 'Arts and open-ended — 44.05 / 68.21', each pairing a shorter blue Nimble v3 bar with a longer cyan Karpo Decision 31B bar. The top row carries a warm outline and a tag reading 'closest'. The footer reads 'Decision Index 0.4.1 category scores; both models scored by the same maintainers on the same suite.'

אם מפרקים את חמשת ציוני הקטגוריות של הלוח, הסיפור מפסיק להיות ניצחון קל. בכלי עבודה ואוטומציה, Nimble v3 מקבל 84.24 לעומת 88.39 של Karpo — פער של ארבע נקודות, ממודל בגודל שליש, בקטגוריה שמכסה בחירת כלים ושערי הפעלה של סוכנים. זהו מקרה השימוש שלשמו בנו Bespoke Labs את המשפחה, והוא שורד את פער הגודל פחות או יותר ללא פגע. אם שכבת ההחלטה שלכם קיימת כדי לענות על "האם הסוכן הזה צריך לקרוא לכלי, ואיזה מהם", מתאם ה-9B נמצא באותו דיון כמו ה-checkpoint 31B.

בכל מקום אחר הפער הוא זה שהייתם חוזים. הבנת שפה עומדת על 60.68 מול 76.78, אחזור על 55.48 מול 76.42, ידע על 40.96 מול 65.46, ואמנויות ושיפוט פתוח על 44.05 מול 68.21. היתרון של Karpo מרוכז בדיוק במקומות שבהם הקיבולת הנוספת של מודל 31B אמורה להשתלם: הקשר ארוך יותר, יותר ידע עולם, קריאה טובה יותר של מצב צפוף.

גם השיהוי לא הולך לפי פער הגודל. על חומרת הייחוס של הטרקר — GPU אחד, בקשה אחת בכל פעם — Nimble v3 רושם חציון של 73.9 ms לעומת 94.3 ms של Karpo. עשרים מילישניות אינן סיבה לבחור מודל, אבל הן תזכורת שאדפטר 9B ממוזג הוא אובייקט אחר לתפעול: הוא נכנס למחשב נייד ב-Q4, נטען תוך שניות, ויכול לשבת בתוך לולאת סוכן לכל שלב בלי דיון על תקציב GPU.

כיול, שבו המודל הקטן יותר אינו רק חלש יותר אלא פחות כנה

דיוק אומר לך באיזו תדירות התשובה המובילה נכונה. כיול אומר לך אם ההסתברות המיוחסת לה יכולה לשאת סף, ולגבי מודל החלטה זהו המספר היחיד שחשוב מבחינה תפעולית.

הכרטיס של Karpo מדווח על שגיאת כיול צפויה של 4.8 נקודות על פני 34,411 תגובות: ביטחון ממוצע של 87.96% לעומת דיוק בפועל של 83.19%. בדלי העליון, שמכיל 68.5% מכלל התגובות, הוא צודק ב-95.7% מהמקרים בעודו טוען ל-98.7%. ביטחון יתר בקצה העליון, בכ-שלוש נקודות, כאשר מלבד זאת העקומה עוקבת.

הערך של Nimble v3 הוא 12.29 נקודות על פני 34,833 תגובות: ביטחון של 87.26% לעומת דיוק של 74.97%. הקבוצה העליונה מחזיקה ב-67% מהתגובות, מצהירה 98.6% וצודקת ב-89.1% — הצהרת יתר של 9.5 נקודות בתחום שבו באמת נמצא סף. מתחת לזה, קבוצות אמצע הטווח גרועות עוד יותר: ברמת הצהרה של 0.85 המודל צודק בערך ב-59% מהמקרים. זה לא מודל עם סחיפת כיול קטנה; זה מודל שאי אפשר להשתמש בביטחון שלו כשער בלי כיול מחדש, והתיעוד של המשפחה עצמה מעולם לא הבטיח אחרת.

קרא את שתי הפסקאות יחד, והמסקנה הכנה צרה יותר ממה שטבלת הדירוג מרמזת. קארפו טוב יותר בקבלת החלטות וטוב יותר בלדעת עד כמה ההחלטות שלו טובות. Nimble v3 זול יותר להפעלה, ובקטגוריה האחת החשובה ביותר לעבודת סוכנים הוא קרוב — אבל אם אתה מתכנן לאשר אוטומטית מעל 0.9 ולהסלים מתחת לכך, תבלה את השבוע הראשון שלך בהתאמת תיקון ל-Nimble שאותו קארפו נותן לך בכרטיס שלו.

פיצול הרישיון, בניסוח ללא הסתייגויות

Nimble v3 הוא CC BY-NC 4.0. זה אינו עמום: הכרטיס אומר שאסור להשתמש בו למטרות מסחריות. כל צ'קפוינט קודם של Nimble היה Apache-2.0, ומודל הבסיס הוא Apache-2.0, וזה לא משנה דבר — בסיס מתירני אינו מרפה מתאם לא-מסחרי, והמתאם הוא המקום שבו ההתנהגות נמצאת. מאגר ה-GitHub שמכיל את קוד האימון והקיורציה של הפרויקט לא מדווח על רישיון כלל דרך ה-API של GitHub, וזו בעיה נפרדת ואולי חמורה יותר לכל מי שמתכנן לבנות עליו.

Karpo Decision 31B is Apache-2.0 for weights and code, with Gem​ma 4's terms carried alongside in the repository. That is the permissive end of open, with the usual Gemma caveat that downstream redistribution has to carry those terms too.

עבור מחברת מחקר, הערכה פנימית או מאמר, ההבחנה אינה נראית לעין ו-Nimble v3 היא נקודת הכניסה הזולה יותר. עבור כל דבר שנוגע בהכנסות — שער ניתוב בתוך מוצר מסחרי, מודל מיון ב-pipeline בתשלום, אפילו כלי פנימי בחברה למטרות רווח — הרישיון מכריע את ההתמודדות לפני של-22.8 הנקודות יש בכלל הזדמנות להישמע. ל-Bespoke Labs יש מסלול API מתארח ומציין מקום לווריאנט 27B שמדווח 65.33 בערכת המדדים הציבורית הישנה יותר, ואף אחד מהם לא משנה את התנאים של מתאם ה-9B.

הגשת כל אחד מהם היא בעיית ניתוב לפני שהיא בעיית מידול.

A generated architecture diagram titled 'The decision head and the generative half'. A left card labelled 'Decision model, self-hosted' lists 'Karpo Decision 31B — Apache-2.0', 'Nimble v3 — CC BY-NC 4.0' and 'answers only the options you supply', and an arrow runs right into a centre card labelled 'One OpenAI-compatible key' listing '200+ models', 'provider list price, no markup' and 'automatic failover'. Two arrows fan out from the centre to cards reading 'TypeSafe Jev 1.14' and 'Gemma 4 31B'. The footer reads 'Neither decision model is hosted here; they stay where their licence permits.'

מודלי החלטה הם צרים מעצם תכנונם: הם עונים רק על השאלות שמוסרים להם, ואינם יכולים לכתוב, להסביר או להחזיר אפשרות שלא סיפקת. זה הופך אותם לחצי הקטן של תבנית דו-מודלית, ולחצי שהכי קל להשאיר בארגון. החצי הגנרטיבי הוא המקום שבו נקודת קצה אחת מצדיקה את קיומה.

OrcaRouter runs neither of these checkpoints, and neither would make sense behind a chat-completions route. The two models it does serve sit one layer down: TypeSafe's Je​v 1.14, the target the whole board exists to reproduce, and the Gem​ma 4 31B checkpoint that Karpo was fine-tuned from. One key covers both, pricing follows the provider's list with nothing added on top, so a vendor change reaches you the same day. What suits a decision head is the routing layer in front of it — a routing DSL that sends each request class to the model that should answer it, with failover behind that — so a nightly rescoring job and a live guardrail share one contract while the decision model itself stays wherever its licence allows.

שלושה דברים שישנו את הקריאה הזו

A generated checklist card titled 'Three things that would change this reading', with three numbered rows: 'A commercially usable Nimble adapter' — 'Apache-2.0 on a Qwen3.5-9B base, with a context contract'; 'A published context and prompt spec' — 'Nimble v3 documents neither, so its inputs are reconstructed'; and 'One instrument scoring both' — 'A single board reading both models on the same suite'. The footer reads 'Until then: Apache-2.0 and better-calibrated at 31B, or non-commercial and cheap at 9B.'

הראשון הוא שינוי רישיון. מתאם Nimble שמיש מסחרית על בסיס Qwen3.5-9B, עם חוזה הקשר וטמפרטורה מוצהרת, יהפוך את אפשרות ה-9B לתחרותית באמת עבור בקרת סוכנים — ציון הכלים 84.24 אומר שהיכולת כבר קיימת. שום דבר בחומר הציבורי של Bespoke Labs לא מרמז שזה מגיע; המעבר מ-Apache-2.0 ל-CC BY-NC הלך בכיוון ההפוך.

השני הוא מפרט של הקשר ופרומפט. הכרטיס של Nimble v3 אינו מתעד אף אחד מהם, כלומר כל מי שמריץ אותו מנחש פורמט פרומפט שגרסאות קודמות נהגו לספק. מודל שהקלטים שלו משוחזרים על ידי המשתמש הוא מודל שקשה לשחזר את המספרים שלו, ושגיאת הכיול של 12.3 נקודות היא מסוג הנתונים שמשתפרים או מחמירים בהתאם לאופן שבו מנסחים את השאלה.

השלישי הוא כל מכשיר עצמאי שקורא את שניהם. ה-Decision Index הוא זהיר, שקוף לגבי השיטה שלו וכנה לגבי טווחי התיקו שלו, והוא עדיין לוח קהילתי אחד. ביום שאחד מהדגמים יופיע ב-Artificial Analysis לצד מדד של היפר-סקאלר, ההשוואה תפסיק להיות אריתמטיקה בין שני כרטיסי ספקים ותהפוך למדידה. זה לא קרה לאף אחד מהשניים, ועד שזה יקרה, העמדה שאפשר להגן עליה היא המשעממת: Apache-2.0 ומכויל טוב יותר ב-31B אם אתם יכולים להריץ אותו, לא מסחרי וזול ב-9B אם לא, ואין סיבה לבחור רק לפי שורת הניקוד.