השוואה מחוללת של שני כרטיסים שכותרתה "UserRepGen-4B לעומת Intern-Decision-4B - אותו בסיס, תוצאות הפוכות" מעל הכותרת "שניהם Qwen3.5-4B מכווננים עדין. אף אחד מהם לא כותב את אותו סוג של דבר." הכרטיס השמאלי, UserRepGen-4B, מפרט: שוחרר ב-14 באוקטובר 2026 בשקט, מחזיר JSON של task ו-user_behavior, יצירה של עד 1,024 טוקנים, מתמטיקה שפורסמה: אין, תקרת קלט: 8,192 טוקני פרומפט, הכרזה: אין. הכרטיס הימני, Intern-Decision-4B, מפרט: שוחרר ב-26 בספטמבר 2026 בשקט, מחזיר הסתברות לכל אפשרות, יצירה: אין במעבר קדימה אחד, מתמטיקה שפורסמה: Brier 0.347 ו-ECE 0.065, תקרת קלט: מסרב מעל 8,192, הכרזה: אין. כיתוב תחתון אומר "שני מערכי הנתונים הם של הספקים עצמם." הלוגו של OrcaRouter מורכב בפינה הימנית התחתונה.
Engineering & Research

RepGen-4B מול Intern-Decision-4B: שני צוותים כיווננו עדין את אותו בסיס 4B ולא הסכימו על דבר

מחבר

Magnus Corvin

תאריך פרסום

מודלים אחרונים · 20צפו בכל המודלים →
בנצ'מרקים: Artificial Analysis · מתעדכן יומית
חזרה לכל הפוסטים

שני שחרורים שקטים, בהפרש של חמישה שבועות, המסתעפים מאותו צ'קפוינט. microsoft/UserRepGen-4B עלה ל-Hugging Face ב-14 באוקטובר 2026 כמאגר bfloat16 בנפח 9.1 GB ללא כל הודעה; internlm/Intern-Decision-4B הופיע ב-26 בספטמבר 2026 בשעה 05:36:37 UTC בתוך חלון של ארבעים שניות שהפיק גם 0.8B ו-2B, שגם הם ללא הודעה. שניהם כיוונונים עדינים מסוג LoRA של Qwen3.5-4B, שניהם טקסט בלבד למרות שהם נושאים מגדל ראייה שאינם משתמשים בו מעולם, שניהם מחזירים מבנה נוקשה ולא תשובה — והם חלוקים באופן קיצוני בשאלה לשם מה נועד המודל. Intern-Decision-4B לעולם אינו כותב טוקן. UserRepGen-4B לא כותב דבר מלבד טוקנים. כל השאר בהשוואה הזאת נובע מהפיצול האחד הזה.

האחד הוא מבקיע, והשני הוא כותב.

הכרטיס של InternLM בוטה באופן יוצא דופן לגבי המכניקה של עצמו: "ה-API הזה מבצע ניקוד מועמדים מובנה. הוא אינו קורא ל-generate() ואינו דוגם טקסט חופשי." מוסרים לו מצב, סכימה של שאלות בעלות שמות, וקבוצה של תשובות מועמדות. הוא ממפה את האפשרויות לסמלים של טוקן בודד, מריץ מעבר קדמי סיבתי אחד, קורא את הלוגיטים במיקום שמיד לפני כל מציין מקום, מיישם טמפרטורה מותאמת של 1.99241824, ומחזיר הסתברות מכוילת לכל אפשרות. מעבר אחד. בלי דגימה, בלי לולאת פענוח, בלי טקסט.

UserRepGen-4B הופך את זה. אתה מוסר לו שיחה שהושלמה. הוא פולט עד 1,024 טוקנים של פרוזה בשני שדות JSON — תיאור משימה ותיאור user_behavior — והכרטיס בוטה באותה מידה בכיוון ההפוך: המודל "מייצר ייצוגים, לא תורי משתמש מדומים", הוא אינו מבצע את משימת המשתמש, והוא אינו הסימולטור.

הצב את השניים זה לצד זה וההשלכות ההנדסיות מתגלות מיד.

• מה שווה הפלט — Intern-Decision-4B מחזיר מספר שאפשר להחיל עליו סף, לחשב את הממוצע שלו ולערוך עליו ביקורת. UserRepGen-4B מחזיר פסקה שאיכותה יכולה להיות מדורגת רק על ידי שופט LLM, וזה בדיוק האופן שבו Microsoft העריכה אותה.

• עלות לכל קריאה — מעבר קדימה אחד על פרומפט קבוע לעומת עד 1,024 טוקנים שנוצרים. זה ההבדל בין כ-44 אלפיות השנייה לבין ריצת פענוח מלאה, ולכן מודל ההחלטה יכול להימצא בתוך לולאה שמודל הייצוג לא יכול.

• היכן שהמשמעות שוכנת — InternLM החליטה שהתשובה אמורה כבר להיות ניתנת לספירה בפרומפט, כך שהמודל צריך רק לדרג. Microsoft החליטה שהתשובה חבויה בשיחה, כך שהמודל צריך לכתוב אותה. דירוג הוא חסום וניתן לאימות. כתיבה היא פתוחה וזקוקה לשופט.

A generated two-column scoreboard headed "UserRepGen-4B vs Intern-Decision-4B - the scoreboard", titled "A scorer and a writer, from one checkpoint". The UserRepGen-4B column reads: output type two-field JSON prose; decoding up to 1,024 new tokens; calibration not published; latency claim not published; input limit 8,192 prompt tokens; eval scale 1-10 LLM judge. The Intern-Decision-4B column reads: output type calibrated distribution; decoding none, one forward pass; calibration Brier 0.347 and ECE 0.065; latency claim 44.16 ms mean on an RTX 4090; input limit refuses above 8,192; eval scale seven suites with a 90.02 average. A footer reads "Vendor-reported; no independent evaluation of either." The OrcaRouter logo is composited bottom-right.

תקרות הקלט, ומה שהן מספרות לך על ההימורים

שני הכרטיסים מפרסמים מגבלה קשיחה, והשוואה ביניהם היא הדרך המהירה ביותר לראות עד כמה שונה שתי הקבוצות תחמו את אותו מודל בסיס.

Intern-Decision-4B מסרב לעבוד מעל 8,192 טוקנים. זהו סירוב, לא קיטוע — בחירה עיצובית שאומרת שהמודל מיועד להחלטות שהן מספיק קומפקטיות כדי לנסח אותן במלואן בפרומפט.

UserRepGen-4B מאומן על רצף של 9,216 אסימונים: עד 8,192 אסימוני פרומפט המכסים את השיחה, בתוספת 1,024 אסימוני השלמה עבור הייצוג. הכרטיס מוסיף כי שימוש בהקשר מורחב מעבר לאורך זה "אינו נתמך במהדורה הזו", וכי ביצועים בהקשר ארוך מעולם לא נמדדו בנפרד. כך אותה תקרה של 8,192 אסימונים מופיעה משני הצדדים, כשהיא הושגה באופן עצמאי, על ידי שני צוותים שלכאורה לא הייתה להם כל visibility לעבודתו של האחר.

ההתכנסות הזו היא הממצא השימושי. כיוונון עדין של 4B על הבסיס הזה, באמצע 2026, הוא רכיב שמכויל לפרומפט יחיד ומנוסח היטב — לא מנוע ארוך-הקשר. שתי המהדורות כנות לגבי זה. אף אחת מהן לא מסתירה זאת מאחורי חלון מוצהר גדול יותר.

שניהם פרסמו סיפור כיול, והם לא אותו סיפור

A headless-browser capture of the Hugging Face model card for internlm/Intern-Decision-4B, showing the InternLM organisation, 86 likes, the image-text-to-text pipeline tag, the qwen3_5 and decision-making tags, and the card's opening line that Intern-Decision-4B is a multimodal structured decision model fine-tuned from Qwen3.5-4B which accepts a shared state, a schema of named questions and optional images and returns an answer distribution for every question in one forward pass. The numbered "How inference works" steps are visible below it.

כאן הופכת השגת המקורות לעדינה, מפני ששתי ההערכות אינן בנות-השוואה ואף אחת מהן לא שוחזרה מחוץ למעבדה של עצמה.

Intern-Decision-4B מפרסם בנצ'מרק בן שבע ערכות, שבו הוא משיג בממוצע 90.02 — השורה הטובה ביותר בטבלה שלו עצמו, מעל Intern-Decision-2B עם 84.68 ו-Intern-Decision-0.8B עם 79.38, כולם נמדדו על מערכות הבדיקה של InternLM. הוא מפרסם גם כיול: ציון Brier של 0.347 ושגיאת כיול צפויה של 0.065. פיילוט נפרד בן 96 מקרים המשתמש בהתפלגויות ייחוס מדויקות עובר מ-0.628 Brier ו-0.213 ECE ל-0.550 ו-0.089 לאחר שמחילים את הטמפרטורה המותאמת שלו. כל אחד מהמספרים האלה הוא של הספק עצמו, ואף אחד מחוץ ל-InternLM לא בדק אותם.

UserRepGen-4B מפרסם טבלת נאמנות בסולם שיפוט של 1 עד 10 — 4.95 הטוב מ־1 ו־6.02 הטוב מ־3, לעומת 3.90 ו־4.90 עבור GPT-5.5 כפי שהוא, ו־3.41 ו־4.42 עבור בסיס לא מכוונן. כל אחד מהמספרים האלה הוא של Microsoft עצמה, שהופקו עם GPT-5.4 mini המשמש בו־זמנית כמדמה, כעוזר וכשופט, ואף אחד מחוץ ל-Microsoft לא בדק אותם.

האי-סימטריה שמשנה אינה הציונים — הם מודדים דברים שונים בסקאלות שונות. היא בכך ש-Intern-Decision-4B מפרסם כלל ניקוד הולם מול התפלגויות ייחוס ידועות, שניתן להפריכו באופן מובנה, בעוד UserRepGen-4B מפרסם ציון של שופט LLM, שניתן להפריכו רק על ידי הרצת שופט אחר. InternLM בנתה מודל שאפשר לערוך עליו ביקורת באמצעות אריתמטיקה. Microsoft בנתה מודל שאותו יש לבקר עם מודל אחר. בהינתן ששניהם טוענים שהכו את קווי הבסיס, ההבדל הזה ביכולת הביקורת הוא חלק ממשי מהבחירה שלכם בין השניים.

ממצא הפרטיות שרק אחד מהם מדפיס

הכרטיס של Intern-Decision-4B אינו מכיל סעיף פרטיות בעל משמעות. זה של UserRepGen-4B מכיל מספר שאמור לגרום לכל צוות לעצור: על פני יותר מ-147 משתמשים, בורר שהתבקש לבחור איזו מארבע שיחות הגיעה מאותו אדם משיג 51.02% באמצעות תיאורי ההתנהגות של המודל, לעומת 44.22% באמצעות השיחות הגולמיות המלאות ו-25% באקראי. הייצוג הדחוס מזהה את האדם טוב יותר מאשר החומר שממנו הוא נגזר.

מיקרוסופט מגדירה זאת כסיכון לקישוריות ואומרת במפורש שייצוגים אינם נתונים אנונימיים. זו הדרך הנכונה לטפל בכך, וזו אזהרה שחלה על כל סוגי המודלים — כולל מודל ההחלטות, שהקלטים שלו עצמם הם שיחות על מצבים של אנשים. ההבדל הוא רק שכרטיס אחד אומר זאת והאחר לא, וזה אינו אותו דבר כמו שמודל אחד בטוח.

אף אחד מהם אינו API, אך הבסיס המשותף להם הוא

A headless-browser capture of OrcaRouter's own model page for qwen/qwen3.5-flash, showing the Qwen3.5 Flash heading, Vision, Tools, JSON and Reasoning badges, a description of it as a multimodal chat model optimised for cost with 1M context, prices of $0.10 and $0.40 per million tokens, a 1M-token context with 65k maximum output, and a p50 TTFT of 1.50 seconds.

שניהם קבצים להורדה, לא נקודות קצה. Intern-Decision-4B מגיע כמחלקת DecisionEngine בפייתון, שנטענת פעם אחת ונעשה בה שימוש חוזר; ה-Space של הדמו שלו מחזיר 401, וקישור ה-GitHub שלו מחזיר 404. UserRepGen-4B מגיע עם קובץ safetensors בודד שאינו מכומת ועם example.py. OrcaRouter לא כולל אף אחד מהם. אם אתה אומר שאחד מהם זמין היום דרך API מתארח, אתה מתאר תוכנית ולא עובדה.

מה שבאמת ניתן לקרוא לו הוא הצ'קפוינט ששניהם הסתעפו ממנו. המשפחה של Qwen3.5-4B נמצאת בקטלוג שלנו — Qwen3.5-Flashעם חלון הקשר של יותר ממיליון טוקנים במחיר $0.10 למיליון טוקני קלט ו-$0.40 למיליון טוקני פלט, Qwen3.5-35B-A3Bבמחיר $0.057 ו-$0.459, Qwen3.5-27Bבמחיר $0.086 ו-$0.688 — הכול על אותו מפתח, הכול במחיר המחירון של הספק בלי שום תוספת. זה שימושי לחלק בפייפליין שאינו שני המודלים האלה: צד העוזר של סימולציה, או שלב ההיסק סביב קריאת החלטה, יכול לרוץ דרך נקודת קצה אחת בזמן שאתם מעריכים את הכיוונון העדין באופן מקומי.

איך לבחור

אם הבעיה שלך היא שאלה תחומה עם תשובות בנות־מנייה ואתה זקוק למספר מכויל עשרת אלפים פעמים בשנייה, הרי ש-Intern-Decision-4B הוא המודל היחיד כאן שעושה זאת, והעובדה שהוא לעולם אינו דוגם היא היתרון ולא המגבלה. אם הבעיה שלך היא שאתה רוצה סימולטור שמתנהג כמו משתמש אמיתי, הרי ש-UserRepGen-4B הוא המודל היחיד כאן שאומן לכך, וגודל השיפור המדווח שלו לעומת GPT-5.5 הוא הסיבה לדאוג לכך. איש לא צריך לבחור באחד מהם על סמך המספרים של האחר, מפני שהם מעולם לא מדדו את אותו הדבר. מה שיכריע את ההשוואה הוא בדיקה חיצונית אחת ויחידה על כל אחד משני הכרטיסים — ולשני מהדורות שיצאו לאור בדממה מוחלטת, בהפרש שבועות זה מזה, לאף אחד מהם לא הייתה כזו.

שתי מהדורות שקטות הן גם תזכורת לכמה ממחלקת מודל זו משוחררת ללא תיעוד, והכשלים שבעקבותיהם נאספים ב-OrcaRouter AI Incident Archive, שבו כל רשומה נושאת את המקורות שלה, חומרה, דירוג אמינות ודגל מחלוקת.

השוואות במאמר הזה1

זוהה מתוך המאמר הזה · בנצ'מרקים: Artificial Analysis · מתעדכן יומית