Jais 3 לעומת Fanar 2: שני הספקים אינם תמימי דעים בשאלה מה Fanar 2 משיג בציונים

J​ais 3 וFanar 2 הם שתי משפחות המודלים הערביות המובילות של המפרץ, והדבר השימושי ביותר שמישהו יכול לספר לך בהשוואה ביניהם הוא שהמספרים של הספקים עצמם עבור Fanar-2-27B-Instruct אינם תואמים. כרטיס המודל של QCRI מדווח על ArabicMMLU ב-74.67% ו-Belebele ב-86.81% עבור מודל ההוראה 27B שלו. ה-J​ais-3-32B כרטיס, מ-Institute of Foundation Models ו-Inception42, מריץ את אותו מתחרה על טבלת הייחוס שלו ומציב Fanar-2-27B ב-66.3 ב-Arabic MMLU ו-61.8 ב-Belebele. זהו פער של שמונה נקודות במדד אחד ועשרים וחמש נקודות באחר, עבור מודל אחד, ואף אחד מהמספרים אינו המצאה — הם התוצאה של מנגנוני הרצה שונים, פורמטי הנחיה שונים, ובמקרה של IFM גם מדגם מבוקר. זה גם הדבר המאלף ביותר בעמוד הזה, כי זה אומר שהשוואה של J​ais 3 ו-Fanar 2 שנבנתה ממספרים שפורסמו היא השוואה של שתי שיטות מדידה לא פחות מאשר של שני מודלים.

שני הכרטיסים, בפשטות

• J​ais-3-32B — מודל 32B צפוף מסוג decoder-only מבית IFM, עד 524,288 אסימוני הקשר, Apache 2.0, המשקלים פורסמו ב-29 בספטמבר 2026. מגיע עם מנתח חשיבה (k2_horizon), מנתח קריאות לכלים, ושלושה פורמטים לבחירה לקריאות לכלים. מוגש במקביליות טנזורית 2 ב-bfloat16.

• Fanar-2-27B-Instruct — מודל צפוף 27B מ-QCRI באוניברסיטת חמד בן ח'ליפה, חלון הקשר של 32,768 טוקנים, Apache 2.0, שוחרר במרץ 2026. אומן מראש באופן רציף מתוך google/gemma-3-27b-pt על כ-166B טוקנים בערבית ובאנגלית בשלושה מתכונים ואחר כך מוזג, ולאחריו צינור אימון-בתר בן חמישה שלבים.

• טווח קני מידה — Jais 3 הוא משפחה, שישה צ'קפוינטים בסיסיים מ-0.9B עד 375B, כולל שני מודלים של תערובת מומחים. קו השפה של Fanar 2 הוא בעצם מודל instruct אחד בגודל 27B, עם אחים במודאליות אחרות ולא צ'קפוינטים טקסטואליים קטנים יותר.

• רישיון — Apache 2.0 משני הצדדים, וללא הגבלות גישה משני הצדדים. אף אחת מהמשפחות לא מחייבת אתכם לחתום על דבר, וראוי לציין זאת, משום שזה אינו הנוהג המקובל באזור.

• ארכיטקטורת בסיס — J​ais 3 מאומן על ידי IFM עם ארכיטקטורה מותאמת אישית (k2_horizon, נדרש קוד מרוחק מותאם אישית). Fanar 2 הוא אימון מקדים מתמשך של G​emma 3 27B מבית G​oogle, מה שהופך אותו לסוג שונה של תוצר: התאמה מבוצעת היטב ולא אימון מאפס.

היכן שהמספרים נבדלים, ולמה אין בכך שערוריה

קח את שמות הבנצ'מרקים אחד בכל פעם, כי התווית עושה פחות עבודה מכפי שנראה.

• ArabicMMLU לעומת Arabic MMLU* — הכרטיס של Fanar מציין 74.67% עבור הבנצ'מרק שהיא מכנה ArabicMMLU. הטבלה של IFM מציינת 66.3 עבור העמודה שהיא מכנה Arabic MMLU*, כשהכוכבית משמעה ש-IFM החריגה שאלות עם פרומפטים דו-משמעיים, אפשרויות לא תקינות או תוויות זהב בלתי ניתנות להצדקה. שני מערכי דגימה שונים, שאחד מהם מנוקה, ואין חובה על אף אחת מהמעבדות לדווח על זה של האחרת.

• Belebele, 86.81 לעומת 61.8 — פער גדול בהרבה, וההסבר באמצעות ה-harness נמתח כאן עוד יותר. הנתון של Fanar הוא ערבית דיאלקטלית; העמודה של IFM מציגה את אותו שם מבחן. עשרים וחמישה נקודות אינן הבדל של עיגול, והמסקנה הישרה היא שלפחות אחת מהריצות האלה אינה מודדת את מה שהאחרת מודדת.

• IF-Eval, 82.97 לעומת 49.8 — Fanar מדווחת על 82.97 ב-IF-Eval בטבלת השיפור שלה. עמודת הייחוס של IFM מציבה את Fanar-2-27B על 49.8 ב-Arabic IFEval. אותה יכולת, שפה שונה וסט פרומפטים שונה.

• במה ששניהם מסכימים: הצורה, אם לא הרמה — Fanar 2 מהווה התקדמות גדולה לעומת Fanar 1. QCRI מדווחת על +7.32 ב-ArabicMMLU, +10.68 ב-GSM8K ו-+8.27 ב-IF-Eval לעומת קודמו שלו בגודל 9B. הטענה הזו עקבית מבחינה פנימית ואיש אינו חולק עליה.

הכלל שנובע מכך אינו "מעבדה אחת מרמה". הוא שכאשר מדובר בבנצ'מרקים לערבית, מספר בלי הרנס מחובר אינו מספר. IFM לפחות מסמנת אילו מהנתונים שלה היא ביקרה, ומפרסמת את הדגימות שהוחרגו באוסף נפרד, וזה יותר ממה שרוב המעבדות עושות — אבל זה עדיין IFM שבודקת את ההערכה של IFM את המתחרה.

ההקשר והפריסה הם המקום שבו ההשוואה נקייה.

אלה השורות שאינן תלויות בארגומנטים של הרתמה, מפני שהן עובדות ארכיטקטוניות ולא מדידות.

• הקשר — 524,288 טוקנים עבור Jais-3-32B לעומת 32,768 עבור Fanar-2-27B-Instruct. פי שישה עשר מהחלון, והכרטיס של Fanar מתעד 54K הוראות להקשר ארוך ששימשו כדי להגיע ל-16K במהלך האימון, מה שממקם את התנהגות ההקשר הארוך שאומנה עמוק בתוך ה-32K הנומינלי.

• טביעת רגל של הגשה — Jais-3-32B ב-TP=2, bfloat16, vLLM ≥ 0.30.0 או SGLang ≥ 0.5.20. Fanar-2-27B נבדק עם transformers 4.57.6 והוא בעל מבנה סטנדרטי של Gemma 3 27B, כך שהוא משתלב בכל סטאק שכבר מריץ Gemma.

• תשתית כלים המסופקת עם המודל — Jais 3 כולל את מנתח ההסקה, את מנתח קריאות הכלים ואת האפשרות לבחור מבין json, xml או xml_typed כפורמטים של כלים המשמשים כדגלי הגשה ברמה ראשונה. Fanar 2 תומך בקריאה גנרית לכלים ובנוסף בעשרה כלים מובנים של Fanar, אך משטח האינטגרציה הוא ה-API של הספק עצמו ולא סט של דגלי מסגרת.

• הערכת צד שלישי — לאף אחד מהם אין רשומה ב-Artificial Analysis, לאף אחד מהם אין ציון ארנה, ולאף אחד מהם אין שכפול בלתי תלוי. המספרים של שתי המשפחות מדווחים על ידי הספק, והמאמר מציין זאת לפני שהוא מצטט אותם, בכל פעם.

מה שיש ל-Fanar 2 ושאין ל-Jais 3

שלושה דברים, והם לא קטנים.

• עקבות חשיבה בערבית ילידית. Fanar 2 אומן על כ־250,000 דוגמאות חשיבה בערבית ומייצר את שרשרת המחשבה שלו בערבית במקום לתרגם מעקב חשיבה באנגלית. Jais 3 חושף מנתח חשיבה ומדווח על מספרים אג'נטיים חזקים בערבית, אך הכרטיס שלו אינו טוען את אותה טענה לגבי השפה שבה מתרחשת החשיבה.

• הפחתת הזיות כהתנהגות מתוכננת. Fanar 2 מאומן להימנע ממתן תשובה — חקירת ידע במהלך האימון, עקבות אימות מובנות בחמישה שלבים, תגובות "איני יודע" מכוילות — והוא עוטף אזכורים ספונטניים של פסוקי קוראן בסמני אימות כדי שמערכת במורד הזרם תוכל לבדוק אותם. התכונה האחרונה הזו יוצאת דופן ואין לה מקבילה בכרטיס של J​ais 3.

• מוצר סביב המודל. QCRI מספקת ממשק צ'אט, אפליקציות iOS ו-Android, ו-API מתועד עם תהליך בקשת גישה, בנוסף למודלים אחים ליצירת תמונות, הבנת תמונות ושירה. J​ais 3 הוא שחרור של משקלים עם מתכוני פריימוורק; מודל הדיבור יושב לצידו, והשאר הוא ארטיפקט מחקרי.

אלה הבדלים ביכולות, לא הבדלים בבנצ'מרקים, וקריאה הוגנת היא ש-Fanar 2 מוגמר יותר כמוצר בעוד Jais 3 שאפתני יותר כמודל.

מה שהעמודות האג'נטיות בעצם אומרות, עם הכוכבית המצורפת

הטבלה של IFM עצמה היא ההשוואה הראש בראש היחידה שפורסמה בין שני המודלים האלה, והיא לא מחמיאה ל-Fanar: Terminal Bench 2.1 עם 63.7 לעומת 1.1, GDPVal עם 75.5 לעומת 0.0, MCPMark עם 66.1 לעומת 12.1, SWE-Bench Verified עם 72.4 לעומת 0.4, עיבוד קבצים בערבית עם 71.8 לעומת 0.0.

קראו אותם כפי שהם. אלו המדידות של IFM על מודל של מתחרה, שהורצו על ידי IFM, על ההרנס של IFM, ופורסמו בכרטיס המודל של IFM. אפס ב־GDPVal ו־0.4 ב־SWE-Bench Verified עבור מודל instruct בגודל 27B הם נתונים סבירים — אלה בנצ'מרקים סוכניים שמענישים מודלים בלי נתוני אימון לקריאות לכלים בקנה מידה, והעבודה הסוכנית של Fanar 2 מכוונת סביב עשרת הכלים שלה ולא סביב משימות תוכנה כלליות. אבל מעבדה שמדווחת שהמודל שלה מנצח בכל שורה בטבלה שהיא בנתה מספרת לכם על ההערכה שלה, לא על העולם.

הקביעה הניתנת להגנה מצומצמת יותר: במערך הבדיקות המפורסם של IFM, ‏J​ais-3-32B מתעלה על Fanar-2-27B-Instruct בכל בנצ'מרק אגנטי שדווח, וכרטיס המודל של Fanar אינו מדווח כלל על בנצ'מרקים אגנטיים, כך ששום דבר לא סותר אותה וגם שום דבר לא מאשש אותה. הראיות שפורסמו הן חד-צדדיות משום שרק צד אחד פרסם.

איזה אחד לבחור?

הקשר ארוך, עבודת סוכנים, או צורך לבחור גודל נקודת ביקורת: J​ais 3, וזו לא החלטה צמודה בכל הנוגע להקשר. חלון של 512K לעומת 32K מכריע לבדו עיבוד מסמכים, עבודה בקנה מידה של מאגר קוד ומסלולי סוכנים ארוכים.

הסקה בערבית שאתם מתכוונים לקרוא, התנהגות הימנעות שאפשר לסמוך עליה, טיפול בתוכן קוראני, או ספק עם אפליקציה ומסלול תמיכה: Fanar 2. הצינור שלאחר-האימון של QCRI הוא אכן מורכב להפליא — 4 מיליון הוראות SFT, 280 אלף זוגות DPO, חמישה שלבים, ומעבר מכוון לאיזון מחדש של יכולות כדי למנוע מהסתגלות להקשר ארוך לפגוע במשימות קצרות — וזה ניכר בממדים שאף עמודה בטבלת דירוג לא לוכדת.

אם ההחלטה קשה כי שניהם סבירים לאותו עומס עבודה, הדבר שיכריע אותה הוא הפרומפטים שלך עצמך, כשהורצים מול שניהם ומדורגים לפי הקריטריונים שלך. זהו הניסוי שאיש לא פרסם עבור שני המודלים האלה, והוא שווה יותר מכל מספר שצוטט לעיל.

להריץ את זה זה פחות עבודה ממה שזה היה פעם. OrcaRouter נותן לך מפתח אחד ליותר מ-200 מודלים עם 0% תוספת מחיר, ומחיר המחירון של הספק מועבר כמו שהוא, כך שהשוואה בין שני צ'קפוינטים ערביים היא שינוי ניתוב ולא שתי אינטגרציות — וניקוד פריט-אחר-פריט הוא בדיוק המקרה שעבורו נבנה ה-DSL לניתוב, כי הוא מאפשר לך לשלוח את אותו פרומפט לשני המודלים בקריאה מורכבת אחת במקום לכתוב הרנס להשוואה. אף אחת מהמשפחות לא נמצאת בקטלוג שלנו כרגע; רשימת המודלים היא המקום שבו אפשר לבדוק מה.

מה יפתור את זה?

ריצה עצמאית אחת של שני המודלים על הרנס משותף, שפורסמה יחד עם הפרומפטים. זה מה שחסר, וזה חסר לכל מודל ערבי מיינסטרימי, לא רק לשניים האלה — כל התחום פועל על מספרים בדיווח עצמי, ולכן מחלוקת של שמונה נקודות حول ArabicMMLU של Fanar 2 יכולה להישאר בפומבי שבעה חודשים בלי שאף אחד יפתור אותה. עד שמישהו יעשה זאת, התייחסו לטבלה של Jais 3 כאל הטיעון של IFM ולטבלה של Fanar 2 כאל זה של QCRI, והתייחסו לעובדות הארכיטקטוניות — 512K מול 32K, שבעה צ'קפוינטים מול אחד, דגלי parser מול API מתארח — כאל החלק שאפשר באמת לתכנן סביבו.

מה שהמספרים לא יכולים לספר לך הוא אם משהו מזה השתבש בשטח: תקריות ה-AI המתועדות וכשלי הסוכנים סביב מודלים מהסוג הזה מרוכזים בOrcaRouter AI Incident Archive, שבו כל רשומה נושאת מקורות משלה, חומרה, דרגת מהימנות וסימון מחלוקת.