Jais 3 vs SILMA 9B: אתגר מודלים בין שתי תקופות שונות של בינה מלאכותית ערבית

פתחו את האתר של SILMA AI והמוצר המוביל שאיתו היא מובילה הוא SILMA TTS v2.0, מודל טקסט לדיבור שמציין זמן של 170 מילישניות עד לאסימון הראשון עבור סוכני קול. גללו לתחתית העמוד ועדיין יש קישור ללוח דירוג של מודלי שפה גדולים בערבית, והמודל שההתמודדות הזו מזכירה — SILMA-9B-Instruct-v1.0, מודל instruct דו-לשוני בערבית ובאנגלית בן 9B מהארגון silma-ai/ — עדיין נמצא ב-Hub. הוא פורסם ב-17 באוגוסט 2024. מולו ניצב Jais 3, המשפחה של Institute of Foundation Models ו-Inception42 שהמשקולות שלה פורסמו ב-29 בספטמבר 2026 ומתכוני ההגשה שלה הוחתמו ב-5 באוקטובר. זה פער של עשרים וחמישה חודשים ושינוי בקטגוריית תעשייה, והוא הופך את זה לעמוד המוזר ביותר בסט: לא התמודדות בין שני יריבים, אלא בין צ'קפוינט מהעידן שבו מודלי שפה ערביים דורגו לפי לוג-סבירות על בנצ'מרקים מתורגמים לבין משפחה מ-2026 שמגיעה עם מנתחי הסקה וחלונות הקשר של 512K. עדיין שווה לערוך את ההשוואה, כי צוותים עדיין מריצים את SILMA 9B, והשאלה מה יידרש כדי להחליף אותו היא שאלה אמיתית.

מה כל צד הוא בעצם

• Jais 3 הוא משפחה, לא מודל — שישה צ'קפוינטים בסיסיים, Jais-3-0.9B, Jais-3-3.7B, Jais-3-7B, Jais-3-32B, Jais-3-MoVA-36B-A4B וJais-3-375B-A23B, בנוסף לגרסאות -Uno/, כולם Apache 2.0 וכולם ללא הגבלות. המודלים ה-dense מבוססים על k2_horizon/ ארכיטקטורה מותאמת אישית הדורשת trust-remote-code.

• SILMA 9B הוא צ'קפוינט אחד. silma-ai/SILMA-9B-Instruct-v1.0/ מהווה נגזרת של Gemma 2 — gemma2/ / Gemma2ForCausalLM/ — עם חמישה שברי safetensors, תג pipeline שיחתי, וערבית ואנגלית המוצהרות כשפותיו.

• הרישיון הוא ההבדל המעשי החד ביותר. Jais 3 הוא Apache 2.0 ללא שער. SILMA 9B נושא את רישיון Gemma ושער אישור: השדה extra_gated_button_content / בכרטיס פירושו שאתה מקבל את התנאים לפני שהמשקלים הופכים לשלך, ורישיון Gemma נושא הגבלות שימוש שאין ל-Apache 2.0.

• המשפחה שהחליפה אותה קטנה. הגרסאות המאוחרות יותר של SILMA AI הן SILMA-Kashif-2B-Instruct-v1.0 מינואר 2025 וזוג מודלי embedding מאוקטובר 2024. אין יורש ל-SILMA 9B, אין 27B, ואין גרסת MoE. התוצר החדש ביותר של הארגון, בפער ניכר, הוא silma-tts/ ממרץ 2026.

• הקשר — עד 524,288 טוקנים ברוב דגמי סדרת Jais 3, ו-128K בדגם 0.9B. הכרטיס של SILMA אינו מפרסם נתון של אורך הקשר כלל.

בעיית הבנצ'מרק, כפי שהוצהרה לפני שמצוטט מספר כלשהו

התוצאות המפורסמות של SILMA 9B נובעות מתרבות מדידה שונה מזו של Jais 3, וההבדל אינו עניין של מידה.

• המספרים של SILMA הם ציוני לוג-סבירות במערכת ההערכה של Open Arabic LLM Leaderboard — loglikelihood_acc_norm/ מול Arabic MMLU (52.55), AlGhafa (71.85), ARC Challenge Arabic (78.19), ACVA (78.89), Arabic EXAMS (51.4), ועוד שלל מבחני מידוד מתורגמים. הנתון המרכזי שלה הוא ציון Arabic Broad Benchmark של 6.15 מתוך 10.

• המספרים של Jais 3 הם דיוק של תשובות שנוצרו על מדגם מבוקר.IFM מדווחת על Arabic MMLU בציון 89.3 עבור 375B, 88.6 עבור 32B, 85.2 עבור 7B ו-83.3 עבור 3.7B, כאשר הכוכב מסמן בנצ'מרקים שאותם ניקתה משאלות דו-משמעותיות, אפשרויות לא תקפות ותוויות זהב שאין להצדיקן — והיא מפרסמת את הדגימות שהוחרגו.

• אלה אינם אותה מדידה.ניקוד לפי סבירות לוגריתמית בשאלות אמריקאיות ודיוק של תשובות מחוללות על סט מנוקה לא יתלכדו, והפער ביניהם אינו מדד לאיכות המודל. הצבת 85.2 לצד 52.55 וקריאה לכך שזהו ניצחון של 33 נקודות תהיה המשפט המטעה ביותר האפשרי בעמוד הזה, והוא המשפט שרוב מאמרי ההשוואה היו כותבים.

• לאף אחד מהשניים אין ציון עצמאי. אין רשומה של Artificial Analysis עבור אף אחד מהם. אין תוצאת ארנה. כל נתון בסעיף זה מדווח על ידי הספק, על ידי המעבדה שפרסמה אותו, ונתוני Jais 3 כוללים בנוסף הערת שוליים של IFM עצמה שלפיה הגדרת מאמץ החשיבה שבה נעשה שימוש הייתה גבוהה/ עבור כל ריצה.

ההשוואה המותאמת בגודל היא זו שיש לה משמעות

אם SILMA 9B הוא מה שיש לך, המועמד ההגון להחלפה של Jais 3 הוא Jais-3-7B או Jais-3-3.7B, לא הדגם הבכיר. שניהם צפופים, שניהם רצים ב-tensor parallelism 1 ב-bfloat16 במתכון vLLM, ושניהם לא מגודרים.

• טביעת רגל — Jais-3-7B ב-TP=1 על GPU בודד מול ה-Gemma 2 9B המחולקת לחמישה שברים של SILMA 9B. עלות אירוח דומה, כך שהשדרוג הוא שאלה של איכות ויכולת ולא של חומרה.

• הקשר — 524,288 טוקנים עבור Jais-3-7B לעומת היעדר נתון מפורסם עבור SILMA 9B. זו השורה שבה עומס עבודה עובר ארכיטקטורה מחדש ולא מוסב.

• גרסאות Edge ומקוונטזות — GGUF עבור llama.cpp ו-Ollama גם ב-3.7B וגם ב-7B, וכן MLX 4-bit, 8-bit ו-bf16 עבור Apple silicon. ל-SILMA 9B יש המרות GGUF, אך אלו העלאות של צד שלישי מ-2024 והספק לא פרסם אף אחת.

• משטחים ייעודיים לערבית — IFM מפרסמת חבילת מבחנים ערבית מלאה לכל צ'קפוינט, המכסה ניבים, ניקוד, ניתוח תחבירי, IslamicQA, תרבות ערבית ותרגום. הכרטיס של SILMA מדווח דרך העמודות המצטברות של טבלת המובילים וציון הבנצ'מרק הרחב שלה עצמה, עם הרבה פחות פירוט לפי יכולת.

• רישיון — Apache 2.0 לעומת רישיון Gemma בתוספת תנאי סף. עבור צינור עיבוד ערבי מסחרי, ההבדל הזה לבדו יכול להכריע את ההגירה.

מה שעדיין יש ל-SILMA 9B לטובתו

שני דברים, ואף אחד מהם אינו מדד.

• זהו Gemma. צ'קפוינט gemma2/ שרץ על כל סטאק שכבר מריץ Gemma 2 — בלי --trust-remote-code/, בלי דגלי מנתח מותאמים אישית, בלי מימוש מודל ייעודי לארכיטקטורה. Jais 3 זקוק ל-trust-remote-code, למנתח חשיבה k2_horizon/, למנתח קריאות כלים k2_horizon/, ודגימה תלוית שפה: טמפרטורה 1.0 לאנגלית ו-0.7 לערבית במצב חשיבה מול ברירת מחדל של 0.2, עם המלצה על לפחות 32,768 אסימוני פלט. פורטינג הוא עבודה אמיתית.

• הוא יציב, ויש לוח מובילים סביבו. SILMA AI מתחזקת מרחב Arabic LLM Broad Leaderboard, ולצ'קפוינט בן שנתיים יש שנתיים של סיפורי פרודקשן נקשרים אליו. זה לא דבר של מה בכך כשהחלופה היא מודל שפורסם לפני שלושה שבועות בלי הערכה של צד שלישי, בלי דוח טכני — IFM מציינת אותו כ"בקרוב" — ובלי מחיר מפורסם.

החלטת ההגירה, וכיצד להפוך אותה להפיכה

החליפו את SILMA 9B אם עומס העבודה שלכם הוא מסמכים עם הקשר ארוך, שימוש בכלי סוכנים, או רגיש מספיק מבחינה מסחרית שרישיון Gemma מהווה בעיה. שורת ההקשר לבדה מצדיקה זאת: מודל ללא נתון הקשר מפורסם לעומת אחד שמגיע לחצי מיליון טוקנים אינו החלטה צמודה לעבודת מסמכים.

השאר אותו אם הפייפליין יציב, רישיון Gemma כבר אושר, והכול רץ על transformers סטנדרטיים — כי המשקל הנגדי הכנה לטבלת הבנצ'מרק של Jais 3 הוא שהטבלה היא של IFM, שהמודל בן שלושה שבועות, ושאין מספר בלתי־תלוי מאחורי אף אחד מכל אלה. שדרוג מסלול ייצור ערבי עובד לצ'קפוינט בן שלושה שבועות על סמך נתוני ספק הוא הטעות שההשוואה הזו קיימת כדי למנוע.

הדרך להשיג את שניהם היא להריץ אותם זה לצד זה תחילה, והסיבה שבעבר זה היה יקר היא שזה הצריך שתי אינטגרציות ורתמת השוואה. OrcaRouter מצמצם את זה: API אחד על פני יותר מ-200 מודלים עם 0% תוספת, מחיר המחירון של הספק מועבר כמו שהוא, כך שהשוואה בין מודלים היא שינוי ניתוב ולא פרויקט — וה-DSL לניתוב הוא הכלי הנכון למשימה הספציפית של שליחת פרומפטים בערבית זהים לשני מודלים ודירוג התשובות, כי הוא מרכיב אותם לקריאה אחת ומחזיר את שניהם. מעבר אוטומטי לגיבוי הוא מה שהופך את הצעד הבא לבטוח, ומאפשר למודל שפורסם זה עתה לקחת נתח מתעבורה אמיתית בעוד שהמודל המבוסס שלך סופג את השאר ותופס את הבקשות שהחדש מפיל. אף אחד מהמודלים לא נמצא בקטלוג שלנו כרגע; רשימת המודלים היא המקום להסתכל בו לפני שמתכננים סביב אירוח עצמי.

מה לצפות

ארבעה דברים, לפי הסדר של מידת השינוי שהם היו מחוללים בעמוד הזה. יורש ל-SILMA 9B, שיהפוך אי-התאמה קטגוריאלית בחזרה להתמודדות אמיתית. כל הערכה בלתי תלויה של צ'קפוינט של Jais 3, שתהפוך את כל מדור הבנצ'מרק למיותר. הדוח הטכני של IFM, שמסומן כרגע כ"בקרוב". ומחיר מפורסם ל-Jais 3, שאין כזה בשום מקום. עד שלפחות אחד מאלה יתממש, הפרשנות המוצדקת של ההשוואה הזו היא ארכיטקטונית — רישיון, הגבלת גישה, הקשר, כלים, סולם גדלים — והציונים צריכים להיקרא כשתי מעבדות שמודדות שני דברים שונים בשנתיים שונות.