LMArena ולוחות הדירוג של LLM: שלושה שליטים, שלוש שאלות שונות

ב-19 בפברואר 2026 פרסמה Artificial Analysis מאמר שכותרתו "Gemini 3.1 Pro Preview: המוביל החדש ב-AI". הוא הוביל בשישה מתוך עשרה מבחנים והיה גבוה בארבע נקודות מ-Claude Opus 4.6. פתחו היום את העמוד של אותו מודל ותקבלו 30, במקום ה-69 מתוך 200. גוגל לא שינתה דבר. מה שהשתנה הוא הסרגל: ב-19 בספטמבר 2026 עדכנה Artificial Analysis את Intelligence Index שלה ל-v4.3.2, הוציאה לגמלאות את Terminal-Bench 2.1 לטובת Terminal-Bench 4.0, החליפה את tau3-Banking ב-AutomationBench-AA ועגנה מחדש את סולם ה-Elo של GDPval-AA. מוביל של פברואר הפך לשחקן אמצע טבלה בספטמבר מפני שמכשיר המדידה זז מתחתיו.

הפרק הבודד הזה הוא כל הטיעון לללמוד לקרוא את הלוחות האלה כראוי. Claude Opus 5.5 ו-Claude Fable 5.1, Kimi K3.1 Pro ו-MiniMax M3.1 Flash, וכל מודל שביניהם מדורגים לפי לפחות שלושה דברים בלתי תואמים בו-זמנית, והחיפושים שמביאים אנשים לכאן — lmarena, llm ranking, which model is actually best — מניחים שיש תשובה אחת. יש שלוש, והן עונות על שאלות שונות.

שלושה סוגים של לוח תוצאות, שלוש שאלות שונות

כל מספר שתראו בלוח תוצאות מגיע מאחת משלוש משפחות, והמשפחה קובעת מה המספר יכול לומר לכם ומה הוא לא יכול.

זירת הקהל. LMArena מציגה שני פלטים אנונימיים של מודלים עבור פרומפט אחד, אדם בוחר זוכה, וההצבעות נאספות לדירוג. זה מודד העדפה בתנאים עיוורים על פרומפטים שאיש לא בחר מראש. החוזקה שלה הוא שאין ספק שמריץ את מערך הבדיקה ואיש לא בוחר את השאלות ביד. החולשה שלה היא שמצביע מתגמל תשובות רהוטות, בטוחות ומעוצבות היטב, ופרומפט שהוקלד על ידי מתנדב אינו עומס העבודה שלך. דירוג גבוה בזירה אומר שאנשים נוטים להעדיף את הפלט; זה לא אומר שהפלט נכון.

המדד המשולב.Artificial Analysis מפעילה מערך קבוע של הערכות ומשלבת אותן ל-Intelligence Index אחד, לצד מדדים נפרדים למהירות, להשהיה, למחיר ולעלות לכל משימה שהושלמה. זה השימושי מבין השלושה ליצירת רשימה מקוצרת, מפני שמערך הבדיקה זהה עבור כל מודל והעמודות הנלוות מאפשרות לשקול איכות מול עלות. החולשה שלו היא שמדד משולב מטמיע בחירות עריכה: אילו הערכות נספרות, כיצד הן משוקללות, ומה קורה כשאחת מהן יוצאת משימוש. הגרסה v4.3.2 היא בדיוק אותה חולשה כשהיא גלויה לעין.

גיליון הספק.חומר השקה מהמעבדה שבנתה את המודל. זהו המקור העשיר ביותר — מאות שורות, הבנצ'מרקים החדשים ביותר, הקונפיגורציות שאיש אחר לא הריץ — והוא גם הפחות בר־השוואה, מפני שכל ספק בוחר את ההארנס, את הגדרת המאמץ ואת היריבים. הטבלה של Claude Opus 5.5 מבית Anthropic מציבה את המודל שלה בפער של 29 נקודות לפני GPT-5.6 Sol ב-Terminal-Bench 4.0; החומר של Sol מבית OpenAI מציג בראשו את Terminal-Bench 2.1, שבו Sol משיג 91.9, ואינו מכיל בכלל שורה עבור Opus 5.5, מפני ש-Opus 5.5 לא היה קיים כשהחומר נכתב. טבלה שיש בה רק שורות חיוביות אינה ראיה לניצחון גורפי. היא ראיה לברירת שורות.

השורה היא תצורה, לא מודל

הטעות הנפוצה ביותר בקריאת לוח דירוג היא להתייחס לשורה אחת כאל מודל אחד. בלוח הדירוג של מודלי LLM של Artificial Analysis עצמו השבוע, Claude Opus 5.5 מופיע שלוש פעמים:

• Claude Opus 5.5 במאמץ מקסימלי עם גיבוי — מדד האינטליגנציה 58, עלות למשימה $5.98, מהירות פלט חציונית 98 אסימונים לשנייה, השהיה 706 מ״ש, מקצה לקצה 711 מ״ש.

• Claude Opus 5.5 במאמץ xhigh עם fallback — מדד אינטליגנציה 56, עלות למשימה $3.46, מהירות 82 טוקנים לשנייה, השהיה 119 ms, מקצה לקצה 125 ms.

• Claude Sonnet 5.5 במאמץ מקסימלי — 56, $5.46, 141 אסימונים לשנייה, 427 ms.

שתי נקודות מדד מפרידות בין שתי השורות הראשונות. קיצוץ של 42% בעלות לכל משימה ופער השהיה של פי שישה מפרידים ביניהן גם כן. שום דבר במודל לא השתנה; הגדרת המאמץ כן. לכן כל טיעון מהצורה "מודל X משיג ציון גבוה יותר ממודל Y" אינו שלם עד שהוא מציין את התצורה, וזו הסיבה שמספר ראש בראש בודד לעולם לא צריך להכריע החלטת רכש בעצמו.

אותו כלל חל גם על מאמץ החשיבה בתוך החומר של הספק עצמו. אנתרופיק מוסיפה בהערת שוליים שהרצת ה-Terminal-Bench של Claude Opus 5.5 השתמשה במאמץ xhigh ולא בברירת המחדל, וכי במאמץ medium—ברירת המחדל—היתרון של FrontierCode על GPT-5.6 Sol מצטמצם מפער כותרתי לשבע נקודות. שני המספרים נכונים. רק אחד מהם מתאר את מה שתקבלו אם לא תגדירו את הפרמטר.

מלכודת הגרסה, שאחראית לרוב ההשוואות השגויות

שמות הבנצ'מרקים עוברים שימוש חוזר בין דורות, והמספרים אינם עוברים ביניהם. שלוש דוגמאות מהסיקור של החודש הזה מספיקות כדי להמחיש את התמונה.

• Terminal-Bench 2.1 לעומת 4.0 — הכרטיס של Google עבור Gemini 3.5 Flash-Lite מדווח על 54.0% ב-Terminal-Bench 2.1; Artificial Analysis, בהרצת 4.0, מתעד 1%. שניהם נכונים, וציטוט של כל אחד מהם בלי הגרסה מטעה באופן שמחמיא למודל שתעדיף.

• OSWorld-Verified לעומת OSWorld 2.0 — Anthropic מדווחת על 85.0% עבור Claude Mythos 5 ב-OSWorld-Verified. ספקים אחרים מצטטים ציוני OSWorld 2.0 בשנות השישים. הצבתם באותה עמודה אינה השוואה בין מודלים.

• המודל הנכון, הגרסה הלא נכונה — Claude Mythos 5.1 משיג 60.9 ב-Terminal-Bench 4.0 לעומת 52.0 של Muse Wonder, שהוא המבחן המשותף היחיד בין שתי המשפחות האלה. Mythos 5 — הציון שפורסם שלו, 88.0, הוא Terminal-Bench 2.1. החלפת דור אחד בדור האחר יוצרת פער של 36 נקודות שאינו קיים.

ההרגל המעשי הוא קטן וכדאי לאמץ אותו: כאשר מספר מופיע בלי גרסת בנצ׳מרק ובלי הגדרת מאמץ, יש להתייחס אליו כאל טענה ולא כאל מדידה.

עלות לכל משימה אינה המחיר שעל הכרטיס

לוחות הדירוג הוסיפו בשקט את העמודה החשובה ביותר לתקצוב, והיא סותרת לעיתים קרובות את מחירון התעריפים. MiniMax M3.1 Flash עולה $0.15 למיליון טוקני קלט ו-$0.60 פלט; Gemini 3.5 Flash-Lite עולה $0.30 ו-$2.50 — פי ארבעה יותר בפלט. בעלות לכל משימת Intelligence Index שהושלמה, Flash-Lite מנצח: $0.19 לעומת $0.22.

ההיפוך הזה אינו שגיאה. המדד הוא טוקנים שנצרכו בפועל כפול התעריפים של הספק, כך שהוא מודד כמה עבודה כל מודל משקיע כדי לסיים את אותה משימה. MiniMax M3.1 Flash צרך בערך 180 מיליון טוקני פלט לאורך המדד, לעומת חציון של קרוב ל-100 מיליון אצל המודלים ש-Artificial Analysis עוקב אחריהם: הוא מודל הסקה מפורט, ופירוט יתר מחויב בתשלום. במשימות שבהן ההתעמקות מביאה לתשובה נכונה, זו עסקה משתלמת. במשימות שבהן התשובה מעולם לא הייתה מוטלת בספק, זהו בזבוז.

זו העמודה שצריך להריץ מול התעבורה שלך לפני שסומכים על השוואה כלשהי לפי טוקנים, כי היא היחידה שמביאה בחשבון את העובדה שמודלים לא משקיעים את אותו מספר טוקנים כדי להגיע לאותו מקום.

מה שטבלת דירוג לא תספר לך

שני אזורים עיוורים ראויים לכותרת משלהם, כי שניהם עולים כסף כשמתעלמים מהם.

הימנעות.ההערכה AA-Omniscience של Artificial Analysis מעניקה ל-MiniMax M3.1 Flash ציון 16: 56% משאלות עובדתיות נענו נכון, ושיעור הזיות של 93%. הנתון השני אינו אומר ש-93% מהתשובות היו שגויות — הוא אומר שמבין התשובות שלא היו נכונות, 93% היו שגויות לחלוטין ולא תשובות חלקיות או סירובים. המודל בדרך כלל עונה כאשר ראוי שיימנע מלענות. ל-Gemini 3.5 Flash-Lite אין כלל ציון AA-Omniscience, וזהו נתון חסר, לא אישור שהכול תקין.

זמינות. ציון הוא הצהרה על רגע מסוים. Gemini 3.1 Pro בילה שבעה חודשים כתצוגה מקדימה בלי תאריך GA, נעלם מבורר המודלים ב-AI Studio באמצע ספטמבר בלי הסבר מצד הספק, ועדיין נושא דירוג. Grok 4.7 היה בן יום כשקיבל ציון 46 במדד. אחד מאלה הוא מספר על מודל שאפשר לקרוא לו בחודש הבא; האחר הוא מספר על מודל שאולי לא יהיה קיים ברבעון הבא. לוח הדירוג לא מבחין ביניהם.

איפה יושב הדירקטוריון שלנו עצמו, ולמה הוא דבר רביעי

OrcaRouter מפעילה לוח מובילים של מודלי AI שבאופן מכוון אינו משחזר אף אחד מהדברים שלעיל. הדירוג מבוסס על מה שהשער שלנו עצמו צופה — תעבורת ייצור והצבעות קהילתיות במצב Battle Mode — ומשלב זאת עם הצבעות LMArena, מבחני בנצ'מרק בלתי תלויים ואימוץ אקוסיסטמי תחת משקלים קבועים ומפורסמים. הוא מתעדכן מדי יום, מציג מודלים בתוך 48 שעות מהגעתם, ומתפצל לתצוגות טקסט, קידוד, ראייה, מתמטיקה, הסקה ו-Agentic במקום להעמיד פנים שסדר אחד מתאים לכל משימה.

זה נותן לו מצב כשל שונה מזה של שלושת האחרים, וכדאי לומר זאת בפשטות: הוא יכול לדרג רק מודלים שאנחנו מנתבים, ולכן נקודות העיוורון שלו הן מסחריות ולא מתודולוגיות. מה שהוא מוסיף הוא האות היחיד שאין לאף אחד מהאחרים — האם הדבר למעשה השיב, באיזו מהירות, באיזה מחיר משוקלל, ועל תעבורה שלא נבנתה עבור בנצ'מרק.

קריאת אחד בחמש דקות

• מצא את גרסת הבנצ'מרק ואת הגדרת המאמץ לפני שתקרא את הציון. אם אחד מהם חסר, המספר הוא טענה.

• קראו את עמודת העלות לכל משימה, לא את המחיר לכל טוקן. לעתים קרובות יותר השניים חולקים זה על זה מאשר מסכימים.

• יש להתייחס למדד משולב כרשימת מועמדים, ולא כפסק דין. זהו שקלול מחדש, ושקלולים מחדש מתוקנים — אותו תיקון שהוריד בדירוג את Gemini 3.1 Pro הוריד בדירוג עשרות מודלים שאיש לא נגע בהם.

• הפרידו בין פערי יכולות לפערי ציונים. תקרת פלט של 65,536 טוקנים או מודל שאינו יכול לקרוא וידאו היא עובדה לגבי עומס העבודה שלכם; שתי נקודות במדד אינן.

• בדקו מתי המודל הושק והאם הוא עדיין בגרסת תצוגה מקדימה. דירוג ללא תאריך זמינות הוא דירוג של משהו שאולי לא יהיה שם בעת הפריסה.

טבלת הדירוג היא תחילתה של השאלה, לא התשובה לה. המדידה היחידה שמכריעה בחירה היא התעבורה שלך על הפרומפטים שלך — ולכן הדבר המועיל ששער יכול להציע אינו דירוג נוסף, אלא היכולת להריץ את שני המועמדים זה לצד זה על מפתח אחד ולהשוות את החשבוניות.

הערת מקורות: התנועה של Gemini 3.1 Pro מפברואר לספטמבר, תוכן הגרסה v4.3.2, שלוש השורות של Claude Opus 5.5, הנתונים של AA-Omniscience, ערכי העלות לכל משימה וציוני Intelligence Index הם של Artificial Analysis, כפי שנקראו ב-26 באוקטובר 2026. הנתונים של Terminal-Bench 2.1 ו-4.0, הנתונים של OSWorld-Verified ו-OSWorld 2.0, הציונים 60.9 ו-52.0 ב-Terminal-Bench 4.0, אומדן צריכת הטוקנים של MiniMax והשוואות גיליונות המפרט של הספקים מקורם בחומר שפרסמו Anthropic, Google, MiniMax ו-OpenAI בעצמם, בהתאמה, והם מדווחים על ידי הספקים אלא אם יוחסו לעיל ל-Artificial Analysis. תיאור לוח הדירוג, המשקלים וקצב העדכון של OrcaRouter הם מתודולוגיה שפרסמנו בעצמנו.