מדדי הביצועים של Kimi K3.1 Pro: כל ציון, מי הפיק אותו, והיכן הטבלה עדיין ריקה

המספר השימושי ביותר בהשקת Kimi K3.1 Pro אינו מופיע בגרף של Moonshot עצמה. Artificial Analysis, שמפעילה הערכות משלה במקום לצטט טבלאות של ספקים, מודדת את Kimi K3.1 Pro ב-55 במדד האינטיליגנציה שלה — המקום הרביעי מתוך 215 מודלים בקטגוריה שלה, שתי נקודות מעל GPT-6 Astra עם 53, ושלוש נקודות מתחת ל-Claude Opus 5.5 עם 58. חומרי ההשקה של Moonshot מספרים סיפור אחר ומחמיא יותר: 65.7% ב-Terminal-Bench 4.0, יתרון של 7.5 נקודות לעומת 58.2% שהיא מייחסת ל-Astra. שני המספרים אמיתיים, שניהם הופקו ביושר, והם חלוקים בשאלה מי מוביל. אי-ההסכמה הזה הוא הדבר שכדאי להבין לפני שמעבירים עומס עבודה למודל הזה.

להלן כל הנתונים שפורסמו עבור Kimi K3.1 Pro, עם המקור וההגדרה המצורפים לכל שורה, והערה בכל מקום שבו הגיליון ריק. זו אותה התייחסות שהבלוג הזה מעניק למודלים של Anthropic ושל OpenAI, ומאותה סיבה: טבלת בנצ'מרק היא טענה על הרנס לא פחות משה�יא טענה על מודל.

המספר העצמאי, ראשון

Artificial Analysis העריכה את המודל בגרסה 4.3.2 של האינדקס שלה, שמאחד עשר הערכות למספר אחד. ארבעת הנתונים שחשובים לקונה הם אלה:

• מדד האינטליגנציה — 55, במקום ה-4 מתוך 215 מודלים. לשם השוואה, החציון בקטגוריה שלו הוא 27, ו-GPT-6 Astra (Max) משיג 53 בעוד Claude Opus 5.5 משיג 58 באותה גרסה של המדד.

• עלות למשימה — $2.11 לכל משימת Intelligence Index, מדורגת במקום ה-85 מתוך 113 מבחינת עלות. המקבילה של GPT-6 Astra היא $3.26. זה המספר שהופך מחיר לפי טוקן לעלות עומס עבודה, והמחיר הנמוך של המודל לטוקן מתקזז בחלקו על ידי אריכות דברים.

• רב-מילוליות — 150 מיליון טוקני פלט נוצרו במהלך ריצת האינדקס, לעומת חציון של 87 מיליון. המעריך מכנה את המודל "רב-מילולי מאוד", וזה חשוב ישירות: הפלט הוא הסעיף היקר בכרטיס התעריפים של המודל הזה, בעלות של 10 דולר למיליון טוקנים.

• מהירות — 73.5 אסימוני פלט לשנייה אצל הספק של המעריך, איטי מהממוצע של 82. בנתיב שלנו, זמן החציון לאסימון הראשון הוא 7.15 שניות, וזה הנתון שקובע איך המודל מרגיש בסשן קידוד אינטראקטיבי.

תווית אחת בעמוד ההוא שווה ציון: Artificial Analysis מפרטת את Kimi K3.1 Pro כמודל קנייני, משום שנכון ל-24 באוקטובר המשקלים מובטחים אך לא פורסמו. סיווג זה אמור להשתנות עד 4 בנובמבר אם Moonshot תעמוד במועד שקבעה.

טבלת הספקים, שורה אחר שורה, עם ההגדרה מצורפת

Moonshot פרסמה גיליון רחב של ההערכות שלה לצד ההשקה, ובכמה מקומות היא משווה את Kimi K3.1 Pro ל-Claude Opus 5.5 ול-GPT-6 Astra באותן שורות. כל נתון להלן מדווח על ידי הספק אלא אם השורה מציינת אחרת.

• Terminal-Bench 4.0 — 65.7% עבור Kimi K3.1 Pro, לעומת 66.4% עבור Claude Opus 5.5 ו-58.2% עבור GPT-6 Astra. זו הכותרת. זו גם השורה עם הכי הרבה הסתייגויות: ה-66.4% של Anthropic הופק במאמץ xhigh, רמה אחת מעל ברירת המחדל שלה; הריצה של Kimi עצמה היא בברירת המחדל של המודל, max. שני המספרים מגיעים מהרנסים שונים.

• Kimi Code Bench 3.0, long-horizon — 61.2% לעומת 55.95% עבור Kimi K3. זוהי ההשוואה הנקייה ביותר לקודמו בהשקה, והנשלטת ביותר על ידי הספק: גם המדד וגם מערכת ההרצה שייכים ל-Moonshot.

• BenchCAD עם כלים — 92.7% עבור Kimi K3.1 Pro, לעומת 96.2% עבור Claude Opus 5.5 ו-95.9% עבור GPT-6 Astra. ללא כלים, 72.8% לעומת 73.0% של Opus; Astra לא דיווחה נתון ללא כלים. זו השורה שבה המתחרה מפסיד באופן בולט, והיא נמצאת בלב מסר ההשקה עצמו בנוגע ליצירה בתלת-ממד.

• Kimi Hallu Bench Hard — שיעור הזיות ברמת טענה של 8.3% עם כלים, ו-5.4% ללא כלים. באותו מבחן, GPT-6 Astra טוב יותר עם כלים (5.5 לעומת 8.3) וטוב יותר ללא כלים (4.2 לעומת 5.4); Claude Opus 5.5 גרוע יותר בשניהם (15.0 ו-6.8). Moonshot מדווחת גם שהשיעור ירד מ-23.4% ב-Kimi K3, ושתגובות המכילות לפחות שגיאה עובדתית אחת מהוות כעת 42.4% מהשיעור של קודמו.

• הערכות פיננסיות ועסקיות, פנימיות — Financial Modeling 57.6 לעומת 50.4 עבור K3, Financial Research 70.4 לעומת 58.8, Business Operation 37 לעומת 8.9. האחרון הוא שיפור פי ארבעה במשימה שבה המודל הישן היה כמעט לא מתפקד. יש להתייחס לגדלים כאל כיווניים בלבד; אלו הן חבילות המבחן של Moonshot עצמה.

• OfficeQA Pro v2 — 64.4, אשר Moonshot מתארת כמתקדמת ביותר. בשורה לא מופיע נתון של ספק שני.

• xdev-bench-hard, pass@3 — 81.0% עבור המודל שנשלח, 90.5% עבור checkpoint שאומן ללא אמצעי הפחתת סיכוני הסייבר של החברה, 33.3% עבור Kimi K3. הפער של 9.5 נקודות הוא המחיר ש-Moonshot אומרת ששילמה כדי להשאיר יכולת סייבר התקפית מתחת לסף.

במקום שבו הטבלה עדיין ריקה

שלושה פערים ראויים לציון, משום שהסיקור של ההשקה הזו פסח עליהם במידה רבה.

הראשון נמצא בתיעוד ה-API של Moonshot עצמה. ביום ההשקה, עמוד ההתחלה המהירה של Kimi K3.1 Pro עדיין כלל מחרוזות מציין מקום מילוליות — "[xx.x%]" — במקום שבו היו אמורים להופיע הציונים של Terminal-Bench 4.0, Terminal-Bench-Science 0.1 וקידוד פנימי, בעוד שהפוסט השיווקי כלל את המספרים המוגמרים. זהו צינור תיעוד שיצא לאור לפני שהטקסט עצמו יצא, לא זיוף, אבל יש בכך סיבה לקרוא את המספרים מעמוד הבלוג ולא מהתיעוד.

השני הוא Terminal-Bench-Science 0.1, שבו Anthropic מפרסמת 58.7% עבור Claude Opus 5.5, והחומר של Moonshot אומר רק ש-Kimi K3.1 Pro נמצא "מעל K3", בלי מספר. שורה שאין בה מספר באף אחד משני צדי ההשוואה אינה שורה.

השלישי הוא SWE-bench. זהו הבנצ'מרק שרוב הצוותים עדיין מצטטים כשהם מדברים על סוכני קידוד, ופוסט ההשקה מזכיר את DeepSWE v1.1 ואת SWE-Marathon v1.1 בהערות שוליים בלי לפרסם ציונים. יהיה אשר יהיה, המספר המבוקש ביותר חסר.

איך לקרוא 65.7

שני דברים משפיעים על ציון Terminal-Bench יותר מהמודל: ה-scaffolding שסביבו והגדרת מאמץ החשיבה. הטבלה של Anthropic עצמה עבור Opus 5.5 מציגה את שני האפקטים בתוך מודל יחיד — CursorBench 4.0 עובר מ-57.8% במאמץ xhigh ל-52.5% במאמץ medium, בעוד FrontierCode משתנה ב-0.2 נקודות בין שתי ההגדרות האלה. ל-Kimi K3.1 Pro יש שלוש הגדרות, וברירת המחדל שלו היא היקרה ביותר, כך שהרצה של ספק שלא מציינת את רמת המאמץ שלה צפויה להיות הרצת מקסימום, בין אם היא אומרת זאת ובין אם לא.

לכן המדד העצמאי וטבלת הספק מדרגים את שלושת הדגמים הללו אחרת. בשורת Terminal-Bench של Moonshot, Kimi גובר על Astra ב-7.5 נקודות. במדד עשר ההערכות של Artificial Analysis, Kimi מוביל על Astra ב-2 ומפגר אחרי Opus ב-3. אף אחד משני סדרי הדירוג אינו שגוי; הם עונים על שאלות שונות עם מערכי בדיקה שונים, והסיכום היחיד שניתן להצדיקו הוא שכל שלושת הדגמים נמצאים בטווח של כמה נקודות זה מזה ביכולת כללית, כשהמחיר שונה פי חמישה בין הזול ביותר ליקר ביותר.

מה לעשות עם המספרים

עבור עומס עבודה שבו נפח הפלט שולט — יצירת קוד ארוכה, ניסוח מסמכים, לולאות אג'נטיות שכותבות הרבה יותר ממה שהן קוראות — נתון האריכות הוא זה שכדאי לתכנן לפיו. בקצב של 150 מיליון טוקנים לכל הרצת אינדקס לעומת 60 מיליון אצל Astra, Kimi K3.1 Pro מפיק בערך פי 2.5 פלט למשימה, וגם במחיר של חמישית ממחיר הפלט זה עדיין מצמצם במידה ניכרת את יתרון העלות. הנתון של $2.11 למשימה כבר מביא זאת בחשבון, ולכן הוא מספר התכנון הטוב יותר מאשר מחירון התעריפים.

עבור עומס עבודה שבו נקודת דיוק אחת מכריעה את התוצאה, הפער של שלוש נקודות מול Claude Opus 5.5 במדד הבלתי־תלוי הוא הנתון הרלוונטי, ואף טבלת ספקים לא אמורה להניא אותך מכך.

Kimi K3.1 Pro ניתן לקרוא לו דרך OrcaRouter במחיר של $2.00 לכל מיליון טוקני קלט ו-$10.00 לכל מיליון טוקני פלט, עם חלון הקשר של 1,048,576 טוקנים, עד 943,718 טוקני פלט ושלושה פורמטים של נקודות קצה — Chat Completions, Responses ו-Messages — על אותו מפתח כמו שאר הסטאק שלך. מחיר המחירון של הספק הוא מה שאתה משלם, בלי תוספת, כלומר החשבון לעיל הוא החשבון שתקבל. הדבר היחיד שהעמוד הזה לא יכול לתת לך הוא הבנצ'מרק שלך: הרץ מדגם מהתעבורה האמיתית שלך ברמות מאמץ נמוכה, גבוהה ומקסימלית לפני שתבחר בברירת מחדל, כי ההגדרה משנה את העלות יותר מאשר בחירת המודל.