בנצ'מרק Gemini 4 Carbon: מה באמת מודד 60 ב-AA v5.0.1
- GoogleחדשGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 לכל 1M טוקנים · 226 tok/s
- AnthropicחדשAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 לכל 1M טוקנים · 101 tok/s
- orcaחדשOrca: OrcaC2 1.02026-11-0717 tok/s
- OrcaחדשOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 לכל 1M טוקנים · 82 tok/s
- OrcaחדשOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 לכל 1M טוקנים · 182 tok/s
- OrcaחדשOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 לכל 1M טוקנים · 46 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 לכל 1M טוקנים · 139 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 לכל 1M טוקנים · 63 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 לכל 1M טוקנים · 96 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 לכל 1M טוקנים · 42 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447אינטליגנציה
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 לכל 1M טוקנים · 182 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929אינטליגנציה
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 לכל 1M טוקנים · 138 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733אינטליגנציה
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740אינטליגנציה
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 לכל 1M טוקנים · 111 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955אינטליגנציה
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855אינטליגנציה
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 לכל 1M טוקנים · 319 tok/s
ציון בנצ'מרק שימושי רק אם יודעים מה ההרנס ביקש, כמה זמן הותר למודל לחשוב, ואיזו גרסה של המבחן הפיקה את המספר. עבור Gemini 4 Carbon התשובות הן: תשע הערכות אג'נטיות ומדעיות, כמה זמן שרצה, ו-Intelligence Index v5.0.1 — הגרסה הנוכחית, ולכן ה-60 ניתן לציטוט ואילו רוב המספרים שתמצאו לצידו לא. עמוד Gemini 4 Carbon API מפרט את המחיר ואת נקודת הקצה; הכתבה הזו עוסקת בציון.
מה הורץ בפועל
AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset, ו-Terminal-Bench-Science 0.1. קרא את הרשימה הזו לפני שאתה מכליל ממנה. שלושה מתוך התשעה הם עבודת טרמינל או אוטומציה, שניים הם הסקה מבוססת מסמכים על קלטים ארוכים, שניים הם מדע ומתמטיקה מאתגרים, ואחד הוא קוד חוד-חנית. אין בקבוצה הערכת סוכן אינטרנט ואין סימולציה של תמיכת לקוחות מרובת-תורות, כך שציון מצוין לא אומר דבר על אלה.
התוצאה
Carbon רושם 60, כלומר מקום 4 מתוך 78 ב-v5.0.1. המוביל הוא Claude Fable 5.2 עם 65. הפער של חמש נקודות הוא משמעותי אך לא מוחלט: שני המודלים עוברים את אותן תשע הערכות, והדרך הזולה ביותר לקרוא את ההבדל היא כבערך משימה קשה נוספת אחת שנפתרת בכל עשרים ניסיונות ברמת הכשירות של Carbon. התייחסו לכך ככיוון, לא כקצב.
{{1}}הגנת הגרסה חשובה יותר מהדירוג. מודלים שנמדדו על v4.3 או v4.3.2 — כולל רוב השמות שתראו מצוטטים בפוסטי השוואה — אינם על אותו סולם ואינם יכולים להיות מוצבים באותה טבלה.{{/1}} אם תרשים מערבב ביניהם, התרשים שגוי ללא קשר למי שפרסם אותו.
ההשלכה המעשית היא שאינך יכול להשוות את Carbon למודל שהערכת בעצמך ברבעון הקודם, אלא אם כן גם המודל הזה קיבל ציון מחדש. או שתפעיל שוב את מערך הבדיקות שלך על שניהם, או שתגביל את הטענה לקבוצת {{1}}v5.0.1{{/1}} ותאמר זאת במשפט שבו אתה מצטט אותה.
עלות הזמן
הזמן עד לטוקן הראשון הוא 64.7 שניות, במקום 69 מתוך 77 מודלים עם נתוני השהיה. זמן התגובה הכולל הוא 28.4 דקות לכל משימה לאורך תשע ההערכות. ברגע ש-Carbon מתחיל לפלוט, הוא פועל בקצב של 72 טוקנים לשנייה, וזה רגיל. זמן הקיר נשלט בעיקר על ידי חשיבה, לא על ידי כתיבה.
זו בחירה עיצובית ולא פגם, וכדאי להיות מדויקים לגבי מה שהיא מרמזת. מערכת הרצה שמאפשרת למודל להמשיך ולחשוב עד שהוא שבע רצון תפיק ציון איטי אך חזק; אותו מודל מאחורי שער בתעבורה חיה מדווח p50 של 6.89 שניות עד לאסימון הראשון ו-p95 של 10.00 שניות, מכיוון שרוב הבקשות האמיתיות אינן HLE-Diamond. שני הנתונים מודדים דברים שונים ושניהם שייכים לתוכנית קיבולת.
העלות הכספית
הרצת האינדקס מול Carbon עלתה $5.48 בתעריף של $2.00 למיליון טוקני קלט ו-$10.00 למיליון טוקני פלט, בממוצע משוקלל של $2.70 למיליון. AA מדווחת גם על 205 מיליון טוקני פלט עבור הריצה, עם נתון מילוליות של 2.69 אחוז. מספר הטוקנים, לא האחוז, הוא המספר שכדאי לשאת הלאה: הוא מלמד אותך שהערכה סוכנית בת תשע משימות צרכה את חלק הארי של רבע מיליארד טוקני פלט.
לשם השוואה, אותו מדד מול Claude Fable 5.2 עלה $26.54 — פי 4.8 יותר — בתעריף של $8.00 לקלט ו-$40.00 לפלט. זו המסגרת הנכונה עבור הצמד: פער חמש הנקודות במדד נקנה בכמעט פי חמישה מהוצאת הטוקנים.
אם מציגים זאת כיחס, Carbon משלמת $0.09 מהוצאות הבנצ'מרק לכל נקודת מדד ו-Fable 5.2 משלמת $0.41. זו אינה טענה שהמודל הזול יותר טוב — העניין במודל חזית הוא המשימות שבהן המודל הזול נכשל — אלא הטענה שבעדיף לנתב לפי קושי במקום לבחור מודל אחד להכול. 90 האחוזים מהקריאות שמודל של 60 נקודות עובר אינם זקוקים למודל של 65 נקודות.
היחס הנוסף שכדאי לקחת בחשבון הוא הזמן. Carbon משקיע 28.4 דקות למשימה ו-Fable 5.2 משקיע 46.8, כך שהמודל היקר יותר גם איטי פי 1.6 מקצה לקצה. בתור אסינכרוני זהו אילוץ תפוקה; בקריאה סינכרונית זה ההבדל בין ספינר לפסק זמן. הערות השחרור של Gemini 4 Carbon מכסות את מה שנשלח יחד עם המודל, ואם השאלה היא האם הוא מחליף את הדור הקודם של Gemini, Gemini 4 Carbon מול Gemini 3.1 Pro הוא ההשוואה הישירה.
מה שהבנצ'מרק אינו מכסה
אין במערך הזה מערך בדיקות סייבר או זיהוי פגיעויות. אם אתם מעריכים את Carbon לצורכי אבטחה — סריקה, מיון ויצירת תיקונים — תשע ההערכות האלה מספרות לכם על היכולות ההיסקיות שלו, ושום דבר על ה-recall שלו בפגיעויות אמיתיות. כך גם לגבי כתיבת קוד לטווח ארוך על מאגר קוד ספציפי, שאותו FrontierCode-AA מקרב אך אינו מחליף.
כמו כן, אין כאן מדידה של מה שקורה תחת עומס. שיעור השגיאות החי בתעבורת OrcaRouter עבור Carbon היה 39.7 אחוז בשבעת הימים האחרונים, לעומת 10.8 אחוז עבור Fable 5.2. רתמת בנצ'מרק מבצעת ניסיונות חוזרים וסופגת זאת; האפליקציה שלך צריכה להחליט כיצד.
לשחזר כל חלק מזה בתעבורה שלך
אינך יכול לשחזר את 64.7 השניות של AA בלי ה-harness של AA, ולא כדאי שתנסה: הדבר המועיל הוא למדוד את ה-p50 וה-p95 שלך ולהשוות אותם ל-6.89 ול-10.00 השניות שפרסם ה-gateway, כי זה אומר לך אם הפרומפטים שלך שגרתיים או קשים במיוחד. רשום את הזמן עד לטוקן הראשון, את מספר הטוקנים שיצאו, ואת מספר התגובות שאינן 2xx בכל נתיב. אם שיעור השגיאות שלך גבוה מ-39.7 האחוזים שה-gateway מדווח על פני כל הספקים, הבעיה היא בצד שלך של הבקשה.
איך להשתמש בזה בקבלת החלטה
אם העבודה שלך דומה לתשע ההערכות — משימות טרמינל, אוטומציה, מסמכים עם הקשרים ארוכים, מדע קשה — אז Carbon עם 60 ו-$2.70 blended היא בחירת הערך של קבוצת v5.0.1 הנוכחית, וזמן החשיבה של 64.7 שניות הוא עלות שאתה יכול לספוג על ידי הפיכת הקריאה לאסינכרונית. אם העבודה שלך אינטראקטיבית, אותו מודל עם p50 סמוך לשבע שניות דרך השער הוא אפשרות אחרת לגמרי, והמבחן הכנה הוא התעבורה שלך ולא מערכת הבדיקות של AA.
עבור העימות ראש בראש מול המודל שניצח אותו, Gemini 4 Carbon מול Claude Fable 5.1 מעמיד את השניים זה לצד זה, והשוואת תמחור ה-API של LLM מכסה היכן מחיר משולב של $2.70 עומד לעומת שאר הקטלוג. בדקו שוב את הגרסה בכל תרשים שבו תעשו שימוש חוזר: v5.0.1 היא קנה המידה היחיד שאליו שייך ה-60 הזה.
השוואות במאמר הזה2
זוהה מתוך המאמר הזה · בנצ'מרקים: Artificial Analysis · מתעדכן יומית
