סקירת Gemini 4 Carbon: רביעי במדד, איטי במענה

Gemini 4 Carbon נמצא במקום הרביעי בלוח הדירוג העצמאי ומתומחר כמו דגם בדרגת ביניים, שילוב יוצא דופן לבחון אותו ביושר: עמוד ה-Gemini 4 Carbon API מציין $2.00 למיליון טוקני קלט ו-$10.00 למיליון טוקני פלט, בעוד שהציון שהוא מציג הוא 60 ב-Artificial Analysis Intelligence Index v5.0.1, הרביעי מבין 78 דגמים. השאלה שסקירה חייבת להשיב עליה אינה האם 60 הוא טוב. אלא מה אתה משלם בזמן קיר ובשיעור כשלים כדי להשיג אותו.

מה זה

מודל מולטימודלי במשפחת Gemini 4 של Google, עם חלון הקשר של 1,048,576 טוקנים ותקרת פלט של 65K. הוא קולט טקסט, תמונות, אודיו, וידאו ומסמכים ומחזיר טקסט, עם שימוש מקורי בכלים ופלט JSON מובנה. הוא עונה גם בנקודת הקצה התואמת ל-OpenAI וגם ב-API המקורי של Gemini בשם generateContent, ואפשרות Zero Data Retention זמינה.

מערך הפרמטרים אומר לך איזה סוג מודל הוא רוצה להיות: reasoning, include_reasoning, structured_outputs, tools, tool_choice, seed, temperature, top_p. יש seed ופורמט תגובה באותה רשימה, וזהו סימן ההיכר של מודל שממוצב לחילוץ ולפייפליינים אגנטיים ולא לכתיבה יצירתית.

הציון, והגרסה שעליה ניתן הציון

ה-60 אינו בר-השוואה למספרים ישנים יותר שתמצאו מצוטטים עבור דגמים אחרים, וזו השגיאה הנפוצה ביותר בהשוואות שפורסמו החודש. Intelligence Index v5.0.1 הוא סט הערכה שונה מזה של v4.3 ו-v4.3.2, לכן ציון v4.3 וציון v5.0.1 לא אמורים להופיע באותה טבלה. בתוך קבוצת v5.0.1, הציון 60 של Carbon מציב אותו במקום הרביעי מתוך 78, מאחורי Claude Fable 5.2 עם 65 ולפני כל השאר שקיבלו ציון מחדש.

תשע ההערכות שמאחורי המספר הזה הן AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset ו-Terminal-Bench-Science 0.1. זהו שילוב אג'נטי ומדעי — עבודה בטרמינל, אוטומציה, עיגון במסמכים, הסקה קשה — ולא שילוב של לוח דירוג לקוד. מודל יכול לקבל ציון טוב כאן ועדיין להיכשל בריפקטור בהיקף של מאגר קוד, לכן קראו את הפירוט לפני שתסיקו משהו לגבי מקרה השימוש שלכם.

החלק שהמספר בכותרת מסתיר

הזמן של Carbon עד לאסימון הראשון במערך הבדיקות AA הוא 64.7 שניות, במקום ה-69 מתוך 77 מודלים עם נתוני השהיה. זמן השעון הכולל למשימה הוא 28.4 דקות לאורך תשע ההערכות. מהירות הפלט ברגע שמתחיל לכתוב היא 72 אסימונים לשנייה, מה שאינו יוצא דופן אך אינו הבעיה; הבעיה היא זמן החשיבה לפני האסימון הראשון.

הרצת האינדקס מול Carbon עלתה$5.48 בהוצאות ספק, אשר בתעריף משוקלל של $2.70 למיליון טוקנים מהווים כמות גדולה של טוקנים למעבר בנצ'מרק אחד. AA מדווחת גם על פירוטיות של 2.69 אחוז לצד 205 מיליון טוקני פלט עבור ההרצה. אין לקרוא את האחוז כציון תמציתיות: Claude Fable 5.2 מציג 0.97 אחוז נמוך בהרבה עם כמות גבוהה יותר של 275 מיליון טוקני פלט, כך ששני הנתונים נעים באופן בלתי תלוי.

אם המחיר הוא הסיבה שאתם קוראים את זה, השוואת מחירי ה-API של LLM מציבה מחיר משוקלל של $2.70 למיליון לצד שאר הקטלוג, כולל המודלים שזולים ממנו ואלה שעולים פי כמה עבור ציון דומה.

דרך השער, המספרים נראים שונים

64.7 השניות של AA הן מערך בנצ'מרק המאפשר למודל לחשוב על בעיות קשות. בתעבורה החיה של OrcaRouter בשבעת הימים האחרונים, זמן p50 עד לאסימון הראשון עבור Carbon היה 6.89 שניות וה-p95 היה 10.00 שניות, עם 226 אסימוני פלט לשנייה על פני 9.6 מיליון אסימונים שנמסרו. שניהם נכונים. מוצר צ'אט רואה משהו קרוב למספר הראשון; שיבוט הערכת אצווה רואה משהו קרוב לשני.

הנתון שראוי ליותר תשומת לב משניהם הוא שיעור השגיאות: 39.7 אחוזים מהבקשות החזירו סטטוס שאינו 2xx בכל ספקי ה-upstream באותו חלון של שבעה ימים, לעומת 10.8 אחוזים אצל Claude Fable 5.2. יהיה אשר יהיה הגורם — קיבולת, מגבלות קצב, רוטציה בין ספקים — מוצר שקורא ל-Carbon בלי תקציב ניסיונות חוזרים ומודל גיבוי יציג למשתמשים כשלים בשיעור שאף תרשים בנצ'מרק לא חוזה. זו שאלת ניתוב, וזה הדבר היחיד שכדאי לבדוק לפני השבוע השני.

היכן שהוא שייך בקטלוג

לעומת אחיו, Carbon הוא החבר הרב-מודלי במשפחת Gemini 4 ולא החבר הזול: מחיר הקלט זהה ל-Gemini 3.1 Pro ועומד על $2.00, מחיר הפלט נמוך ב-$2.00, וההבדל המשמעותי הוא ש-Carbon קולט אודיו ווידאו בעוד 3.1 Pro קולט טקסט ותמונות. אם ה-pipeline שלך אף פעם לא נוגע בקובץ וידאו, אתה משלם עבור יכולת שלא תשתמש בה.

לעומת שאר התחום, ההחלטה בדרך כלל מצטמצמת לשתי שאלות. אם מדובר בבחירה פנים-גוגלית, Gemini 4 Carbon מול Gemini 3.1 Pro היא ההשוואה שקובעת. אם מדובר בין ספקים שונים, GPT-6.1 Sol מול Gemini 4 Carbon וClaude Opus 5.5 מול Gemini 4 Carbon מכסות את שתי החלופות הנפוצות ביותר, ולרשימת מודלי LLM יש את הקטלוג המלא אם אף אחד מהשניים אינו זה ששקלת.

פסק דין

Carbon זוכה במקום הרביעי ביחס יכולת לכל דולר של קלט, והיא זוכה בו באופן שמתאים לעבודה ארוכה, מולטימודלית ומובנית ולא לשיחה. העלויות שאינן מופיעות בטבלת המחירים הן שתי אלו שמכריעות אם זה יעבוד עבורך: 64.7 שניות של חשיבה לפני הטוקן הראשון במסגרת מערך בנצ'מרק, ושיעור שגיאות קרוב ל-40 אחוז בתעבורה חיה. עקף את שתיהן — שרשרת גיבוי, תקציב ניסיונות חוזרים ותור אסינכרוני לכל דבר שאינו אינטראקטיבי — ויחס המחירלציון באמת קשה להשתוות אליו. אם תציב אותו מאחורי ממשק משתמש סינכרוני בלי גיבוי, תסיק שהמודל גרוע ממה שהוא.