כרטיס כותרת עם הכיתוב Gemini 4 Neon בראש Coding Agent Index, עם השורה ציון משולב של 58.64, ביתרון 0.17 על פני Claude Fable 5.2 — ו-4.2 מתוך יתרון הציון המשולב של 5.17 נקודות שלו על GPT-6.2 Astra מגיעים מרכיב יחיד, מעל שני כרטיסים עם הכיתוב 58.64 ב-Coding Agent Index v2.1 ו־+0.17 לעומת Claude Fable 5.2 (xhigh), ולצדם התווית xhigh · Antigravity CLI, ובתחתיתם: כל הנתונים לפי Artificial Analysis Coding Agent Index v2.1, נכון ל-19 בנובמבר 2026.
Guides & Insights

Gemini 4 Neon בראש מדד סוכני הקידוד עם 58.6 — הפער מול Claude Fable 5.2 הוא 0.17 נקודות, ורוב הפער מול GPT-6.2 Astra הוא בנצ'מרק אחד

מחבר

jinhao.song

תאריך פרסום

מודלים אחרונים · 20צפו בכל המודלים →
בנצ'מרקים: Artificial Analysis · מתעדכן יומית
חזרה לכל הפוסטים

G​emini 4 Neon מחזיק כעת במקום הראשון במדד Artificial Analysis Coding Agent Index עם 58.64, כאשר Claude Fable 5.2 עם 58.47 ו-GPT-6.2 Astra — שיצא ב-17 בנובמבר, יומיים לפני מדידה זו — עם 53.47. זו הטענה שמסתובבת, וכל מספר בה מתאים ללוח המובילים שפורסם. זו גם, בקריאה מדוקדקת, טענה על מסגרות הרצה לא פחות מאשר על מודלים: ה-58.64 של Neon נמדד בתוך Antigravity CLI של G​oogle עצמה, ה-58.47 של Fable 5.2 בתוך Claude Code, וה-53.47 של Astra בתוך Codex. שלוש מעבדות, שלושה סוכני מסוף, ציון משולב אחד שנבנה מ-396 ניסיונות ב-FrontierCode 2.0, 372 ניסיונות ב-SWE-Atlas-QnA ו-198 ניסיונות ב-Terminal-Bench 4.1 לכל שורה. הדירוג אמיתי. מה שהוא אומר עבור מאגר הקוד שלך צר יותר — ושימושי בהרבה — ממה שצילום מסך של לוח המובילים מרמז.

כל מה שלהלן נלקח מלוח המובילים הפומבי של סוכני קידוד ב-Artificial Analysis ב-19 בנובמבר 2026, בגרסת אינדקס v2.1. דבר מזה אינו טבלת הבנצ'מרקים של Google עצמה: הציון המשולב, שלושת ציוני הרכיבים, העלות לכל משימה וספירות הטוקנים נמדדים במעבדה, כל אחד מהם הורץ דרך סוכן הטרמינל של הספק עצמו. נתוני יום ההשקה של Google עבור Gemini 4 Neon — Chartography 73.5%, Terminal-Bench 4.1 ב-65.2%, FrontierCode 2.0 ב-46.2% — הם קבוצה נפרדת, כפי שדווחו על ידי הספק, ואינם המקור לשום נתון מדוד להלן, והם מסומנים ככאלה בכל מקום שבו הם מופיעים לצד אלה.

מה שהמדד למעשה סופר

Coding Agent Index אינו בוחן מודל בבידוד. כל שורה היא צמד של harness ומודל, והמספר הראשי הוא הממוצע המשוקלל באופן שווה של שלושה ציוני רכיבים: FrontierCode 2.0,‏ 132 משימות הנדסת תוכנה שנכתבו על ידי Cognition ויושמו על ידי Artificial Analysis; SWE-Atlas-QnA,‏ 124 משימות שאלות ותשובות טכניות מ-Scale AI כשהדירוג הותאם על ידי AA; ו-Terminal-Bench 4.1,‏ 66 משימות טרמינל סוכניות מהמכון Laude. כל רכיב הוא ציון הממוצע על פני שלושה ניסיונות לכל משימה. העמוד אינו מפרסם רווח סמך לאף אחד מאלה, וזה הדבר הראשון שכדאי לדעת לפני שמתייחסים לעשירית נקודה כעובדה לגבי יכולת.

The Artificial Analysis Coding Agent Benchmarks page, headed Artificial Analysis Coding Agent Benchmarks, with a panel defining the Artificial Analysis Coding Agent Index as the composite of three benchmarks — FrontierCode-AA 2.0 with 132 software engineering tasks by Cognition, Terminal-Bench 4.1 with 66 agentic terminal tasks by the Laude Institute and SWE-Atlas-QnA with 124 technical Q&A tasks by Scale AI — above three bar charts for Coding Agent Index v2.1, Time per Task and Cost per Task, each labelled No publicly available API.

ההסתייגות הזו חשובה כאן יותר מהרגיל, משום שראש הטבלה צפוף בצורה יוצאת דופן. מדורג לפי ציון משולב, לשתי ספרות אחרי הנקודה:

• G​emini 4 Neon (xhigh), Antigravity CLI — 58.64

• Claude Fable 5.2 (xhigh), Claude Code — 58.47

• Devin Fusion CLI, Claude Opus 5.5 מקסימלי + GPT-6 Luna גבוה — 58.40

• Claude Fable 5.2 (גבוה), Claude Code — 58.24

• Claude Opus 5.5 (max), Claude Code — 58.16

חמש תצורות בטווח של חצי נקודה, על פני שלושה ספקים ושלושה סוכנים שונים. מה שמבדיל ביניהן אינו נראה ברזולוציה הזו, ומאמר שמתאר את ראש הטבלה הזאת כתוצאה מכרעת מתאר עיגול כאות.

הפער בן חמש הנקודות הוא בעיקרו מדד אחד.

ההשוואה ל-GPT-6.2 Astra היא המקום שבו הכותרת נעשית מעניינת, כי פער משולב של חמש נקודות נשמע מבני ומתגלה כמרוכז ברכיב אחד בלבד. יש גם צורך בתיקון אחד מראש: נתון "שש נקודות קדימה" שנפוץ מאז ההשקה הוא מה שמקבלים כשמשווים את 58.64 של Neon מול Astra במצב high, שמקבל ציון 52.28 — 6.36 נקודות מאחור. מול התצורה הטובה ביותר של Astra, max עם 53.47, הפער הוא 5.17. שני המספרים על הלוח; הם מתארים הגדרות שונות של אותו מודל. הפרידו את צימוד ה-max:

• FrontierCode 2.0 — Neon (xhigh) 43.0 לעומת Astra (max) 41.7, פער של 1.3 נקודות על פני 132 משימות הנדסת תוכנה.

• Terminal-Bench 4.1 — Neon 65.2 לעומת Astra 63.6, פער של 1.6 נקודות across 66 משימות טרמינל.

• SWE-Atlas-QnA — Neon 67.7 לעומת Astra 55.1, פער של 12.6 נקודות ב-124 משימות שאלות ותשובות טכניות.

כ-ארבעה חמישים מההפרש המשולב נובעים מרכיב השאלות והתשובות, וזהו הרכיב שהכי פחות דומה למה שסוכן עושה כשהוא עורך מאגר קוד. SWE-Atlas-QnA מבקש מההרנס לענות על שאלות בנוגע לבסיס קוד. FrontierCode ו-Terminal-Bench מבקשים ממנו לשנות אחד כזה, או להפעיל מסוף עד שמשימה מסתיימת. בשתי קבוצות המשימות שדומות לעבודה אמיתית של סוכן, Gemini 4 Neon ו-GPT-6.2 Astra נמצאים במרחק של פחות משתי נקודות זה מזה — באותו סדר גודל כמו הפער בין חמש התצורות שבראש. בקבוצת המשימות שדומה לאחזור ולנימוק, Neon טוב יותר בשתים עשרה.

שתי הקריאות נכונות, וזו שמנבאת את החוויה שלך היא תכונה של עומס העבודה שלך ולא של טבלת המובילים. אם הסוכן שלך מבלה את יומו במענה על שאלות מעל בסיס קוד פרטי גדול, SWE-Atlas-QnA הוא המקור הקרוב ביותר בטבלה, ופער של שתים עשרה נקודות שווה לפעול לפיו. אם הוא מבלה את יומו בפתיחת בקשות משיכה, FrontierCode ו-Terminal-Bench הם המקורות הקרובים יותר, והמדד המשולב מגזים את ההבדל פי שלושה או ארבעה.

A two-column scoreboard titled Gemini 4 Neon vs GPT-6.2 Astra — the scoreboard. Gemini 4 Neon (xhigh, Antigravity CLI) reads Coding Agent Index 58.64, FrontierCode 2.0 43.0, Terminal-Bench 4.1 65.2, SWE-Atlas-QnA 67.7, Cost per task $6.86, Refusals 0. GPT-6.2 Astra (max, Codex) reads Coding Agent Index 53.47, FrontierCode 2.0 41.7, Terminal-Bench 4.1 63.6, SWE-Atlas-QnA 55.1, Cost per task $5.12, Refusals 8 hard stops. The footer says All figures per Artificial Analysis Coding Agent Index v2.1, read 19 November 2026.

העלות לכל משימה נעה בכיוון ההפוך

Artificial Analysis מדווח על עלות לצד ציון, ובכל הנוגע לעלות הסדר מתהפך. עלות ממוצעת למשימה על פני המדד המלא:

• G​emini 4 Neon (xhigh) — $6.86, 13.72M טוקני קלט ו-125.6k טוקני פלט, 177 צעדים, 30.5 דקות זמן קיר.

• Claude Fable 5.2 (xhigh) — $15.47, ‏9.55M טוקנים בקלט ו-207.4k טוקנים בפלט, 95 שלבים, 53.3 דקות.

• Claude Fable 5.2 (גבוה) — $7.51, 5.02M טוקני קלט ו-94.1k טוקני פלט, 55 צעדים, 31.3 דקות.

• GPT-6.2 Astra (max) — $5.12, 4.62M טוקני קלט ו-43.0k טוקני פלט, 51 שלבים, 25.1 דקות.

• Gemini 4 Carbon (high) — 9.75$, 15.31M אסימוני קלט ו-120.5k אסימוני פלט, 186 שלבים, 33.6 דקות.

שלושה דברים נובעים מכך. ראשית, Neon זול פי 2.3 לכל משימה מ-Fable 5.2 בהגדרה שבה נמדדת שורת Fable, ומסיים ב-30.5 דקות לעומת 53.3. שנית, Neon אינו זול במונחים מוחלטים: במחיר של $6.86 הוא עולה 34% יותר לכל משימה מאשר תצורת GPT-6.2 Astra שאותה הוא מנצח, ו-30% פחות מאשר ה-Gemini 4 Carbon, המודל האחי שלו, שאותו הוא מנצח ב-3.2 נקודות מורכבות — כך שמול Carbon המקרה חד-משמעי בשני הצירים, ומול Astra מדובר בחילוף ישיר של דולרים תמורת ניקוד. שלישית, פרופיל הטוקנים מסביר את המחיר. Neon שורף 13.72M טוקני קלט ו-177 צעדים לכל משימה לעומת 9.55M ו-95 של Fable 5.2: כ-44% יותר קלט ו-86% יותר קריאות לכלים עבור תוצאה שמובילה ב-0.17 נקודות. שיעורי פגיעות המטמון נעים בין 94% ל-96% בכל שורה לעיל, כך שזה אינו תוצר לוואי של מטמון — אלא שהמודל מבצע יותר צעדים קטנים יותר.

חומר ההשקה של Google טוען ש-Gemini 4 Neon בהגדרת ברירת המחדל high שלו עולה 32% פחות לכל משימה מאשר Gemini 4 Carbon. זהו נתון מטעם הספק, והלוח הזה אינו משחזר אותו. שורת Neon היחידה שמפורסמת כאן היא xhigh, ב-$6.86 לעומת $9.75 של Carbon — חיסכון של 30%, קרוב לנתון הספק, אך נמדד בהגדרת החשיבה העמוקה ביותר מבין ארבע ההגדרות של Neon ולא בברירת המחדל שהטענה מתארת. יש לראות את הכיוון כנתמך ואת המספר המדויק כלא מאומת עד ששורת high קיימת.

ההגדרה משנה את הציון יותר מאשר המודל

הדבר השימושי ביותר בלוח הזה אינו הדירוג. אלא העובדה ש-Claude Fable 5.2 מופיע חמש פעמים, באותו הרנס, בחמש רמות חשיבה, והציונים שלו עומדים על 47.96 נמוך, 53.04 בינוני, 58.24 גבוה, 58.47 xhigh ו-55.74 מקסימום — טווח של 10.5 נקודות שמקורו בפרמטר. GPT-6.2 Astra מופיע חמש פעמים ב-Codex ונע בין 35.58 נמוך ל-53.47 מקסימום, טווח של 17.9 נקודות על פני אותו סוג של מתג.

הציבו את הטווחים האלה מול הפערים שהכותרות עוסקות בהם. הפער בין Astra בנמוך לבין Astra במקסימום הוא פי 3.5 מהפער בין Neon ל-Astra בהגדרות הטובות ביותר שלהם, ופי 5.6 מהפער בין Neon ל-Carbon. הפער של 10.5 נקודות בתוך Fable 5.2 לבדו הוא יותר מפי שניים מכל המרחק מהמקום הראשון של Neon ועד המקום העשירי של Astra. בחירת מודל לפי מספר אחד למודל היא בחירה לפי המשתנה הקטן ביותר בעמוד; רמת המאמץ שתעבירו והסוכן שתעטפו סביבו מזיזים את התוצאה יותר מהלוגו על הקופסה.

זה גם מחייב סייג בניסוח "עקף את Fable 5.2". הנתון 58.64 של Neon נמדד ברמת xhigh בתוך Antigravity CLI, וזו התצורה היחידה של Neon בלוח — אין שורה של high, כך שאיש מחוץ ל-G​oogle עדיין לא יכול לומר מה עולה ברירת המחדל של Neon בניקוד או בדולרים. הפער של 0.17 נקודות של Fable 5.2 נשמר בxhigh שלה, ובאופן צר יותר, בhigh שם היא משיגה 58.24 בעלות של 7.51 דולר למשימה. שני המספרים האלה נמצאים בטווח שהרנס שונה יכול באופן סביר להפוך, וזה לא ביקורת על Neon — זה מה שמשמעותו של פער של חצי נקודה בראש לוח בן 41 שורות.

מה בעצם חדש כאן

Gemini 4 Neon הגיע לזמינות כללית ב-18 בנובמבר 2026, יום לפני שנקרא לוח זה, במחיר של $3.00 למיליון טוקני קלט ו-$15.00 למיליון פלט עבור חלון הקשר של 1M טוקנים. הוא קנייני ובתמחור אחיד: אין חלון היכרות, אין שכבה חינמית, בניגוד ל-Gemini 4 Hydrogen. כרטיס התעריפים וציוני האינטליגנציה העצמאיים כוסו במקום אחר בבלוג הזה; מה שחדש הוא התוצאה האג'נטית הנמדדת הראשונה, והיא אומרת כמה דברים שפוסט ההשקה לא אמר.

פוסט ההשקה אכן אמר שהוא הגיע למקום הראשון במדד Artificial Analysis Coding Agent Index עם 58.6, ונתון זה הוא בדיוק מה שהלוח מפרסם, בתצורה המתוארת. מה שהפוסט לא אמר הוא שהפער מול התצורה הבאה הוא 0.17 נקודות, שרוב היתרון מול GPT-6.2 Astra מגיע מאחד משלושת הרכיבים, או שההרצה צרכה 13.72M אסימוני קלט לכל משימה. אלה החלקים שקורא שמחליט מה לפרוס צריך, והם קיימים רק בלוח.

עוד נתון שכדאי להחזיק לצד הניקוד: אפס סירובים. לאורך כל 966 הניסיונות בשורת Neon — 396 FrontierCode, 372 SWE-Atlas-QnA, 198 Terminal-Bench — Artificial Analysis רשמה אפס סירובי בטיחות ואפס מעברי גיבוי לספק. Fable 5.2 בxhigh רשם סירוב אחד ב-FrontierCode, 38 ב-SWE-Atlas-QnA ו-16 ב-Terminal-Bench; GPT-6.2 Astra בmax רשם 8 סירובים ב-SWE-Atlas-QnA, כולם עצירות קשות. סירוב אינו כשל ביכולת, אבל זו משימה שהסוכן לא השלים, ובתוך לולאת סוכן הוא מוצג כתקיעה ולא כתשובה שגויה. עבור סוכן שמכוון למאגרי קוד בסביבת ייצור, מודל שמשלים כל ניסיון הוא הבדל תפעולי שאף תצורה אחרת בלוח הזה לא משתווה לו.

מהן עלויות המעבר, ואיפה אנחנו משתלבים

אם המספרים של Neon מצדיקים ניסוי, השאלה המעשית היא מהי העלות ההנדסית של הניסוי. Neon לא נכלל בקטלוג שלנו: רשימת הדגמים של OrcaRouter כוללת google/gemini-4-carbon ו-google/gemini-4-argon ואין בה רשומת Neon נכון ל-19 בנובמבר, ולכן איננו יכולים לנתב אותו עבורך היום ולא נרמוז אחרת. גם GPT-6.2 Astra אינו בקטלוג. מה שכן יש לנו הוא anthropic/claude-fable-5.2 במחיר המחירון של Anthropic — $8.00 לקלט ו-$40.00 לפלט למיליון, בתוספת openai/gpt-6-astra המוקדם יותר — GPT-6 Astra, דגם מספטמבר ושורה אחרת בלוח הזה — ב-$10.00 ו-$50.00. שניהם יושבים על אותו מפתח במחיר המחירון של הספק עם 0% תוספת, מה שאומר שאפשר להריץ מחדש את החישוב שלמעלה מול התעבורה שלך בלי חוזה נוסף.

The OrcaRouter model page for Claude Fable 5.2, showing the model identifier anthropic/claude-fable-5.2, a 1M-token context window, a maximum output of 128K tokens, multimodal input across text, image and file, capability chips for vision, tools, JSON and reasoning, the line by Anthropic · 2026-11-09, a p50 time to first token of 5.52 seconds, and a price row reading $8.00 input and $40.00 output per million tokens with 33.5M tokens of traffic over seven days.

מה שהכי חשוב בלוח כה צמוד הוא התחלופה. שלוש מחמש התצורות המובילות משתמשות במודל שיצא בעשרת הימים האחרונים, והדירוג זז בכל פעם שאחד מהם נכנס. מסלול ייצור שמרותך לשורה שנמצאת ראשונה היום נבנה מחדש כשהמודל הבא יוצא, ולכן החלטת הניתוב צריכה לשבת מחוץ לקוד. עם נקודת קצה אחת וכלל ניתוב, מודל מועמד הוא שינוי תצורה ולא מיגרציה, ומעבר אוטומטי בעת כשל מאפשר למודל לא מוכח לשבת מאחורי מודל מוכח ולקלוט נתח מהתעבורה בלי לסכן את המסלול הראשי.

לשני המודלים שאנחנו כן מספקים, העברת העלות היא פשוטו כמשמעו: כשאנתרופיק או OpenAI משנות תעריף, המספר בחשבונית שלנו משתנה באותו יום, בלי שום תוספת מעליו. זהו הבסיס ההוגן להשוואת העלויות שלעיל — תמחרו מחדש את שני הצדדים לפי מה שבאמת ייגבה מכם, ולא לפי נתון מהודעת השקה.

מי צריך לפעול בנידון, ואיך

הלוח תומך בשלוש החלטות שונות בהתאם למה שמריצים, והן אינן אותה החלטה.

אם אתם מריצים סוכן שמשיב על שאלות על פני בסיס קוד פרטי גדול — עוזרי קליטה, כלים מסוג "היכן זה מיושם", מתכנני הגירה — הפער של SWE-Atlas-QnA הוא המספר שקובע, ו-67.7 לעומת 55.1 רחב מספיק כדי להצדיק ניסוי מדוד. תקצבו את xhigh כהגדרה, מכיוון שזו התצורה היחידה שמקבלת ניקוד, ואל תניחו שברירת המחדל מתפקדת באותו אופן.

אם אתה מפעיל סוכן שפותח בקשות משיכה ומפעיל מסוף, הסיכום הכנה הוא ש-Neon, ‏Fable 5.2, ‏Opus 5.5 וצימוד Devin Fusion נמצאים בתוך חצי נקודת ציון משולבת זה מזה ובתוך שלוש נקודות ב-Terminal-Bench, אף שציוני ה-FrontierCode שלהם פרוסים רחב יותר, מ-43.0 עד 49.2. אין כאן מקרה יכולת להחלפת משהו. יש מקרה עלות — Neon ב-$6.86 לעומת Fable 5.2 ב-$15.47 עבור אותו ציון — ומקרה תפעולי בשורת אפס הסירובים. אף אחד מהם אינו סיבה להעביר צינור עבודה פעיל השבוע.

אם אתם עדיין בוחרים הרנס, זה המקום שבו הראיות הן החזקות והפחות דו-משמעותיות ביותר. הפער בין רמות החשיבה בתוך מודל יחיד עולה בהרבה על הפער בין המודלים המובילים בהגדרות הטובות ביותר שלהם. שני אחרי צהריים שיוקדשו להרצת הסוכן שלכם בשתיים או שלוש רמות מאמץ יגידו לכם יותר על החשבון ועל שיעור ההצלחה שלכם מכל זמן שתבזבזו על קריאת לוח הדירוג הזה, כולל המאמר הזה.

מה כדאי לראות: שורת Neon בברירת המחדל הגבוהה שלה. עד שאחת תפורסם, המודל שמוביל את הטבלה נמדד בדיוק בתצורה אחת — והטענה של Google לעלות נמוכה ב-32% לכל משימה נוגעת להגדרה שאיש עדיין לא דירג.

השוואות במאמר הזה3

זוהה מתוך המאמר הזה · בנצ'מרקים: Artificial Analysis · מתעדכן יומית