כרטיס השוואה שנוצר שכותרתו 'Gemini Decision 1 vs Drex Max v1.1', עם עמודה שמאלית עבור Gemini Decision 1 שמראה 66 במדד ההחלטות, $0.10 לכל 1M טוקני קלט, 1,000 שאלות לבקשה, שיעור מעבר מסמכים של 33% וקלט של טקסט, תמונה, אודיו, וידאו ו-PDF, ועמודה ימנית עבור Drex Max v1.1 שמראה 73, $0.03 לכל 1M טוקני קלט, 8 תמונות לבקשה, שיעור מעבר מסמכים של 63% וקלט של טקסט ותמונה בלבד.
Guides & Insights

Gemini Decision 1 מול Drex Max v1.1: שניהם קוראים 262K טוקנים, רק אחד סופר מסמכים

מחבר

Rowan Sterling

תאריך פרסום

מודלים אחרונים · 20צפו בכל המודלים →
בנצ'מרקים: Artificial Analysis · מתעדכן יומית
חזרה לכל הפוסטים

הצב את Gemini Decision 1 ו-Drex Max v1.1 זה לצד זה וגיליונות המפרט כמעט חופפים: שניהם מודלי קבלת החלטות, לשניהם חלון של 262,144 טוקנים, שניהם קוראים תמונות לצד טקסט, ושניהם מחזירים הסתברויות במקום פרוזה. הפער נפתח במקום אחד. ברכיב החלטות המסמך של Artificial Analysis Decision Index v2.1 — המבחן המשוקלל ב-30% שמבקש ממודל לחלץ חמש החלטות ועשר עובדות ממסמך צפוף אחד ולדייק בכל החמש-עשרה — Drex Max v1.1 עובר 63% מהמסמכים ו-Gemini Decision 1 עובר 33%. הרכיב הבודד הזה הוא רוב הסיבה לכך שאחד מקבל 73 והשני 66.

יתר ההבדל הוא אריתמטיקה שאפשר לפעול לפיה. Drex Max v1.1 עולה $0.03 למיליון טוקני קלט ו-Gemini Decision 1 עולה $0.10; עבור מיליון משימות זה $103 לעומת $345. ו-Gemini Decision 1 מכילה עד 1,000 שאלות בכל בקשה על גבי קלט משותף, בעוד Drex Max v1.1 מצפה למצב אחד עם קומץ שאלות מצורפות. איזה מהמספרים האלה יכריע את הבחירה שלך תלוי לחלוטין בשאלה אם ההחלטות שלך מגיעות מסמך אחד בכל פעם או ארבעים כללים בכל פעם.

שתי צורות שונות של אותו רעיון

שני המודלים מסרבים ליצור טקסט, ושניהם חולקים תכונה אחת שחשובה למידול עלויות: הקלט נקרא פעם אחת וכל שאלה נמדדת מולו. היכן שהם נבדלים הוא במה שהם מאפשרים לך לשים בקלט הזה.

• סוגי תשובות — Drex Max v1.1 מציעה בחירה, noul וניקוד, מבנה הבקשה ש-Jev מ-TypeSafe הגדיר ושאומץ על ידי Nace. Gemini Decision 1 מציעה את אותם שלושה, עם 2 עד 255 אפשרויות בבחירה ו-2 עד 255 רמות רובריקה, כאשר מומלצים 2 עד 10.

• שאלות לכל קריאה — עד 1,000 עבור Gemini Decision 1, כשכל אחת מוערכת באופן עצמאי במעבר אחד, עם מפתחות שאתה מספק; קומץ לכל מצב עבור Drex Max v1.1, שבו יחידת העבודה היא פריט אחד והשאלות שלו.

• מודאליות — Gemini Decision 1 מקבל טקסט, תמונה, וידאו, אודיו ו-PDF; Drex Max v1.1 מקבל טקסט ועד שמונה תמונות בכל בקשה. אף אחד מהם אינו מקבל מדיה בתוך הוראות השאלה; ב-Gemini Decision 1 זוהי מגבלה מתועדת, ושם המדיה שייכת לקלט המשותף.

• חלון — 262,144 טוקנים עבור Gemini Decision 1 על פני קלט משותף וכל השאלות יחד; Drex Max v1.1 מציין 131,072 טוקנים לכל שאלה, כאשר טוקנים של תמונות נספרים בתוך זה, ותקרת בקשה דחוסה של 262,144.

• חיוב — Gemini Decision 1 גובה $0.10 למיליון אסימוני קלט ומחייב מחדש במפורש את מלוא הקלט המשותף החוזר, ללא מטמון וללא Batch API. Drex Max v1.1 גובה $0.03 למיליון אסימוני קלט, תעריף שנאס חצה כאשר vv1.1 החליף את v1 במקומו.

• גישה — Gemini Decision 1 ב-Gemini Developer API בגרסת v1beta, עם מסלול חינמי ובקשות יומיות ללא הגבלה מ-Tier 2. Drex Max v1.1 מתארח אצל Nace.AI בכתובת POST /v1/systemone, ללא checkpoint שניתן להורדה.

קראו את הרשימה הזו כמשפט אחד: Drex Max v1.1 בנוי עבור מסך או עמוד ועבור כמה שיפוטים לגביו, ו-Gemini Decision 1 בנוי עבור הקשר גדול וספר חוקים גדול. תקרת 1,000 השאלות אינה קישוט בגיליון מפרט. זה ההבדל בין מודל שאתה קורא לו ארבעים פעמים בכל בקשה לבין מודל שאתה קורא לו פעם אחת.

מאיפה בעצם מגיע הפער של 6.6 נקודות

ה-Decision Index נותן משקל לשש הערכות, ושני המודלים הורצו על כל שש ההערכות. הצבת הרכיבים שלהם זה מול זה מספקת יותר מידע מאשר הציון המשולב:

• AA-Paperclip, 30% — Drex Max v1.1 72.8, Gemini Decision 1 56.8. חמש עשרה תשובות לכל מסמך, הכול או כלום. זהו פער של שש עשרה נקודות שמכריע את הדירוג.

• EvalSafe-O*NET-AA, 15% — 88.3 לעומת 87.1. תיקו למעשה.

• When2Call, 10% — 95.3 לעומת 80.5. Drex Max v1.1 נמצא במקום השני בשדה הזה; Gemini Decision 1 נמצא במקום הארבעה־עשר מתוך שמונה־עשר.

• AA-Omniscience-Decision v1.1, 15% — 60.3 לעומת 66.3. Gemini Decision 1 מנצח בקטגוריה הזו, והדיוק הגולמי שלו של 44.8% הוא הגבוה ביותר מכל מודל החלטה בלוח.

• HLE-MultiChoice v1.1, 15% — 46.6 לעומת 48.7. צמוד, שניהם קרובים לצמרת, ושניהם עם דיוק גולמי חד-ספרתי.

• AA-Symmetry v1.1, 15% — 79.8 לעומת 70.5. Drex Max v1.1 שומר על תשובתו תחת שינוי סדר ושלילה ב-53.3% מהמקרים; Gemini Decision 1, 38.3%.

A generated two-column scoreboard headed 'Where the 6.6 points come from', pairing Gemini Decision 1 and Drex Max v1.1 across all six components: AA-Paperclip at 30% 56.8 against 72.8, EvalSafe at 15% 87.1 against 88.3, When2Call at 10% 80.5 against 95.3, AA-Omniscience at 15% 66.3 against 60.3, HLE-MultiChoice at 15% 48.7 against 46.6 and AA-Symmetry at 15% 70.5 against 79.8, with a footer crediting all six figures to the Artificial Analysis Decision Index v2.1.

הדפוס עקבי. Drex Max v1.1 מנצח בשני הרכיבים שבוחנים אם החלטה ניתנת לחזרה ומוצקה מבחינה מבנית. Gemini Decision 1 מנצח בשניים שבוחנים אם הוא יודע דברים ויודע מתי אינו יודע. שניהם מוצרים מוצדקים; הם עונים על שאלות שונות לגבי לשם מה נועד מודל החלטות.

הסתייגות אחת לגבי הנתון של Drex: ה-103 דולרים למיליון משימות שמדווחת Artificial Analysis משקפים מחיר השקה זמני, והדירקטוריון מציין בהערת שוליים שהמחיר הרגיל יכפיל את העלות. במחיר מחירון, Drex Max v1.1 עומד על קרוב ל-206 דולרים למיליון משימות — עדיין הרבה מתחת ל-345 הדולרים של Gemini Decision 1, אך כבר לא שליש ממנו. ההשהיה נעה בכיוון ההפוך: 283 אלפיות השנייה למשימה עבור Drex Max v1.1 לעומת 211 עבור Gemini Decision 1, ושניהם איטיים יותר מהחציון בתחום, 209.

A screenshot of the Artificial Analysis page for Drex Max v1.1, showing the Decision Index of 73, 283 ms per task, $0.03 per 1M input tokens and $103 per 1M tasks, a 262k-token context window with text and image input, a Cost rank of 6 of 18, and a comparison summary describing it as among the leading decision models on the index, reasonably priced and notably slow.

בחר לפי צורת הבקשה שלך, לא לפי הציון

קח את Drex Max v1.1 אם ההחלטה שלך נוגעת לארטיפקט אחד עם תשובה שצריכה להחזיק מעמד. מיון תביעות ביטוח על גבי טופס סרוק, שליטה בסוכן מבוססת צילומי מסך שבה אותה החלטת לחיצה נשאלת מחדש לאחר רינדור מחדש, סקירת חוזים שבה היפוך כן/לא הוא טעות ממשית. שיעור המעבר של 63% במסמכים ושיעור המעבר של 53.3% בסימטריה הם המספרים שמחזירים את עצמם שם, ו-$0.03 למיליון טוקני קלט הופכים את טיעון הנפח לקל.

בחר ב-Gemini Decision 1 אם ההחלטה שלך היא ספר חוקים שמוחל על קלט אחד, או אם הקלט אינו טקסט ותמונות. ארבעים בדיקות מדיניות על פניית תמיכה בקריאה אחת הן עומס עבודה ש-Gemini Decision 1 תועד עבורו ו-Drex Max v1.1 לא — ואם הקלט הוא הקלטת שיחה או PDF, רק אחד מהשניים יכול לקרוא אותו. התיעוד של Google מפרט ארבע עשרה יכולות שאינן נתמכות לצד היכולת האחת שהיא תומכת בה, כך שקל לאמת את ההתאמה לפני שאתה מתחייב: החלטות מכויילות, כל השאר כבוי.

לא לבחור באף אחד מהם, ובכל זאת, אם ההחלטה תלויה בעלות בקנה מידה. ל-Gemini Decision 1 אין Batch API ואין context caching, כלומר סריקה לילית של מיליון פניות היסטוריות מחויבת בתעריף מלא כשמסמך המדיניות נקרא מחדש בכל פעם. תמחור ההשקה של Drex Max v1.1 הוא זמני. אף אחד מהמוצרים אינו מציע כיום את מבנה ההנחות שהופך מילוי היסטורי לזול, וזה יהיה חשוב יותר משש נקודות אינדקס למי שמחשב את המספר על שנה של פניות.

הרצת שניהם ללא חוזה שני

OrcaRouter אינו כולל אף אחד משני אלה. שניהם נקודות קצה של הסתברויות בלבד ולא יעדי chat-completions, ואנחנו אומרים זאת במקום לרמוז אחרת — הרישום של מודל ההחלטות בקטלוג הוא typesafe/jev-1.14 של TypeSafe, שנמצא ב-66.23 באותו לוח בין שני המודלים בקטע הזה.

מה שבאמת עולה לך מתחרות השוואה (bake-off) הוא החלק שלעולם אינו מופיע בבנצ'מרק: שני SDKs, שני סיפורי ניהול מפתחות, שתי מערכות של מגבלות קצב שצריך לשקול. זו הסיבה שהחצי הגנרטיבי של צינור החלטה צריך לשבת מאחורי ראוטר גם כשהחצי של הניקוד לא יכול. הקריאה שמנסחת את התשובה המועמדת, כותבת את הרובריקה, או מפיקה את הסיכום שנמדד היא בדיוק הקריאה שבה תרצה להחליף ספקים בתוך אחר צהריים — נקודת קצה אחת, יותר מ-200 מודלים, מחיר המחירון של הספק מועבר בתוספת 0%, ומעבר אוטומטי (failover) כשספק נחלש. כוון את קריאת הניקוד ישירות אל Google או אל Nace ושמור על קריאת הכתיבה ניידת. המודל שאתה לא יכול לנתב הוא החלק הזול; המודל שאתה כן יכול הוא זה שתרצה לשנות.

A screenshot of the Artificial Analysis Decision Index v2.1 methodology page, showing that AA-Paperclip carries 30% of the composite against 15% for each of EvalSafe-O*NET-AA, AA-Omniscience-Decision v1.1, HLE-MultiChoice v1.1 and AA-Symmetry v1.1 and 10% for When2Call, with AA-Paperclip described as 1,500 resumes, receipts, invoices and research papers each scored as one document decision.

אם בכל זאת תבדקו את שניהם על התוויות שלכם — וזה מה שכדאי לעשות, כי אף אחד מהספקים לא מפרסם עקומת כיול על הנתונים שלכם — הריצו אותם על אותם 200 מסמכים עם אותה קבוצת שאלות והשוו את שיעור המעבר, לא את האינדקס. הפער של 30 הנקודות של הלוח ב-Paperclip הוא פריור חזק. הוא אינו מדידה של המסמכים שלכם.