החלטת Gemini 1 מול Kev: אלף שאלות בקריאה אחת, או מתכון שאפשר לאמן מחדש
- GoogleחדשGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 לכל 1M טוקנים · 202 tok/s
- AnthropicחדשAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 לכל 1M טוקנים · 99 tok/s
- orcaחדשOrca: OrcaC2 1.02026-11-0727 tok/s
- OrcaחדשOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 לכל 1M טוקנים · 120 tok/s
- OrcaחדשOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 לכל 1M טוקנים · 229 tok/s
- OrcaחדשOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 לכל 1M טוקנים · 42 tok/s
- OrcaחדשOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 לכל 1M טוקנים · 128 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 לכל 1M טוקנים · 58 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 לכל 1M טוקנים · 98 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 לכל 1M טוקנים · 40 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447אינטליגנציה
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 לכל 1M טוקנים · 127 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929אינטליגנציה
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 לכל 1M טוקנים · 106 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733אינטליגנציה
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740אינטליגנציה
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 לכל 1M טוקנים · 65 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955אינטליגנציה
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855אינטליגנציה
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 לכל 1M טוקנים · 392 tok/s
משפחת Kev של ג'ארד פלמר עלתה כ-$95 בזמן H100 ב-Modal לאימון, ועוד כשלושה סנטים של קריאות API עבור נתוני הערכה, והמתכון המלא נמצא במאגר. Gemini Decision 1 עולה כמו כל מה שמעבדת חזית מוציאה על מודל שהיא לא תתאר, ומה שמקבלים תמורת הכסף הוא סכמת בקשה: נקודת קצה אחת, עד 1,000 שאלות עם טיפוסים מול קלט יחיד של 262,144 טוקנים, הסתברויות מכוילות בחזרה, אפס טוקני פלט, $0.10 למיליון טוקני קלט. שימו את Kev לצידו וההשוואה היא ממש לא בין שני מודלים. היא בין מכשיר לניקוד באצווה לבין פיסת מכונה קטנה שאפשר לפרק.
אף אחד מהפרויקטים לא פרסם מספר שאפשר היה לדרג לפיו את השני, וזה הדבר הישר הראשון שיש לומר. גוגל לא פרסמה שום טבלת בנצ'מרקים עם Gemini Decision 1; כל נתון ביצועים בכתבה הזו מגיע מ-Artificial Analysis, שממקמת את המודל ב-66 ב-Decision Index v2.1. Kev לא מופיע בלוח הזה בכלל. מה ש-Kev מפרסמת במקום זה הוא הרנס, סט בדיקות נעול ושיעורי שגיאה משלה, ואי אפשר להחסיר אותם משום דבר.
הדבר ש-Gemini Decision 1 עושה ש-Kev לא מסוגל לעשות
התחל בפער היכולת, משום שהוא זה שקובע ארכיטקטורות ולא ציונים. Gemini Decision 1 מעריך עד 1,000 שאלות עצמאיות מול קלט משותף אחד במעבר קדימה יחיד. השאלות אינן יכולות לראות זו את זו, הוספה או הסרה של אחת אינה משנה את האחרות, והקלט המשותף מחויב פעם אחת.
הסעיף האחרון הזה הוא המוצר. כרטיס תמיכה שנבדק מול ארבעים כללי מדיניות הוא בקשה אחת, קריאה אחת של הכרטיס, ארבעים תשובות מכוילות. במודל לכל שאלה — וזה מה ש-Kev הוא, במובן שהראש מדרג כל אפשרות מול השאלה בשורה אחת — אותן ארבעים בדיקות הן ארבעים מעברים על המצב, בין אם מריצים אותן באצווה ובין אם לא. נתוני השירות של Kev עצמו ממחישים את העלות: 18.1 מילישניות לשש שאלות על מצב קצר ב-H100, 12.9 מילישניות כשהנתונים במטמון, ו-14.3 ג"ב בזיכרון. שש שאלות, לא אלף.
משטח הקלט שונה באותו אופן:
• מודאליות — Gemini Decision 1 קורא טקסט, תמונה, וידאו, אודיו ו-PDF; Kev קורא טקסט. הקלטת שיחה או טופס סרוק הם בעיית עיבוד מקדים עבור Kev וקלט מקורי עבור Gemini Decision 1.
• הקשר — 262,144 טוקנים עבור Gemini Decision 1 בסך הכול בקלט ובשאלות; Kev מספק עד 65,536 עם לפחות 8,192 לכל שאלה, אך מאמת רק עד 8,192, והכרטיס שלו מציין זאת.
• הימנעות — Gemini Decision 1 מחזיר הסתברויות המוגבלות לטווח 0.01–0.99 עם שדה ביטחון, כך שתשובה בעלת ביטחון נמוך נראית לעין בלי אפשרות נפרדת. Kev מחזיר softmax על האפשרויות שתספק, כלומר הימנעות היא כל אפשרות שתנקוב בשמה בתוספת סף שתגדיר.
• משקלים — אין עבור Gemini Decision 1; נקודת קצה מתארחת ב-Gemini Developer API ב-v1beta, עם מסלול חינמי של 200 בקשות לדקה ו-10,000 ליום. Apache-2.0 עבור Kev, עם מתאם LoRA בדרגה 16 על בסיס Qwen3.5 קפוא וראש מצביע, בגדלים 0.8B, 4B ו-9B.
הדבר שKev עושה אשר Gemini Decision 1 לא יכול לעשות
Kev מאפשר לך להחליף את המודל. לא לשנות לו את הפרומפט — אלא לאמן מחדש את התנהגות קבלת ההחלטות על התוויות שלך, תמורת סכום כסף שתוכל לרשום בדוח הוצאות.
המבנה צנוע במכוון: בסיס Qwen3.5 קפוא, מתאם rank-16 עם כ-33.8 מיליון פרמטרים ניתנים לאימון, וראש מצביע קטן שמדרג את טוקן הסגירה של כל אפשרות מול הטוקן האחרון של השאלה. מכיוון שהבסיס נשאר קפוא, העלות השולית של תחום החלטה חדש היא בגודל מתאם, לא בגודל מודל יסוד. אפשר להחזיק בסיס אחד בזיכרון ולהחליף מתאמים לפי תחום — צורת פריסה שאף נקודת קצה מתארחת לא מבטאת.
מה שKev מפרסם על עצמו ספציפי מספיק כדי להתווכח איתו, וזה נדיר יותר ממה שצריך להיות:
• Transfer-v4, נעול מחוץ לדומיין — דיוק 0.838, Brier 0.224, ECE 0.017.
• Breadth-v1, 14 מערכי נתונים שלא נכללו באימון, 3,089 שאלות — דיוק 0.690, ECE 0.029.
• Documents-v1 — 0.903. Hard-v1 — 0.803. MMLU-Pro עם עשר אפשרויות — 0.565.
• חשבון תאריכים — 0.65 ברמת דיוק של יום, שאותו ציין המחבר כאזור החלש ביותר, עם דגל preprocessor שהוצע כתיקון חלקי וללא טענה למדידה מחדש.
אלו המדידות של המחבר על מערך הבדיקה של המחבר עצמו, והכרטיס אומר שהכיול הוא טמפרטורה אחת בתוך ההתפלגות, ולכן הכיסוי נפגע מחוץ לתחום וסדר האפשרויות יכול להפוך תשובה. זו הערכה עצמית מהימנה, לא תוצאה שעברה ביקורת. זה עדיין מדד שאפשר לנסות לשחזר הלילה, וזה יותר ממה שאפשר לומר על רוב המספרים של ספקים בקטגוריה הזו.
מדוע שני המספרים על השולחן לעולם לא נפגשים
הפיתוי הוא להציב את דיוק ההעברה 0.838 של Kev לצד ה-66 של Gemini Decision 1 ולהכריז על מנצח. עמדו בפיתוי, משלוש סיבות.
הכלים מודדים דברים שונים. מדד Decision Index נותן ציון של דיוק פחות קנס Brier עבור הביטחון המיוחס לתשובה, כשהוא מצטבר על פני שש הערכות, ש-45% ממנו מבוסס על נתונים פרטיים. המספר transfer-v4 של Kev הוא דיוק פשוט על סט נעול שהמחבר הרכיב, כאשר Brier ו-ECE מדווחים לצידו ולא נכללים בנתון הראשי.
תמהילי המשימות אינם זהים. הרכיב הגדול ביותר במדד, AA-Paperclip ב-30%, הוא חמישה־עשר מענים של הכול-או-כלום לכל מסמך — צורה שמבחן documents-v1 של Kev's מתקרב אליה אך אינו משחזר אותה.
והמכנים שונים. ציון אינדקס הוא מדד מורכב משוקלל שבו הימנעות מתוגמלת; נתון דיוק הוא החלק של השאלות שבהן האפשרות בעלת ההסתברות הגבוהה ביותר הייתה נכונה. מודל יכול לגבור על אחר באחד ולהפסיד באחר בלי שאף אחד מהשניים טועה.
אז האמירה הניתנת להגנה היא צרה: Gemini Decision 1 נמצא באמצע הטבלה מבין מודלי החלטה מתארחים עם 66, תשיעי מתוך שמונה עשרה, עם מקום ראשון ברכיבי הידע ושיעור מעבר מסמכים של 33% בסגנון הכול-או-כלום; Kev הוא אדפטר בדרגת 4B שהמחבר שלו מדווח על כיול חזק בתוך התחום ואריתמטיקה חלשה של תאריכים. כל מי שאומר לך שאחד מהם טוב יותר משליך מעבר לנתונים.
מה העלות של הפעלה בפועל של כל אחד מהם
הכלכלה של Gemini Decision 1 קלה לחישוב וקשה לחיבה בהיקפים גדולים. במחיר של $0.10 למיליון טוקני קלט, Artificial Analysis מודדת $345 למיליון משימות — המודל היקר ביותר בחצי העליון של הטבלה, ללא context caching, ללא Batch API וללא inference מסוג Flex או Priority. קלט משותף שחוזר על עצמו נספר במלואו בכל בקשה. סריקה לילית של מיליון פניות קוראת מחדש את מסמך המדיניות מיליון פעמים.
הכלכלה של Kev היא בצורה ההפוכה: כמעט חינם לקריאה ברגע שה-GPU שולם, כשהעלות האמיתית נמצאת בשעות שאתה מבלה בבניית תוויות, באימון אדפטרים ובאימות שלהם. הנתון של Palmer, כ-$95, מכסה את ריצת האימון, לא את התיוג. אם כללי הניתוב שלך שונים מאלה של שופט גנרי — והם שונים — עלות התיוג הזו קונה לך את הדבר שאף מודל החלטות מתארח לא מוכר: מדרג שמקודד את המדיניות שלך במקום לקרב אותה.
יש עלות שלישית שמכריעה יותר פרויקטים מאשר המחיר: מהירות האיטרציה. המגבלות של Gemini Decision 1 מתועדות וקבועות, כך ששינוי התנהגות הוא שכתוב פרומפט והרצה מחדש של סט ההערכה שלכם. אצל Kev's מדובר באימון מחדש של מתאם, שזול מבחינת מחשוב ולא זול מבחינת תהליך. עבור צוות עם תחום אחד ונפח גבוה, האימון מחדש משתלם. עבור צוות עם שנים עשר תחומים ואין מהנדס ML, נקודת הקצה המתארחת מנצחת בשעות הנדסה אפילו ב-$345 למיליון משימות.
אם ה-pipeline סביב ההחלטה הוא המקום שבו אתה למעשה משקיע
OrcaRouter אינו מספק אף אחד משני המודלים. Kev הוא משקולות Apache-2.0 שאתם מריצים בעצמכם, ו-Gemini Decision 1 הוא נקודת קצה להסתברויות בלבד ב-API של Google עצמה — אף אחד מהם אינו יעד ל-chat-completions, ואנחנו לא מעמידים פנים אחרת. מודל ההחלטה בקטלוג שלנו הוא typesafe/jev-1.14 של TypeSafe, עם 66.23 באותו לוח תוצאות, עבור צוותים שרוצים קריאת ניקוד באותו מפתח כמו כל השאר.
החצי של ה-pipeline שאנחנו בנויים עבורו הוא זה שנמצא במעלה הזרם מן ההחלטה: יצירת התשובה המועמדת, כתיבת הרובריקה, סיכום הטיקט לפני שהוא מדורג. הקריאה הזו היא המקום שבו אתם מחליפים מודלים בתדירות הגבוהה ביותר ושבו חוזה עם ספק שני עולה הכי הרבה, והיא זו שרצה על פני endpoint יחיד עם יותר מ-200 מודלים עליו, מחיר המחירון של הספק מועבר במלואו ב-0% תוספת, ומעבר אוטומטי לגיבוי כשספק נחלש. אם אתם שוקלים את Kev מול מעריך תוצאות מתארח, הריצו את חצי הניסוח דרכנו והשאירו את החלטת הדירוג הפיכה — כך שהבחירה שתעשו היום לגבי מתאם ב-$95 לא תהיה מיגרציה בהמשך.
ההחלטה בין שתי ההחלטות
בחר ב-Gemini Decision 1 כאשר ההחלטה היא קלט אחד והרבה חוקים, כאשר הקלט הוא אודיו או וידאו או PDF, כאשר אלף בדיקות במעבר חיוב אחד משנות את מודל העלויות שלך, וכאשר אתה מסתפק בכך שתסמוך על כיול שלא התאמת בעצמך. קבל שאתה קונה קופסה שחורה בתמחור קלט של מעבדת חזית ללא הנחת אצווה.
בחר ב-Kev כאשר ההחלטה היא קלט אחד וכמה שאלות מוקלדות, כאשר הטקסט קצר מספיק כדי לאמת אותו בתוך 8,192 טוקנים, כאשר המדיניות שלך ספציפית מספיק כדי ששופט גנרי יקרב אותה באורח גרוע, וכאשר הבעלות על הארטיפקט חשובה יותר מהבעלות על נקודת הקצה. קבל שכעת אתה אחראי על הכיול, על חשבון התאריכים ועל הרגישות לסדר האפשרויות שהכרטיס מזהיר אותך לגביהם.
הדבר האחד שההשוואה הזו לא אמורה לעשות הוא לייצר טבלת ליגה. אין כלי משותף, אין מערך משימות משותף ואין שחזור של אף אחד מהמספרים בידי צד שלישי. מה שאתם יכולים לעשות השבוע הוא להעביר 200 פריטים מתויגים משלכם דרך שניהם ולהשוות שיעורי הצלחה ועקומות ביטחון — עבודת בוקר אחת שתספר לכם יותר מאשר עדכון לוח המובילים הבא.
השוואות במאמר הזה1
זוהה מתוך המאמר הזה · בנצ'מרקים: Artificial Analysis · מתעדכן יומית
