כרטיס חדשות שנוצר עם הכותרת 'סיפור לקוח אחד, שני מודלים, אפס מספרים', עם שלושה תגים בנוסח 'GPT-6.1 Sol: מסלול ייצור', 'GPT-6 Astra: דוכן דמו' ו'מספרים שפורסמו בכתבה: אין', והלוגו של OrcaRouter בפינה הימנית התחתונה.
Guides & Insights

הסיפור של DevRev על GPT-6.1 Sol הוא למעשה סיפור על היכן ש-GPT-6 Astra אינו נמצא.

מחבר

Alistair Wren

תאריך פרסום

מודלים אחרונים · 20צפו בכל המודלים →
בנצ'מרקים: Artificial Analysis · מתעדכן יומית
חזרה לכל הפוסטים

OpenAI פרסמה השבוע סיפור לקוח בשם "DevRev מספקת שירות עצמי אוטונומי עם GPT-6.1 Sol", והמשפט המאלף ביותר בו אינו עוסק ב-GPT-6.1 Sol בכלל. זה המשפט שבו נאמר שמהנדסי המכירות של DevRev משתמשים ב-GPT-6 Astra כדי לבנות הדגמות לדוכנים בכנסים. מנהל הטכנולוגיה הראשי של DevRev, אחמד בשיר, מתאר חברה שפיצלה את מערך המודלים שלה לשניים: המודל בדרג הביניים נושא את מסלול התמיכה בייצור, ומודל החזית נושא את הדבר שמועמד מסתכל עליו תשעים שניות. זהו פיסת ראיות שימושית יותר מכל מדד ביצועים בפוסט, משום שמדובר בהחלטת פריסה שקיבל מי שיש לו חשבון לשלם.

התזמון חשוב. GPT-6.1 Sol הושק ב-29 בספטמבר 2026 ב-DevDay, שבוע אחרי GPT-6 Sol, במחיר של 2.00 דולר למיליון אסימוני קלט ו-10.00 דולר למיליון אסימוני פלט. התיעוד של DevRev עצמה על השותפות עם OpenAI נושא חותמת עדכון מ-2 בנובמבר 2026, וסיפור הלקוח הוא הפעם הראשונה שבה שירות ייצור מזוהה בשמו מציב את דגם הביניים, ולא את הדגם המוביל, במסלול הפונה ללקוח. זו אינה השקה. זהו הסימוכין הראשון מהעבודה בשטח.

מה DevRev למעשה מריצה

DevRev בונה שני מוצרים על אותה תשתית. Computer הוא חבר הצוות ה-AI שעונה ופועל על פני נתוני העסק; Operator הוא הסוכן שמבצע פעולה מאושרת או מנתב בקשה לאדם הנכון. לשניהם דרושים אותם שלושה דברים לפני שמאפשרים למודל להתקרב ללקוח: הקשר חברה, הרשאות שמתאימות לתפקידו של אדם, ופעולות שניתן לבטל. המודל מספק הסקה, תכנון ובחירת כלים. ה-harness של DevRev מספק את השאר, ו-Agent Studio הוא המקום שבו לקוח מתאר בשיחה כיצד כלי אמור להתנהג, ואז מקבע את החלקים שאסור שישתנו באמצעות כללים קבועים.

שני מאפיינים בסיפור שווים יותר מהשבחים. פעולות ניתנות להפיכה. תשובות מציינות את מקורותיהן. אלו הם שני אופני הכשל שמונעים מארגוני enterprise לאפשר לסוכן לסגור קריאה, ו-DevRev טוענת ששניהם התנהגות מוצר ולא התנהגות מודל. אם אתם בוחנים סוכן שירות עצמי כלשהו, אלו השאלות שכדאי לשאול, ואף טבלת דירוג לא עונה עליהן.

המספר שיוצמד לסיפור הזה הוא מיולי, והוא לא קשור לסול

חפשו סיקור של DevRev ו-OpenAI ותמצאו צמד נתונים בולט: מדויק יותר ב-48%, ופי 4.4 פחות טוקנים לכל תגובה נכונה. הם אמיתיים, הם פורסמו, ואין להם שום קשר ל-GPT-6.1 Sol.

הנתונים האלה מגיעים מהודעה שפורסמה ב-9 ביולי 2026, שבה הוכרז Enterprise-Bench, בנצ'מרק פתוח לסוכנים ארגוניים ש-DevRev בנתה עם Laude Institute ופרסמה על Harbor harness. בהשוואה הזו, Computer של DevRev השיגה 94.3% לעומת 63.6% במערך הנתונים XL, והשתמשה בכ-5,598 טוקנים לכל תגובה נכונה לעומת 24,461. ההשוואה הייתה במפורש harness מול harness, כששתי המערכות מריצות את אותו מודל בסיס. DevRev ייחסה את הפער לארכיטקטורת האחזור והזיכרון המשותף שלה, ולא למודל שמתחת. היא גם נבחנה מול Claude Code, ולא מול משהו ש-OpenAI השיקה בספטמבר.

סיפור הלקוח של OpenAI מזכיר את Enterprise-Bench, ובאשיר אומר ש-GPT-6.1 Sol מתפקד היטב בו. זו אמירה איכותנית. לא ניתן ציון, לא פלח מערך נתונים, לא השוואה. כל מי שמלחים את מספרי יולי לסיפור של נובמבר מודד דבר אחר על מודל אחר ברבעון אחר. הקריאה הכנה היא צרה יותר ועדיין מעניינת: ל-DevRev יש בנצ'מרק שהיא בנתה בדיוק עבור ההחלטה הזו, והיא בחרה שלא לפרסם בו שורת Sol.

מה שהסיפור לא אומר

אין שיעור פתרון, אין היקף פניות, אין אחוזון השהיה, אין ספירת טוקנים ואין מחיר בפוסט של OpenAI. עבור סיפור לקוח על שירות עצמי אוטונומי, זה אומר שכל לוח התוצאות חסר.

הנתון הפומבי הקרוב ביותר הוא הוכחת ההיתכנות BILL של DevRev, שבה BILL דיווחה על שיעור פתרון של 70% באמצעות AI בשאלות לקוחות אמיתיות, תוך שימוש בהערכה שלה עצמה. החומרים של DevRev מזכירים גם צמצום של 77% בטוקנים וירידה מכ-9 דקות לכ-1.5 דקות בשאלות מרובות-שלבים, כפי שנמדד ביחס לגישה הקודמת שלה. אלה מדווחים על ידי הספק ואינם משוחזרים, ואף אחד מהם אינו קשור לדור המודל שנמצא כעת בייצור. התייחס אליהם כאל צורת הטענה, לא לגודלה.

A generated scoreboard titled 'DevRev: what is measured, and what is claimed', with a July column showing 94.3% versus 63.6% accuracy and 5,598 versus 24,461 tokens per answer measured on the Opus 4.8 family, a November column showing no published accuracy, token or resolution figures alongside $2.00/$10.00 for GPT-6.1 Sol and $10.00/$50.00 for GPT-6 Astra, and a takeaway line noting that the July figures measure a harness against a harness.

האילוץ של בשיר עצמו הוא זה שיש להחזיק בו: "הדברים האלה חייבים להיות מסוגלים לרוץ ולהשלים את עצמם בשניות, לא בדקות." אינטראקציית תמיכה שלוקחת עשרים דקות של הסקה אינה שירות עצמי, יהיה הציון שלה אשר יהיה. המשפט הזה מסביר את בחירת המודל טוב יותר מכל טבלת בנצ'מרקים.

החשבון שדלפק תמיכה יכול לבדוק

קחו פנייה שגרתית: 20,000 טוקני קלט של הקשר שנשלף, 2,000 טוקני פלט כולל חשיבה. לפי מחיר המחירון של GPT-6.1 Sol מדובר ב-$0.04 עבור קלט ו-$0.02 עבור פלט, כלומר כ-שישה סנטים. אותה בקשה ב-GPT-6 Astra, במחיר של $10.00 לקלט ו-$50.00 לפלט, היא $0.20 ועוד $0.10, או כ-שלושים סנטים. אותה משימה, חשבון גבוה פי חמישה.

שישה סנט הם רצפה ולא תחזית. טוקנים של חשיבה מחויבים כפלט, ניסיונות חוזרים מחויבים פעמיים, וכל לופ של כלים מכפיל את שניהם. אבל היחס הוא העיקר, והוא שורד את כל שלוש ההסתייגויות. גם נתוני העלות שדווחו על ידי הספק של OpenAI עצמה מצביעים לאותו כיוון: ב-Terminal-Bench Science 0.1, OpenAI העמידה את GPT-6.1 Sol על $5.47 למשימה לעומת $23.80 עבור GPT-6 Astra ו-$23.21 עבור Claude Opus 5.5, כאשר Sol השיגה 57.02% במאמץ מקסימלי לעומת 68.1% של Astra. אתה קונה אחת עשרה נקודות יכולת תמורת פי ארבעה כסף, ובמרכזיית תמיכה הנקודה האחת עשרה היא בדרך כלל פרפרזה טובה יותר, לא פנייה שנפתרה.

זהו החישוב שמודל התמחור של OrcaRouter בנוי סביבו: מחיר המחירון של הספק מועבר הלאה ללא תוספת רווח, כך שתעריף כמו $2.00 ו-$10.00 הוא המספר שאתם משלמים, ושינוי מחיר של ספק נכנס לתוקף באותו יום ולא בחידוש החוזה הבא. שני המודלים יושבים מאחורי מפתח אחד, כלומר הפיצול ש-DevRev עשתה בארכיטקטורה שלה — מודל זול במסלול הנפח, מודל יקר במקום שבו התשובה היא המוצר — הוא החלטת ניתוב ולא רכש שני. עבור השלבים שבהם קריאת כלי שגויה יקרה, מעבר למודל חזק יותר ברמת בקשה בודדת הוא ההבדל בין אחר צהריים רע לשבוע רע.

A screenshot of the OrcaRouter model page for openai/gpt-6.1-sol, dated 2026-09-29, showing a 1M-token context window, 128K maximum output, $2.00 input and $10.00 output per million tokens, a 937 ms median time to first token, an 8.99 s p95, and 382.0M tokens of seven-day traffic.

למה המודל הבינוני זוכה למסלול הייצור

האינסטינקט הוא לקרוא את זה כסיפור עלות. זה חלקית סיפור של השהיה. GPT-6.1 Sol פועל עם חשיבה תמידית מופעלת בחמש רמות מאמץ, מ-low ועד max, כאשר ברירת המחדל היא medium, והוא אינו מקבל temperature או top_p כלל. זה מסיר את כפתור הכוונון שרוב הצוותים פונים אליו כשסוכן מרגיש איטי, ומשאיר את רמת המאמץ כמנגנון הוויסות. בין low ל-max, ההבדל בזמן עד לטוקן התשובה הראשון נמדד בדקות, לא במילישניות.

המספרים הבלתי־תלויים נמצאים במקום שבו הייתם מצפים ממודל במשבצת הזו. ב-Artificial Analysis Intelligence Index v5.0.1, GPT-6.1 Sol מקבל ציון 55 במאמץ מרבי, ב-56 טוקנים לשנייה, 1.27 דולר לכל משימת אינדקס שהושלמה ו-63.7 מיליון טוקני פלט לאורך הריצה. בטלמטריה שלנו בת שבעה ימים הוא מציג זמן חציוני של 937 אלפיות השנייה לטוקן הראשון, שיעור שגיאות של 5.7% ו-39.5 טוקני פלט לשנייה, וזהו סוג הפרופיל שאפשר לבנות עליו תהליך תמיכה: לא המודל המהיר ביותר הזמין, אבל צפוי מספיק כדי שאפשר יהיה להתאים את גודל התור סביבו.

A screenshot of the Artificial Analysis page for GPT-6.1 Sol at max effort, showing an Intelligence Index of 55, an output speed of 56 tokens per second, 20.3 minutes per index task, $1.27 cost per index task, 63.7M output tokens, and list pricing of $2.00 input and $10.00 output per million tokens.

חלון ההקשר הוא החצי השני של הבחירה. ב-1,050,000 טוקנים עם תקרת פלט של 128,000 טוקנים, תיק מקרה, ההיסטוריה שלו והידע שנשלף — כולם נכנסים בבקשה אחת. זה מה שמאפשר סוכן שמנמק "על פני נתונים חיים" בלי שכבת פיצול מתוחכמת — וזה החלק בגיליון המפרט שעליו באמת תלוי שיעור פתרון של 70%.

מה יהפוך את זה לחקר מקרה?

שלושה דברים יהפכו את זה מלוגו על עמוד לראיות שאפשר לתכנן לפיהן. שיעור פתרון מפורסם עבור Operator, על מערך נתונים בעל שם, כשלצידו שיעור ההסלמה לאדם. התפלגות השהיה ולא ממוצע, מפני ש-p95 הוא המקום שבו שירות עצמי נשבר. וניתוח אבלציה של Sol מול Astra על Enterprise-Bench, מאחר ש-DevRev כבר מחזיקה בהארנס וכבר הוכיחה שתפרסם תוצאות כשהן לטובת הארכיטקטורה שלה.

באשיר מצביע על שני דברים שהוא רוצה בהמשך: ה-Decisions API, עבור קריאות השיפוט הקטנות שיקר לקודד ככללים אך אינן דורשות הסקה עמוקה, ו-Ultrafast, שכבת המהירות פי 6 של OpenAI בתעריף של 12.00$ לקלט ו-60.00$ לפלט למיליון טוקנים, שניתן לרכוש מאז 8 באוקטובר. שניהם ניסיונות לקנות זמן תגובה בלי לקנות בינה — האינסטינקט הנכון לתור תמיכה וההפך ממה שרוב מפות הדרך של סוכנים רודפות אחריו.

הדפוס שכדאי לשים לב אליו אינו DevRev ספציפית. הוא שפריסת הייצור הראשונה שנקראה בשם GPT-6.1 Sol הציבה את המודל הזול במקום שבו נמצאים הלקוחות ואת המודל היקר במקום שבו נמצאים הלקוחות הפוטנציאליים. אם זה יהפוך לצורה הרגילה של מחסנית סוכנים ארגוניים — סוס עבודה במסלול הנפח, מוצר דגל להדגמה — אז השאלה המעניינת עבור כל ספק מפסיקה להיות איזה מודל הוא החכם ביותר, ומתחילה להיות באיזו נקיות אפשר להעביר בקשה ביניהם.

השוואות במאמר הזה2

זוהה מתוך המאמר הזה · בנצ'מרקים: Artificial Analysis · מתעדכן יומית