Сгенерированная новостная карточка с заголовком «Одна история клиента, две модели, ноль чисел» и тремя бейджами: «GPT-6.1 Sol: путь в продакшн», «GPT-6 Astra: демонстрационный стенд» и «Числа, опубликованные в истории: отсутствуют», а также логотип OrcaRouter в правом нижнем углу.
Guides & Insights

История DevRev о GPT-6.1 Sol — на самом деле история о том, где GPT-6 Astra отсутствует.

Автор

Alistair Wren

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

На этой неделе OpenAI опубликовала историю клиента под названием «DevRev обеспечивает автономное самообслуживание с помощью GPT-6.1 Sol», и самое информативное предложение в ней вовсе не о GPT-6.1 Sol. Это то предложение, где, как говорят, инженеры по продажам DevRev используют GPT-6 Astra для создания демонстраций для стендов на конференциях. Технический директор DevRev Ахмед Башир описывает компанию, разделившую свой парк моделей на две части: модель среднего уровня отвечает за путь поддержки в продакшене, а передовая модель отвечает за то, на что потенциальный клиент смотрит девяносто секунд. Это более полезное свидетельство, чем любой бенчмарк в публикации, потому что это решение о развёртывании, принятое человеком, которому нужно оплачивать счета.

Время имеет значение. GPT-6.1 Sol вышел 29 сентября 2026 года на DevDay, через неделю после GPT-6 Sol, по цене $2.00 за миллион входных токенов и $10.00 за миллион выходных токенов. Собственный материал DevRev о партнёрстве с OpenAI содержит отметку об обновлении от 2 ноября 2026 года, и история клиента — это первый случай, когда названный production-сервис использовал на клиентском направлении модель среднего уровня, а не флагманскую. Это не запуск. Это первый референс по внедрению.

Что DevRev на самом деле использует

DevRev создаёт два продукта на одной основе. Computer — это AI-тиммейт, который отвечает и действует на основе бизнес-данных; Operator — агент, который выполняет одобренное действие или направляет запрос нужному человеку. Обоим нужны три вещи, прежде чем модель допустят к работе с клиентом: контекст компании, права, соответствующие роли человека, и действия, которые можно отменить. Модель обеспечивает рассуждение, планирование и выбор инструментов. Остальное обеспечивает среда DevRev, а Agent Studio — это место, где клиент в ходе диалога описывает, как должен вести себя инструмент, а затем фиксирует те части, которые не должны меняться, с помощью жёстких правил.

Два свойства в этой истории важнее похвалы. Действия обратимы. Ответы содержат ссылки на источники. Это два режима отказа, которые мешают предприятиям позволять агенту закрывать тикет, и DevRev заявляет оба как поведение продукта, а не модели. Если вы оцениваете любого агента самообслуживания, именно эти вопросы стоит задавать, и ни один лидерборд на них не отвечает.

Цифра, которую привяжут к этой истории, — из июля, и она не о Sol.

Поищите публикации о DevRev и OpenAI, и вы найдёте поразительную пару цифр: на 48% точнее и в 4,4 раза меньше токенов на каждый правильный ответ. Они реальны, они опубликованы, и они не имеют никакого отношения к GPT-6.1 Sol.

Эти цифры взяты из релиза от 9 июля 2026 года, анонсирующего Enterprise-Bench — открытый бенчмарк для корпоративных агентов, созданный DevRev совместно с Laude Institute и опубликованный на харнессе Harbor. В этом сравнении Computer от DevRev набрала 94,3% против 63,6% на наборе данных XL и использовала примерно 5 598 токенов на один правильный ответ против 24 461. Сравнение было явно организовано как харнесс против харнесса, причём обе системы работали на одной и той же базовой модели. DevRev объяснила разрыв своей архитектурой поиска и разделяемой памяти, а не лежащей в основе моделью. Её также сравнили с Claude Code, а не с чем-либо, что OpenAI выпустила в сентябре.

В истории клиента OpenAI упоминается Enterprise-Bench, и Башир говорит, что GPT-6.1 Sol хорошо показывает себя на нём. Это качественное утверждение. Балл не приводится, срез набора данных не указан, сравнения нет. Тот, кто прикручивает июльские цифры к ноябрьской истории, измеряет нечто иное на другой модели в другом квартале. Честная интерпретация более узкая и всё же интересная: у DevRev есть бенчмарк, созданный именно для этого решения, и компания не стала публиковать в нём строку Sol.

О чём умалчивает история

В публикации OpenAI нет ни доли решённых обращений, ни объёма тикетов, ни процентиля задержки, ни количества токенов, ни цены. Для истории клиента об автономном самообслуживании это означает отсутствие всей таблицы результатов.

Ближайшая опубликованная цифра — концепция BILL от DevRev, где BILL сообщила о 70%-й доле разрешения с помощью ИИ по реальным запросам клиентов, используя собственную оценку. Материалы DevRev также упоминают сокращение числа токенов на 77% и снижение примерно с девяти минут до примерно 1,5 минуты на многошаговых вопросах по сравнению с собственным более ранним подходом. Эти данные заявлены вендором и не воспроизведены, и ни один из них не привязан к поколению модели, которое сейчас используется в продакшене. Воспринимайте их как форму утверждения, а не как его масштаб.

A generated scoreboard titled 'DevRev: what is measured, and what is claimed', with a July column showing 94.3% versus 63.6% accuracy and 5,598 versus 24,461 tokens per answer measured on the Opus 4.8 family, a November column showing no published accuracy, token or resolution figures alongside $2.00/$10.00 for GPT-6.1 Sol and $10.00/$50.00 for GPT-6 Astra, and a takeaway line noting that the July figures measure a harness against a harness.

Ограничение самого Башира — вот за что стоит держаться: «Эти штуки должны уметь запускаться и завершаться сами за секунды, а не за минуты». Взаимодействие со службой поддержки, на которое уходит двадцать минут рассуждений, — это не самообслуживание, каким бы ни был его балл. Эта фраза объясняет выбор модели лучше любой таблицы бенчмарков.

Арифметика, которую может проверить служба поддержки

Возьмём обычный тикет: 20 000 входных токенов извлечённого контекста и 2 000 выходных токенов, включая рассуждения. По прайс-листу GPT-6.1 Sol это $0,04 за вход и $0,02 за выход, то есть около шести центов. Тот же запрос на GPT-6 Astra при $10,00 за вход и $50,00 за выход обойдётся в $0,20 плюс $0,10, или около тридцати центов. Та же задача, счёт в пять раз больше.

Шесть центов — это нижняя граница, а не прогноз. Токены рассуждений тарифицируются как выходные, повторные попытки оплачиваются дважды, а любой цикл вызовов инструментов умножает и то, и другое. Но суть именно в соотношении, и оно сохраняется при всех трёх оговорках. Собственные цифры затрат, которые OpenAI сообщает как поставщик, указывают туда же: в Terminal-Bench Science 0.1 OpenAI оценил GPT-6.1 Sol в $5,47 за задачу против $23,80 для GPT-6 Astra и $23,21 для Claude Opus 5.5, при этом Sol набрал 57,02% при максимальном усилии против 68,1% у Astra. Вы покупаете одиннадцать пунктов возможностей за вчетверо большие деньги, а в очереди поддержки одиннадцатый пункт обычно означает лучшую формулировку, а не решённый тикет.

Этот расчёт лежит в основе модели ценообразования OrcaRouter: прайс-лист провайдера передаётся без наценки, поэтому ставка вроде $2.00 и $10.00 — это сумма, которую вы платите, а изменение цены у вендора вступает в силу в тот же день, а не при следующем продлении контракта. Обе модели доступны по одному ключу, а значит, разделение, которое DevRev сделал в своей архитектуре — дешёвая модель на пути массовых запросов, дорогая там, где ответ и есть продукт, — это решение о маршрутизации, а не вторая закупка. Для шагов, где ошибочный вызов инструмента дорого обходится, переключение на более сильную модель на уровне отдельного запроса — это разница между плохим днём и плохой неделей.

A screenshot of the OrcaRouter model page for openai/gpt-6.1-sol, dated 2026-09-29, showing a 1M-token context window, 128K maximum output, $2.00 input and $10.00 output per million tokens, a 937 ms median time to first token, an 8.99 s p95, and 382.0M tokens of seven-day traffic.

Почему модель среднего уровня получает путь в продакшен

Инстинктивно это хочется воспринимать как историю о затратах. Отчасти это история о задержке. GPT-6.1 Sol работает с всегда включённым рассуждением на пяти уровнях усилий — от low до max, по умолчанию medium — и вообще не принимает temperature или top_p. Это убирает ту ручку настройки, к которой большинство команд прибегает, когда агент кажется медленным, и оставляет уровень усилий в качестве регулятора. Между low и max разница во времени до первого токена ответа измеряется в минутах, а не в миллисекундах.

Независимые цифры располагаются там, где и ожидаешь для модели в этой нише. В Artificial Analysis Intelligence Index v5.0.1 GPT-6.1 Sol набирает 55 баллов при максимальном усилии, 56 токенов в секунду, $1,27 за выполненную задачу индекса и 63,7 млн выходных токенов за прогон. По нашей собственной семидневной телеметрии у неё медианное время до первого токена 937 мс, доля ошибок 5,7% и 39,5 токена в секунду на выходе — это тот профиль, на котором можно строить поток поддержки: не самая быстрая доступная модель, но достаточно предсказуемая, чтобы под неё можно было рассчитать очередь.

A screenshot of the Artificial Analysis page for GPT-6.1 Sol at max effort, showing an Intelligence Index of 55, an output speed of 56 tokens per second, 20.3 minutes per index task, $1.27 cost per index task, 63.7M output tokens, and list pricing of $2.00 input and $10.00 output per million tokens.

Контекстное окно — это вторая половина выбора. При 1 050 000 токенов и потолке вывода в 128 000 токенов материалы обращения, его история и извлечённые знания помещаются в один запрос. Именно это позволяет агенту рассуждать «по живым данным» без сложного слоя разбиения на фрагменты — и именно от этой части спецификации фактически зависит показатель разрешения 70%.

Что превратило бы это в кейс?

Три вещи превратят это из логотипа на странице в доказательства, на которые можно опираться при планировании. Опубликованный показатель разрешения для Operator на названном наборе данных — с долей эскалаций к человеку рядом. Распределение задержки, а не среднее значение, потому что p95 — это то место, где самообслуживание ломается. И абляционное сравнение Sol и Astra на Enterprise-Bench, поскольку DevRev уже владеет этим стендом и уже показала, что публикует результаты, когда они благоприятствуют её архитектуре.

Башир указывает на две вещи, которые хочет получить следующими: Decisions API — для небольших решений, требующих субъективного суждения, которые дорого закодировать в виде правил, но которые не нуждаются в глубоком рассуждении, — и Ultrafast, тариф OpenAI со скоростью в 6 раз выше по цене $12.00 за входные и $60.00 за выходные данные за миллион токенов, доступный для покупки с 8 октября. Оба представляют собой попытки купить низкую задержку, не покупая интеллект, — верный инстинкт для очереди поддержки и противоположность тому, к чему стремится большинство дорожных карт агентов.

Заслуживает внимания не конкретно DevRev, а то, что первое публично названное промышленное развёртывание GPT-6.1 Sol поместило дешёвую модель туда, где находятся клиенты, а дорогую — туда, где находятся потенциальные клиенты. Если это станет обычной формой корпоративного стека агентов — рабочая лошадка на массовом пути, флагман для демонстрации — то интересный вопрос для каждого поставщика перестанет быть тем, какая модель умнее, и станет тем, насколько чисто можно передавать запрос между ними.

Сравнение в этой статье2

Определено по этой статье · Бенчмарки: Artificial Analysis · обновляется ежедневно