「顧客事例は1つ、モデルは2つ、数字はゼロ」という見出しの生成ニュースカード。3つのバッジには「GPT-6.1 Sol:本番導入経路」「GPT-6 Astra:デモブース」「記事で公開された数字:なし」と記され、右下隅にOrcaRouterのロゴがある。
Guides & Insights

DevRevのGPT-6.1 Solのストーリーは、実のところ、GPT-6 Astraがどこに存在しないかについてのストーリーだ

著者

Alistair Wren

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

OpenAIは今週、「DevRevがGPT-6.1 Solで自律型セルフサービスを実現」と題する顧客事例を公開したが、その中で最も情報量の多い一文はGPT-6.1 Solに関するものではまったくない。それは、DevRevのセールスエンジニアがカンファレンスブース向けのデモを構築するためにGPT-6 Astraを使っているとされる箇所だ。DevRevの最高技術責任者Ahmed Bashirは、モデル資産を二つに分けた企業について説明している。中間層のモデルが本番サポートの経路を担い、フロンティアモデルが、見込み客が90秒間目にするものを担う。これは投稿内のどのベンチマークよりも有用な証拠だ。なぜなら、支払うべき請求を抱える人物による導入判断だからだ。

タイミングが重要だ。GPT-6.1 Solは2026年9月29日にDevDayで、GPT-6 Solの1週間後に、入力100万トークンあたり2.00ドル、出力100万トークンあたり10.00ドルで提供開始された。DevRev自身によるOpenAI提携の記事には2026年11月2日という更新日が記されており、この顧客事例は、名前を公表した本番サービスが旗艦モデルではなく中間層モデルを顧客向けの経路に据えた初めての例だ。これはローンチではない。最初の導入実績なのだ。

DevRevが実際に動かしているもの

DevRevは同じ基盤上で2つの製品を構築しています。Computerはビジネスデータ全体にわたって回答し行動するAIチームメイトであり、Operatorは承認済みのアクションを実行したり、リクエストを適切な担当者にルーティングしたりするエージェントです。どちらも、モデルを顧客に近づける前に同じ3つのものが必要です。会社のコンテキスト、人の役割に合った権限、取り消し可能なアクションです。モデルは推論、計画、ツール選択を担います。DevRevのハーネスが残りを担い、Agent Studioは、顧客が会話の中でツールの動作を説明し、変動してはならない部分を固定ルールで固定する場所です。

この記事で語られている2つの特性は、称賛以上に価値がある。アクションは可逆であること。回答は出典を明示すること。これらはまさに、企業がエージェントにチケットをクローズさせることをためらわせる2つの障害モードであり、DevRevはどちらもモデルの挙動ではなく製品の挙動だと主張している。セルフサービス型エージェントを評価しているなら、尋ねるべきはこれらの問いであり、どのリーダーボードもそれには答えていない。

この話に付けられる数字は7月のもので、Solについてのものではない

DevRevとOpenAIに関する報道を検索すると、印象的な2つの数値が見つかります。精度48%向上と、正しい回答あたりのトークン数が4.4分の1です。どちらも実在し、公表されており、GPT-6.1 Solとは何の関係もありません。

これらの数値は、2026年7月9日にEnterprise-Benchを発表したリリースに由来する。これはDevRevがLaude Instituteと共同で構築し、Harborハーネス上で公開したオープンなエンタープライズエージェントベンチマークである。その比較では、DevRevのComputerはXLデータセットで63.6%に対して94.3%を記録し、正解1件あたり約5,598トークンを使用したのに対し、相手は24,461トークンだった。この比較は明示的にハーネス対ハーネスで行われ、両システムは同じ基盤モデルを実行していた。DevRevはこの差を、基盤にあるモデルではなく、自社の検索および共有メモリアーキテクチャによるものとした。また、これはClaude Codeとの比較でベンチマークされたものであり、OpenAIが9月に提供したものとの比較ではない。

OpenAIの顧客事例はEnterprise-Benchに言及しており、Bashir氏はGPT-6.1 Solがそこで好成績を収めると述べている。それは定性的な発言だ。スコアも、データセットのスライスも、比較も示されていない。7月の数値を11月の事例に無理やり当てはめるのは、別の四半期に別のモデルで別のものを測っているにすぎない。誠実な読み方はより狭く、それでも興味深い。DevRevにはまさにこの判断のために自社で構築したベンチマークがあり、それについてSolの行を公表することを見送ったのだ。

物語が語っていないこと

OpenAIの投稿には、解決率もチケット件数もレイテンシのパーセンタイルもトークン数も価格もありません。自律型セルフサービスの顧客事例としては、スコアボードが丸ごと欠けているようなものです。

最も近い公表数値はDevRevのBILL概念実証であり、そこではBILLが独自評価を用いて、実際の顧客問い合わせに対して70%のAI解決率を報告している。DevRevの資料はまた、独自の以前の手法と比較して、トークン数が77%削減され、多段階の質問では約9分から約1.5分に短縮されたとも述べている。これらはベンダーによる報告であり再現されておらず、現在本番稼働中のモデル世代には結びついていない。これらは主張の形として扱い、その規模として扱わないでください。

A generated scoreboard titled 'DevRev: what is measured, and what is claimed', with a July column showing 94.3% versus 63.6% accuracy and 5,598 versus 24,461 tokens per answer measured on the Opus 4.8 family, a November column showing no published accuracy, token or resolution figures alongside $2.00/$10.00 for GPT-6.1 Sol and $10.00/$50.00 for GPT-6 Astra, and a takeaway line noting that the July figures measure a harness against a harness.

Bashir自身の制約こそが、握っておくべきものだ。「こうしたものは、数分ではなく数秒で実行し、完了できなければならない」。推論に20分かかるサポート対応は、スコアがどうであれセルフサービスではない。その一文は、どのベンチマーク表よりもモデル選択をよく説明している。

サポートデスクが確認できる計算

ありふれたチケットを例に取ろう。検索されたコンテキストが入力トークン20,000、推論を含む出力トークンが2,000。GPT-6.1 Solの定価では、入力が0.04ドル、出力が0.02ドルで、約6セントになる。同じリクエストをGPT-6 Astraで、入力10.00ドル、出力50.00ドルで行うと、0.20ドル+0.10ドル、つまり約30セント。同じタスクで、請求額は5倍。

6セントは予測ではなく下限だ。推論トークンは出力として課金され、リトライは二重に課金され、ツールループがあればその両方が倍加する。だが要点はその比率であり、それは3つの注意点すべてを踏まえても成り立つ。OpenAI自身がベンダーとして報告したコスト数値も同じ方向を示している。Terminal-Bench Science 0.1では、OpenAIはGPT-6.1 Solを1タスク5.47ドルとし、GPT-6 Astraの23.80ドル、Claude Opus 5.5の23.21ドルと対比している。Solは最大努力で57.02%を記録し、Astraは68.1%だった。4倍の費用で11ポイントの能力を買っているわけだが、サポートキューでは、その11ポイント目は通常、解決済みチケットではなく、より良い言い換えにすぎない。

OrcaRouterの料金モデルは、この計算に基づいています。プロバイダーの定価をマークアップなしでそのまま適用するため、$2.00や$10.00といった料金がそのまま支払額となり、ベンダーの価格変更は次回の契約更新時ではなく当日に反映されます。両モデルは1つのキーの背後にあります。つまり、DevRevがアーキテクチャ上で行った分割――大量処理の経路には安価なモデル、回答そのものが成果となる場面には高価なモデル――は、2つ目の調達ではなくルーティングの判断です。誤ったツール呼び出しのコストが高いステップでは、リクエスト単位でより強力なモデルにフェイルオーバーできるかどうかが、嫌な午後で済むか、嫌な一週間になるかの違いになります。

A screenshot of the OrcaRouter model page for openai/gpt-6.1-sol, dated 2026-09-29, showing a 1M-token context window, 128K maximum output, $2.00 input and $10.00 output per million tokens, a 937 ms median time to first token, an 8.99 s p95, and 382.0M tokens of seven-day traffic.

なぜミッドティアモデルが本番経路を任されるのか

これをコストの話として読むのが直感的だ。それは一部にはレイテンシーの話でもある。GPT-6.1 Sol は推論を常時オンにし、low から max までの5段階のエフォートレベルで動作し、デフォルトは medium で、temperature や top_p はまったく受け付けない。これにより、エージェントが遅いと感じたときに多くのチームが手を伸ばす調整ノブがなくなり、エフォートレベルがスロットルとして残る。low と max の間では、最初の回答トークンまでの時間差はミリ秒ではなく分単位で測られる。

この枠のモデルとして期待される通りの独立した数値が並んでいます。Artificial Analysis Intelligence Index v5.0.1では、GPT-6.1 Solは最大エフォート設定で55を記録し、毎秒56トークン、完了したインデックスタスクあたり1.27ドル、実行全体で6370万出力トークンです。当社独自の7日間テレメトリでは、最初のトークンまでの中央値が937 ms、エラー率5.7%、出力毎秒39.5トークンとなっており、これはサポートフローを構築できる類のプロファイルです。利用可能なモデルの中で最速ではありませんが、キューをそれに合わせてサイズ設定できるほど予測可能です。

A screenshot of the Artificial Analysis page for GPT-6.1 Sol at max effort, showing an Intelligence Index of 55, an output speed of 56 tokens per second, 20.3 minutes per index task, $1.27 cost per index task, 63.7M output tokens, and list pricing of $2.00 input and $10.00 output per million tokens.

コンテキストウィンドウは、この選択のもう半分を担う。100万5000トークン、出力上限12万8000トークンという仕様なら、案件ファイルもその履歴も、検索されたナレッジも、すべて1回のリクエストに収まる。これこそが、複雑なチャンキング層なしに「ライブデータを横断して」推論するエージェントを可能にする点であり、70%という解決率が実際に依存している仕様書の部分でもある。

これをケーススタディにするには何が必要だろうか

これをページ上のロゴから、計画の根拠にできる証拠へと変えるには、3つのことが必要だ。Operatorの公表済み解決率を、名前の明示されたデータセット上で、人的エスカレーション率と併記すること。平均値ではなくレイテンシ分布を示すこと。セルフサービスが破綻するのはp95だからだ。そしてEnterprise-BenchにおけるSol対Astraのアブレーションだ。DevRevはすでにハーネスを保有しており、自社アーキテクチャに有利な結果なら公表することをすでに示しているからだ。

Bashirは次に欲しいものを2つ挙げる。ルールとして符号化するには高コストだが深い推論を必要としない小さな判断を担うDecisions APIと、OpenAIの6倍速ティアであるUltrafastだ。後者は100万トークンあたり入力12.00ドル、出力60.00ドルで、10月8日から購入できる。どちらも知能を買わずにレイテンシを買う試みであり、サポートキューにとっては正しい直感だが、ほとんどのエージェントのロードマップが追い求めるものとは正反対だ。

注目すべきパターンは、特にDevRevに関するものではない。そうではなく、GPT-6.1 Solの最初に名指しされた本番デプロイが、安価なモデルを顧客向けの場所に、高価なモデルを見込み客向けの場所に配置したということだ。これが企業向けエージェントスタックの標準的な形——大量処理経路を担う実働モデルと、デモ用の旗艦モデル——になるなら、あらゆるベンダーにとって興味深い問いは、どのモデルが最も賢いかではなく、リクエストを両者の間でどれだけきれいに移せるかになる。

この記事で比較したモデル2

この記事から検出 · ベンチマーク:Artificial Analysis · 毎日更新