Kisah GPT-6.1 Sol dari DevRev Sebenarnya Adalah Kisah Tentang Di Mana GPT-6 Astra Tidak Berada

OpenAI menerbitkan kisah pelanggan minggu ini berjudul "DevRev menghadirkan layanan mandiri otonom dengan GPT-6.1 Sol", dan kalimat paling informatif di dalamnya sama sekali bukan tentang GPT-6.1 Sol. Kalimat itu adalah kalimat yang menyebut bahwa sales engineer DevRev menggunakan GPT-6 Astra untuk membuat demo bagi stan konferensi. Ahmed Bashir, chief technology officer DevRev, menggambarkan sebuah perusahaan yang membelah portofolio modelnya menjadi dua: model kelas menengah menopang jalur dukungan produksi, dan model terdepan menopang hal yang dilihat calon pelanggan selama sembilan puluh detik. Itu adalah bukti yang lebih berguna daripada tolok ukur mana pun dalam tulisan tersebut, karena itu adalah keputusan penerapan yang dibuat oleh seseorang yang punya tagihan yang harus dibayar.

Waktunya penting. GPT-6.1 Sol dirilis pada 29 September 2026 di DevDay, satu minggu setelah GPT-6 Sol, dengan harga $2.00 per juta token masukan dan $10.00 per juta token keluaran. Tulisan DevRev sendiri tentang kemitraan OpenAI menyandang cap pembaruan 2 November 2026, dan cerita pelanggan tersebut adalah pertama kalinya sebuah layanan produksi yang disebutkan namanya menempatkan model kelas menengah, bukan model unggulan, di jalur yang berhadapan dengan pelanggan. Ini bukan peluncuran. Ini adalah referensi pekerjaan pertama.

Apa yang sebenarnya dijalankan DevRev

DevRev membangun dua produk di atas substrat yang sama. Computer adalah rekan tim AI yang menjawab dan bertindak di seluruh data bisnis; Operator adalah agen yang mengambil tindakan yang telah disetujui atau merutekan permintaan ke orang yang tepat. Keduanya memerlukan tiga hal yang sama sebelum model diizinkan mendekati pelanggan: konteks perusahaan, izin yang sesuai dengan peran seseorang, dan tindakan yang dapat dibatalkan. Model menyediakan penalaran, perencanaan, dan pemilihan alat. Harness DevRev menyediakan sisanya, dan Agent Studio adalah tempat pelanggan menjelaskan dalam percakapan bagaimana sebuah alat harus berperilaku, lalu menetapkan bagian-bagian yang tidak boleh berubah dengan aturan tetap.

Dua sifat dalam cerita ini lebih berharga daripada pujian. Tindakan dapat dibalik. Jawaban mencantumkan sumbernya. Itu adalah dua mode kegagalan yang mencegah perusahaan membiarkan agen menutup tiket, dan DevRev mengklaim keduanya sebagai perilaku produk, bukan perilaku model. Jika Anda mengevaluasi agen layanan mandiri apa pun, itulah pertanyaan yang harus diajukan, dan tidak ada papan peringkat yang menjawabnya.

Angka yang akan dilekatkan pada cerita ini berasal dari bulan Juli, dan itu bukan tentang Sol.

Telusuri liputan tentang DevRev dan OpenAI dan Anda akan menemukan sepasang angka yang mencolok: 48% lebih akurat, dan 4,4 kali lebih sedikit token per respons yang benar. Angka-angka itu nyata, sudah dipublikasikan, dan sama sekali tidak ada hubungannya dengan GPT-6.1 Sol.

Angka-angka itu berasal dari rilis 9 Juli 2026 yang mengumumkan Enterprise-Bench, tolok ukur agen perusahaan terbuka yang dibangun DevRev bersama Laude Institute dan diterbitkan pada harness Harbor. Dalam perbandingan tersebut, Computer milik DevRev mencetak 94,3% dibandingkan 63,6% pada dataset XL, dan menggunakan sekitar 5.598 token per respons yang benar dibandingkan 24.461. Perbandingan itu secara eksplisit merupakan harness melawan harness, dengan kedua sistem menjalankan model dasar yang sama. DevRev mengaitkan selisih tersebut dengan arsitektur retrieval dan memori bersamanya, bukan dengan model di baliknya. Ini juga dibandingkan dengan Claude Code, bukan dengan apa pun yang dirilis OpenAI pada September.

Cerita pelanggan OpenAI menyebut Enterprise-Bench, dan Bashir mengatakan GPT-6.1 Sol berperforma baik di sana. Itu pernyataan kualitatif. Tidak ada skor yang diberikan, tidak ada irisan dataset, tidak ada perbandingan. Siapa pun yang menempelkan angka Juli ke cerita November sedang mengukur hal yang berbeda pada model yang berbeda di kuartal yang berbeda. Bacaan yang jujur lebih sempit dan tetap menarik: DevRev memiliki benchmark yang dibangunnya tepat untuk keputusan ini, dan ia menolak menerbitkan baris Sol untuk benchmark itu.

Apa yang tidak dikatakan oleh cerita itu

Tidak ada tingkat penyelesaian, tidak ada volume tiket, tidak ada persentil latensi, tidak ada jumlah token, dan tidak ada harga dalam postingan OpenAI. Untuk sebuah kisah pelanggan tentang layanan mandiri otonom, itu berarti seluruh papan skornya hilang.

Angka terdekat yang telah dipublikasikan adalah proof of concept BILL milik DevRev, di mana BILL melaporkan tingkat resolusi AI sebesar 70% pada kueri pelanggan nyata menggunakan evaluasinya sendiri. Materi DevRev juga menyebutkan pengurangan token sebesar 77% dan penurunan dari sekitar sembilan menit menjadi sekitar 1,5 menit pada pertanyaan multi-langkah, yang diukur terhadap pendekatan mereka sendiri sebelumnya. Ini dilaporkan oleh vendor dan belum direproduksi, dan tidak satu pun terkait dengan generasi model yang kini digunakan dalam produksi. Anggap itu sebagai bentuk klaimnya, bukan ukurannya.

Batasan Bashir sendiri adalah yang perlu dipegang: "Hal-hal ini harus bisa berjalan dan menyelesaikan dirinya sendiri dalam hitungan detik, bukan menit." Interaksi dukungan yang membutuhkan dua puluh menit penalaran bukanlah layanan mandiri, apa pun skornya. Kalimat itu menjelaskan pilihan model lebih baik daripada tabel tolok ukur mana pun.

Aritmetika yang bisa diperiksa meja bantuan

Ambil tiket rutin: 20.000 token masukan konteks hasil retrieval, 2.000 token keluaran termasuk penalaran. Pada harga daftar GPT-6.1 Sol, itu $0,04 untuk masukan dan $0,02 untuk keluaran, jadi sekitar enam sen. Permintaan yang sama pada GPT-6 Astra, dengan $10,00 untuk masukan dan $50,00 untuk keluaran, adalah $0,20 ditambah $0,10, atau sekitar tiga puluh sen. Tugas sama, tagihan lima kali lipat.

Enam sen adalah batas bawah, bukan ramalan. Token penalaran ditagih sebagai output, percobaan ulang ditagih dua kali, dan setiap perulangan alat menggandakan keduanya. Tetapi rasionya adalah intinya, dan itu tetap berlaku meskipun ada ketiga peringatan itu. Angka biaya yang dilaporkan sendiri oleh vendor OpenAI menunjuk ke arah yang sama: pada Terminal-Bench Science 0.1, OpenAI menempatkan GPT-6.1 Sol pada $5,47 per tugas versus $23,80 untuk GPT-6 Astra dan $23,21 untuk Claude Opus 5.5, dengan Sol mencetak 57,02% pada upaya maksimal versus 68,1% milik Astra. Anda membeli sebelas poin kemampuan dengan biaya empat kali lipat, dan pada antrean dukungan, poin kesebelas biasanya berupa parafrase yang lebih baik, bukan tiket yang terselesaikan.

Inilah perhitungan yang menjadi dasar model harga OrcaRouter: harga daftar penyedia diteruskan tanpa markup, sehingga tarif seperti $2.00 dan $10.00 adalah angka yang Anda bayar, dan perubahan harga vendor berlaku pada hari yang sama, bukan pada pembaruan kontrak berikutnya. Kedua model berada di balik satu kunci, yang berarti pembagian yang dilakukan DevRev dalam arsitekturnya — model murah pada jalur volume, model mahal di tempat jawaban adalah produk — adalah keputusan perutean, bukan pengadaan kedua. Untuk langkah-langkah di mana panggilan alat yang salah menjadi mahal, failover ke model yang lebih kuat per permintaan adalah perbedaan antara sore yang buruk dan seminggu yang buruk.

Mengapa model tingkat menengah mendapatkan jalur produksi

Naluri kita adalah membaca ini sebagai cerita biaya. Ini sebagian adalah cerita latensi. GPT-6.1 Sol berjalan dengan penalaran yang selalu aktif di lima tingkat upaya, dari rendah hingga maksimal, dengan default sedang, dan sama sekali tidak menerima temperature atau top_p. Itu menghilangkan tombol penyetelan yang biasanya dijangkau tim saat agen terasa lambat, dan menyisakan tingkat upaya sebagai pengatur kecepatan. Antara rendah dan maksimal, selisih waktu hingga token jawaban pertama diukur dalam menit, bukan milidetik.

Angka-angka independennya berada di posisi yang Anda perkirakan untuk model di slot ini. Pada Artificial Analysis Intelligence Index v5.0.1, GPT-6.1 Sol mencetak skor 55 pada upaya maksimum, dengan 56 token per detik, $1,27 per tugas indeks yang diselesaikan, dan 63,7 juta token keluaran sepanjang proses berjalan. Pada telemetri tujuh hari kami sendiri, model ini menunjukkan median waktu ke token pertama 937 ms, tingkat galat 5,7%, dan 39,5 token per detik untuk keluaran, yang merupakan profil yang bisa menjadi dasar alur dukungan: bukan model tercepat yang tersedia, tetapi cukup dapat diprediksi sehingga kapasitas antrean dapat diperkirakan berdasarkan model ini.

Jendela konteks adalah separuh pilihan lainnya. Pada 1.050.000 token dengan batas keluaran 128.000 token, sebuah berkas kasus, riwayatnya, dan pengetahuan yang diambil semuanya muat dalam satu permintaan. Itulah yang memungkinkan agen yang bernalar "lintas data langsung" tanpa lapisan pemotongan yang rumit — dan itulah bagian dari lembar spesifikasi yang menjadi sandaran tingkat penyelesaian 70%.

Apa yang akan menjadikan ini sebuah studi kasus?

Tiga hal akan mengubah ini dari sekadar logo di sebuah halaman menjadi bukti yang bisa Anda jadikan dasar perencanaan. Tingkat resolusi yang dipublikasikan untuk Operator, pada dataset yang disebutkan namanya, dengan tingkat eskalasi manusia di sampingnya. Distribusi latensi alih-alih rata-rata, karena p95 adalah titik di mana layanan mandiri mulai jebol. Dan ablasi Sol versus Astra pada Enterprise-Bench, karena DevRev sudah memiliki harness tersebut dan telah menunjukkan bahwa mereka akan mempublikasikan hasil ketika hasilnya menguntungkan arsitektur mereka.

Bashir menyoroti dua hal yang ia inginkan berikutnya: Decisions API, untuk keputusan-keputusan berdasarkan penilaian yang mahal untuk dikodekan sebagai aturan tetapi tidak memerlukan penalaran mendalam, dan Ultrafast, tingkat kecepatan 6× dari OpenAI dengan harga $12,00 untuk input dan $60,00 untuk output per juta token, yang dapat dibeli sejak 8 Oktober. Keduanya adalah upaya untuk membeli latensi tanpa membeli kecerdasan, yang merupakan insting yang tepat untuk antrean dukungan dan kebalikan dari yang dikejar sebagian besar roadmap agen.

Pola yang perlu diperhatikan bukanlah DevRev secara spesifik. Polanya adalah bahwa penerapan produksi pertama yang disebutkan namanya dari GPT-6.1 Sol menempatkan model murah di tempat pelanggan berada dan model mahal di tempat calon pelanggan berada. Jika itu menjadi bentuk normal dari tumpukan agen perusahaan — model pekerja utama di jalur volume, model unggulan untuk demo — maka pertanyaan menarik bagi setiap vendor bukan lagi model mana yang paling cerdas, melainkan seberapa bersih Anda dapat memindahkan permintaan di antara keduanya.