GPT-6.1 Sol vs Grok 4.6: Masalah Accept-Header, dan Kesenjangan 35 Poin yang Tidak Nyata

Ada pasangan di pasar model saat ini di mana opsi yang lebih murah memenangkan tolok ukur sains paling sulit secara mutlak, dan seluruh perbandingannya tetap tidak berpihak padanya. Grok 4.6, andalan SpaceXAI sejak 2026-08-12, mencetak 94,9% pada GPQA Diamond — pertanyaan sains tingkat pascasarjana — versus 42,9% pada Humanity's Last Exam untuk model yang sama, dan biayanya $2,00 per juta input serta $6,00 per juta output. GPT-6.1 Sol, rilis Open​AI 2026-09-29, mencetak 52,9% pada set HLE yang sama dan mengenakan biaya $10,00 per juta output. Jadi Grok 4.6 lebih baik dalam satu hal yang sulit, lebih murah pada setiap baris daftar tarif, namun paruh kedua perbandingan itulah tempat masalah menariknya berada: kedua model tidak selalu diberi pertanyaan yang sama.

Angka-angka di bawah ini adalah pengukuran Artificial Analysis yang dilakukan pada catatan model kami sendiri untuk kedua model, angka vendor bila diberi label, dan data serving kami sendiri. Evaluator dan tanggal disebutkan di mana pun suatu angka bisa ambigu.

Nomor versi yang melakukan pekerjaan

Mulailah dengan angka-angka yang tampak seperti kekalahan telak tetapi sebenarnya bukan. Artificial Analysis menjalankan dua tolok ukur agen terminal, dan telah memberi skor pada kedua model untuk masing-masing tolok ukur:

• Terminal-Bench 2.1 — Grok 4.6 mencetak 88,39%; GPT-6.1 Sol tidak tercantum pada versi ini.

• Terminal-Bench 4.0 — Grok 4.6 memperoleh skor 21,21%; GPT-6.1 Sol memperoleh skor 56,06%.

Baca hanya baris kedua dan Grok 4.6 tampak tidak mampu menyelesaikan tugas di shell. Baca keduanya dan menjadi jelas bahwa perbedaannya adalah harness, bukan modelnya. Terminal-Bench 4.0 adalah revisi yang lebih sulit dari gagasan yang sama, dan kedua model dinilai pada benchmark itu pada waktu yang berbeda — catatan Artificial Analysis GPT-6.1 Sol mencantumkan tanggal evaluasi 2026-09-28, catatan Grok 4.6 mencantumkan 2026-08-12. Selisih 35 poin antara dua model yang diukur terpisah enam minggu pada benchmark yang direvisi dalam rentang waktu itu bukanlah bukti bahwa salah satunya tidak dapat menggunakan terminal. Itu adalah bukti bahwa Anda tidak seharusnya membandingkan kedua sel tersebut.

Versi jujur dari perbandingan agentic adalah versi yang lebih sempit: Grok 4.6 mencatat 88,39% pada Terminal-Bench 2.1, dan tidak ada angka GPT-6.1 Sol pada versi itu untuk disandingkan dengannya. Itu adalah celah dalam bukti, dan sisa artikel ini memperlakukannya sebagai celah.

Apa keduanya

Grok 4.6 adalah unggulan saat ini dari lini Grok, dicantumkan sebagai "Terbaru" dalam dokumentasi pengembang SpaceXAI sendiri, menggantikan Grok 4.5 dengan jendela konteks 500.000 token dan cakupan input teks, gambar, serta file yang sama. Model ini mendukung upaya penalaran yang dapat dikonfigurasi, pemanggilan alat bawaan, output terstruktur, dan cakupan sampling lengkap — temperature, top_p, seed, logprobs, penalties — yang merupakan detail penting: tidak seperti GPT-6.1 Sol, model ini menerima temperature.

GPT-6.1 Sol adalah satu snapshot — gpt-6.1-sol, tanpa varian bertanggal — dengan jendela konteks 1,050,000 token, keluaran maksimum 128,000, permukaan input teks, gambar, dan file yang sama, serta lima tingkat upaya dengan default medium. Ini tidak menerima temperature atau top_p; sampling digantikan oleh dial upaya.

Baris spesifikasi, berdampingan, pada dimensi di mana keduanya berbeda:

• Jendela konteks — 1.050.000 token untuk GPT-6.1 Sol dibanding 500.000 untuk Grok 4.6. GPT-6.1 Sol sedikit lebih dari dua kali jendela tersebut.

• Output maksimum — 128.000 token untuk GPT-6.1 Sol; batas output Grok 4.6 tidak dipublikasikan dalam catatan katalog kami untuknya, yang merupakan kolom yang belum pernah diisi, bukan angka nol.

• Parameter sampling — temperature, top_p, seed dan parameter penalti berfungsi pada Grok 4.6 dan ditolak oleh GPT-6.1 Sol.

• Harga dasar — $2.00/$6.00 untuk Grok 4.6 versus $2.00/$10.00 untuk GPT-6.1 Sol, di dalam tier pertama kedua model.

Lima poros, satu arah yang jelas

Kedua model memiliki cukup pengukuran independen untuk dibandingkan secara layak, dan bentuk hasilnya konsisten:

• AA Intelligence Index — GPT-6.1 Sol 51,8, peringkat 10 dari 147, persentil ke-93,2; Grok 4.6 44,3, peringkat 20, persentil ke-86,4.

• Ujian Terakhir Umat Manusia — 52,9% berbanding 42,9%. Sepuluh poin, GPT-6.1 Sol.

• Pengingatan Konteks Panjang — 83% berbanding 80.33%.

• SciCode — 54,2% dibandingkan 56,5%. Grok 4.6 unggul 2,3 poin, satu-satunya dari keempat sumbu ini di mana ia memimpin.

• GPQA Diamond — GPT-6.1 Sol tidak terdaftar pada sumbu ini dalam catatan kami; Grok 4.6 mencetak 94,9%, angka tunggal terkuat di kartunya.

Dua sumbu Grok 4.6 tidak terukur di sisi GPT-6.1 Sol, dan salah satu sumbu GPT-6.1 Sol tidak terukur di sisi Grok 4.6. Itulah bentuk standar perbandingan antara model yang dievaluasi dengan jadwal berbeda, dan cara menanganinya adalah membiarkan sel-sel itu kosong daripada mengisinya dari dek peluncuran.

Ada satu rekonsiliasi yang perlu dilakukan pada Intelligence Index. Liputan sebelumnya di blog ini menempatkan Grok 4.6 pada angka 61 di indeks yang sama. Catatan kami saat ini memuat baris tambahan dengan nilai itu, di samping angka 44,3 di atas — indeks telah direvisi dan dinilai ulang, dan kedua pembacaan itu ada untuk model yang sama. Siapa pun yang mengutip posisi indeks Grok 4.6 harus menyebutkan revisi mana yang dimaksud, karena perbedaan antara 61 dan 44,3 lebih besar daripada selisih yang menjadi topik seluruh artikel ini.

Kartu tarif, dan langkah di dalamnya.

Grok 4.6 lebih murah di setiap baris dasar dan memiliki daftar baris yang lebih panjang. Kartu tarifnya:

• Hingga 200.000 token prompt — $2,00 input, $6,00 output, $0,50 input yang di-cache.

• Di atas 200.000 token prompt — seluruh permintaan dihargai ulang menjadi $4,00 input, $12,00 output, $1,00 input yang di-cache.

GPT-6.1 Sol:

• Hingga 272.000 token prompt — $2,00 input, $10,00 output, $0,10 input cache, $2,50 penulisan cache.

• Di atas 272.000 token prompt — seluruh permintaan dihargai ulang menjadi $4,00 input, $15,00 output, $0,20 input cache, $5,00 penulisan cache.

Kedua langkah, dan kedua langkah tersebut berada di wilayah panjang prompt yang sama — tetapi perhatikan apa yang dilakukan langkah-langkah itu terhadap selisih headline. Di dalam tier pertama, keluaran Grok 4.6 40 persen lebih murah. Di atas langkah itu, pada $12,00 versus $15,00, nilainya 20 persen lebih murah. Dan pada input yang di-cache, urutannya berbalik sepenuhnya: $0,10 per juta milik GPT-6.1 Sol adalah seperlima dari $0,50 milik Grok 4.6 sebelum langkah dan sepersepuluh setelahnya.

Untuk beban kerja agentik yang membaca ulang prefiks tetap yang panjang pada setiap giliran — sebuah repo, sekumpulan kontrak, transkrip panjang — baris cache itu bernilai lebih daripada tarif dasar, dan hal itu mengarah ke arah sebaliknya. Untuk beban kerja yang menghasilkan banyak output dari prompt singkat, $6.00 milik Grok 4.6 adalah garis yang menentukan.

Data serving kita sendiri, dan mengapa sebagian darinya harus diabaikan

Katalog OrcaRouter menyediakan panel penyajian tujuh hari untuk setiap model, dan pada salah satu dari keduanya panel itu merupakan artefak, bukan hasil pengukuran. Panel Grok 4.6 menunjukkan latensi p50 sebesar 6.250 milidetik dan tingkat kesalahan 56,76%, selama jendela waktu di mana ia melayani 1.212.441 token. Panel GPT-6.1 Sol menunjukkan p50 sebesar 2.442 milidetik, 95,57 token output per detik, tingkat kesalahan 6,36%, dan 421.752.431 token yang dilayani dalam tujuh hari yang sama.

Angka trafik adalah yang pertama harus dibaca, karena angka-angka itu menjelaskan sisanya. Sebuah model yang melayani 1,2 juta token selama satu minggu memiliki sampel yang terlalu tipis untuk membuat tingkat kesalahan berarti banyak — pada volume itu, tingkat 56,76% mencerminkan beberapa lusin percobaan, bukan kualitas layanan, dan memperlakukannya sebagai bukti bahwa Grok 4.6 tidak dapat diandalkan berarti membaca artefak pengukuran sebagai pengukuran. Panel GPT-6.1 Sol kami memiliki sekitar 350 kali trafik di belakangnya, yang menjadikannya angka yang dapat digunakan tentang pengguna playground kami dan tetap bukan properti dari model tersebut.

Apa yang tidak dapat kami sampaikan kepada Anda

Ada tiga hal yang hilang dari perbandingan ini, dan tidak satu pun dari ketiganya dapat diisi dengan argumen.

Yang pertama adalah skor terminal-agent versi yang sama untuk kedua model. Sampai Artificial Analysis memberi skor untuk Grok 4.6 pada Terminal-Bench 4.0, atau GPT-6.1 Sol pada 2.1, perbandingan agentik bergantung pada angka satu model dan kesunyian model lainnya. Siapa pun yang memberi tahu Anda bahwa selisih 56,06% versus 21,21% adalah kesenjangan kemampuan sedang mengutip perbedaan revisi.

Yang kedua adalah plafon keluaran Grok 4.6. Bidang ini belum terukur dalam catatan kami, sehingga beban kerja yang bergantung pada respons tunggal yang sangat panjang tidak memiliki angka terbitan yang bisa dijadikan acuan perencanaan di sisi itu.

Yang ketiga adalah berapa biaya sebenarnya kedua model per tugas yang diselesaikan. Playground kami melaporkan biaya rata-rata per tugas untuk Claude Opus 5; playground itu tidak melaporkannya untuk kedua model ini, dan harga token di atas adalah input bagi angka tersebut, bukan angka itu sendiri. Angka yang dilaporkan vendor Open​AI sendiri untuk GPT-6.1 Sol menggambarkan perbaikan biaya per tugas — Terminal-Bench Science 0.1 sebesar $5.47 per tugas dibandingkan $23.21 untuk Claude Opus 5.5 dan $23.80 untuk GPT-6 Astra, pada upaya maksimum — tetapi itu adalah angka Open​AI pada harness Open​AI, tidak ada pihak luar yang mereproduksinya, dan angka-angka itu tidak mengatakan apa pun tentang Grok 4.6.

Pilihan

Kedua model dirutekan di OrcaRouter pada harga daftar penyedia dengan markup 0% — openai/gpt-6.1-sol dengan harga $2.00/$10.00 dengan input cache $0.10 dan tier di atas 272K diterapkan persis seperti yang ditetapkan Open​AI, dan grok/grok-4.6 dengan harga $2.00/$6.00 dengan tier di atas 200K diterapkan persis seperti yang ditetapkan SpaceXAI. Satu kunci menjangkau keduanya, harga mengikuti vendor pada hari yang sama saat berubah, bukan pada siklus penagihan berikutnya, dan failover otomatis berada di bawahnya sehingga model yang lebih murah dapat mempertahankan jalur tanpa menjadi satu-satunya yang menopangnya.

Jika beban kerjanya berbentuk pertanyaan dan berat pada output — pengambilan-dan-jawaban, generasi dalam volume besar, apa pun yang tidak pernah tumbuh melewati 200.000 token prompt — Grok 4.6 adalah pilihan yang lebih hemat menurut daftar tarif, 40 persen pada pos yang penting, dan GPQA Diamond 94,9%-nya adalah angka independen, bukan klaim.

Jika bebannya bersifat agentik, berprompt panjang, atau berat cache, GPT-6.1 Sol adalah default yang lebih aman: ia unggul di setiap sumbu independen yang sama-sama dimiliki keduanya kecuali SciCode, biaya pembacaan cache-nya seperlima dari Grok 4.6, dan plafon output yang dipublikasikan adalah angka yang bisa Anda jadikan acuan perencanaan. Jendela 500.000 token pada Grok 4.6 memang lega dan jendela 1.050.000 token pada GPT-6.1 Sol dua kali lipatnya — tetapi pada prompt yang benar-benar panjang, keduanya sudah masuk ke tier gandanya pada saat itu, dan di situlah selisih harganya menyempit menjadi 20 persen dan tak lagi menjadi alasan untuk memilih salah satunya.

Putusan yang bertahan dari bukti: Grok 4.6 adalah model yang lebih murah dan GPT-6.1 Sol adalah yang lebih terukur, dan selisih 35 poin pada terminal-benchmark yang beredar adalah perbandingan dua versi benchmark yang berbeda, bukan perbandingan dua model.