SubQ Snap 1.1 Berbagi Peringkat Pertama di Decision Index dengan Belajar untuk Abstain

Model terbaru di puncak Artificial Analysis Decision Index v1.0 bukanlah model yang paling banyak menjawab dengan benar. SubQ Snap 1.1, yang dirilis oleh Subquadratic pada 22 Oktober 2026, mencetak skor 65 dan menyamai d1-ultra dan Elephant 9B untuk posisi pertama. Jev 1.14 berada di 57. Baca catatan kecil di bawah indeks dan alasan terjadinya seri sama sekali bukan akurasi mentah: tulisan Artificial Analysis menempatkan akurasi Snap 1.1 pada 20%, dibandingkan 32% untuk d1-ultra dan 12% untuk Elephant 9B. Yang dilakukan Snap 1.1 lebih baik daripada keduanya adalah menolak menjawab.

Itu adalah hasil rekayasa yang nyata, bukan trik benchmark, tetapi itu mengubah siapa yang seharusnya peduli. Model keputusan bukan model obrolan. Model ini menerima sebuah dokumen dan sekumpulan jawaban yang diizinkan — rute ke antrean ini atau itu, panggil alat ini atau tolak, ya atau tidak atau eskalasi — dan mengembalikan pilihan dengan probabilitas terkalibrasi yang disertakan. Pitch Subquadratic sejak pratinjau dirilis sepuluh hari sebelumnya adalah bahwa beban kerja ini layak mendapat arsitekturnya sendiri alih-alih LLM umum yang membakar token keluaran untuk menghasilkan kata "refund". Versi 1.1 adalah rilis pertama di mana klaim kalibrasi cukup spesifik untuk diperiksa.

Apa yang sebenarnya berubah antara Snap 1.0 dan 1.1

Ini adalah rilis pasca-pelatihan, bukan model baru. Tulang punggung Subquadratic Sparse Attention, jendela 384K token, dan jalur input teks-plus-gambar semuanya tidak berubah dari Snap 1.0, yang diluncurkan pada 12 Oktober dengan harga $0.05 per juta token input. Yang berubah adalah cara model berperilaku saat tidak yakin: vendor mengatakan 1.1 menambahkan kalibrasi ketidakpastian eksplisit dan menyuling penalaran multi-langkah ke dalam satu forward pass, alih-alih menghasilkan rantai pemikiran lalu menetapkan jawaban.

Angka-angka yang dilaporkan Subquadratic untuk perubahan itu luar biasa spesifik, yang sekaligus bagus dan layak diteliti secara kritis. Kesalahan kalibrasi yang diharapkan pada tolok ukur probabilitas yang disisihkan turun dari 0,108 menjadi 0,014. Kesalahan percaya diri pada pertanyaan yang tidak dapat dijawab turun dari 294 dari 600 menjadi 57 dari 600 — pengurangan 81% yang terus dikutip dalam liputan peluncuran. Halusinasi yang terlalu percaya diri pada input di luar distribusi turun dari 99,3% menjadi 12,5%. Kesesuaian dengan aturan keputusan optimal Bayes naik dari 83% menjadi 90%. Pada rangkaian 16 tolok ukur perusahaan milik vendor, 1.1 rata-rata 7,2 poin di atas Jev 1.14 dengan interval kepercayaan 95% sebesar 6,5 hingga 7,8, menang 12, seri 3, dan kalah 1, serta rata-rata 5,5 poin di atas Snap 1.0.

Semua itu dilaporkan oleh vendor. Belum ada pihak di luar Subquadratic yang menerbitkan hasil pengujian 1.1; repo independen yang ada menguji model pratinjau, dan itu dibahas lebih lanjut di bawah ini.

Bagaimana sebuah model dengan akurasi 20% bisa berbagi posisi pertama

Decision Index tidak menilai akurasi secara terpisah. Indeks ini menilai hasil dari suatu keputusan dalam kondisi ketidakpastian, yang berarti abstain pada pertanyaan yang tidak dapat dijawab model bernilai lebih tinggi daripada tebakan yang percaya diri — dan jauh lebih tinggi daripada tebakan salah yang percaya diri. Artificial Analysis melaporkan tingkat non-halusinasi Snap 1.1, yakni seberapa sering model tersebut mengatakan "Saya tidak tahu" pada pertanyaan yang tidak dapat dijawabnya dengan benar, sebesar 86%. Elephant 9B lebih tinggi pada 93% dan d1-ultra sedikit lebih rendah pada 85%. Akurasi Snap 1.1 sebesar 20% berada di tengah ketiganya, dan skor indeksnya identik dengan keduanya.

Apakah itu merupakan trade-off yang tepat sepenuhnya bergantung pada biaya yang timbul akibat jawaban yang salah di tahap hilir. Dalam router tiket dukungan, salah rute yang dilakukan dengan penuh keyakinan akan mengirim keluhan penagihan ke antrean tim engineering dan pelanggan menunggu dua hari; sementara abstensi mengirimkannya ke langkah triase manusia yang memakan waktu tiga puluh detik. Dalam pekerjaan klasifikasi konten massal tanpa keterlibatan manusia, abstensi hanyalah baris tanpa label dan angka akurasi adalah hal yang penting. Indeks tersebut memberi tahu Anda bahwa Snap 1.1 dirancang untuk kasus pertama. Indeks itu tidak memberi tahu Anda bahwa ini adalah classifier paling akurat yang dapat Anda beli, karena memang bukan.

Pemotongan harga, dan penyebut yang tidak dikutip siapa pun

Perubahan lain di 1.1 adalah harganya: $0,04 per juta token input, turun 20% dari $0,05 pada versi pratinjau, dengan token output gratis. Bagian kedua itulah yang mengubah bentuk tagihan. Pengklasifikasi yang dibangun di atas model generatif membayar untuk jawabannya — biasanya singkat, tetapi model reasoning dapat menghabiskan ratusan token untuk memutuskan apa yang akan dikeluarkan. Snap tidak memiliki output yang perlu dibayar, jadi panggilan yang membaca 100K token biayanya sekitar empat persepuluh sen dan tidak ada biaya lain.

Artificial Analysis menyajikan angka yang sama per tugas, bukan per token: sekitar $30 per juta tugas untuk Snap 1.1, dibandingkan dengan $32 untuk d1-ultra dan $8.4 untuk Elephant 9B. Angka per tugas itulah yang berguna, dan itu juga menjadi pengingat bahwa harga daftar per token adalah cara yang buruk untuk membandingkan model keputusan dengan apa pun. Tagihan berskala seiring panjang input, sehingga panggilan routing 4K-token dan tinjauan kontrak 300K-token berada dalam kisaran biaya yang sangat berbeda meskipun tarifnya identik.

Apa yang tidak diselesaikan oleh angka-angka vendor

Dua hal perlu dipisahkan dari postingan peluncuran. Yang pertama adalah skeptisisme. Liputan komunitas atas rilis Subquadratic — termasuk laporan BlockBeats yang beredar sebagai "AI jack-of-all-trades" — telah mempertanyakan seberapa banyak rangkaian klaim tersebut dapat direproduksi secara independen, dan model ini tidak memiliki bobot terbuka, jadi tidak ada checkpoint yang bisa dijalankan pihak luar. Yang kedua adalah uji independen yang benar-benar ada dijalankan terhadap versi pratinjau, bukan 1.1. Perbandingan yang dapat direproduksi oleh jcarlosrodicio menemukan Snap sedikit tertinggal dari Jev di bawah 30K token (93.9% berbanding 94.7%) dan jauh tertinggal pada log 360K token (58.8% berbanding 77.1% milik Jev saat Jev dipecah menjadi chunk). Benchmark rekayasa perangkat lunak terpisah, snap-vs-jev-swe, menemukan Snap pada 87.5% dalam lokalisasi file SWE-bench Verified berbanding baseline acak 10.6%, dan mengukur perubahan jawaban pada 5.0% item ketika urutan opsi dibalik.

Hasil tersebut tidak dibantah oleh 1.1 — pekerjaan kalibrasi justru merupakan jenis perubahan yang akan menggesernya — tetapi hasil itu juga bukan bukti yang mendukungnya. Ada juga sedikit ketidakkonsistenan internal dalam angka yang dipublikasikan: liputan peluncuran menyebut skor When2Call sebesar 96.2, sedangkan varian pilihan ganda yang dikoreksi terhadap peluang milik Subquadratic sendiri untuk benchmark yang sama tercatat 91.0. Keduanya bisa benar untuk format tugas yang berbeda; pembeli yang membandingkan 96.2 dengan angka pesaing harus tahu varian mana yang mereka pegang.

Di mana ia rusak

Kolom kerugian dari rangkaian 16 benchmark milik vendor itu sendiri memberi pelajaran. PhishNChips, kumpulan deteksi phishing, tertinggal 22 poin dari Jev 1.14, dan Subquadratic mengaitkan hal itu dengan kalibrasi ambang alih-alih kualitas peringkat — ROC-AUC kurang lebih setara pada 0,91 berbanding 0,92. Itu masalah yang bisa diperbaiki bagi tim yang bersedia menyetel ambang, dan masalah yang tidak bisa diperbaiki bagi tim yang menginginkan solusi drop-in. Subarea pengetahuan-dan-penalaran adalah satu-satunya dari lima subarea di mana Jev unggul mutlak, 55,1 berbanding 50,9. Snap 1.1 paling kuat ketika kumpulan jawaban bersifat eksplisit dan buktinya ada di dalam dokumen: alat dan otomasi (85,3 berbanding 74,6), pengambilan dan klasifikasi (67,0 berbanding 63,1), pemahaman bahasa (71,6 berbanding 63,3).

Siapa yang harus bergerak, dan siapa yang harus menunggu.

Pindahkan jika keputusan Anda merupakan panggilan routing, pemilihan alat, eskalasi, atau relevansi yang dibuat atas dokumen panjang, dan jawaban salah yang percaya diri lebih mahal daripada eskalasi. Jendela 384K adalah alasan operasionalnya: satu lintasan atas kontrak penuh, rangkaian tiket, atau kumpulan log, tanpa lapisan chunking yang harus dibangun dan tanpa pipeline retrieval yang harus dijaga tetap sinkron. Tim yang sudah menjalankan pratinjau memiliki kasus paling jelas, karena harganya turun dan kalibrasinya membaik tanpa perubahan API.

Tunggu dulu jika Anda memerlukan teks yang dihasilkan, jika akurasi 20% pada campuran pertanyaan benchmark berada di bawah ambang batas Anda, atau jika Anda memerlukan latensi di bawah 100 ms di jalur hot — Subquadratic tidak menerbitkan angka latensi untuk 1.1, dan pengukuran pihak ketiga atas versi preview mencatat panggilan 8K-token sekitar 0,75 detik. Tunggu dulu juga jika Anda perlu melakukan self-host: tidak ada bobot.

Satu catatan praktis tentang posisinya dalam sebuah stack. SubQ Snap 1.1 disajikan melalui API dan konsol milik Subquadratic sendiri; ia tidak ada dalam katalog OrcaRouter, dan kami tidak akan berpura-pura sebaliknya. Yang kami sediakan adalah lapisan di balik keputusan tersebut: ketika Snap memutuskan sebuah panggilan untuk "menggunakan sebuah model", model itu adalah salah satu dari 200+ model yang dapat diakses melalui satu kunci di OrcaRouter, dengan harga daftar penyedia, markup 0%, dan failover otomatis antarpenyedia. Lapisan keputusan dan lapisan eksekusi gagal secara independen, dan ada baiknya tidak menaruh keduanya di balik vendor yang sama.

Pertanyaan terbukanya bukanlah apakah angka kalibrasi 1.1 itu nyata — angka-angka itu cukup spesifik sehingga akan diperiksa — melainkan apakah angka itu bertahan pada harness yang berbeda. Susunan kata prompt menggeser akurasi sebesar 11 hingga 14 poin dalam benchmark Snap publik, lebih besar daripada selisih antara dua model mana pun dalam indeks. Peningkatan kalibrasi yang hanya bertahan pada templat prompt milik vendor sendiri akan menjadi sesuatu yang jauh lebih kecil daripada yang disiratkan peluncuran.