Tanyakan kepada GPT-6.1 Sol, Claude Opus 5.5, atau Gemini 4 Argon "Siapa Peneliti Ini?" — dan Saksikan Argon Menjangkau Lab yang Salah

Tiga model terdepan masing-masing diajukan satu pertanyaan, 448 kali, hanya berbekal sebuah nama untuk dijadikan dasar. GPT-6.1 Sol dan Claude Opus 5.5 mengenali hampir semua peneliti AI yang diperlihatkan kepada mereka. Gemini 4 Argon mengenali hampir sama banyak orang tetapi mendeskripsikan lebih sedikit dari mereka dengan benar, dan alasan yang dilaporkan spesifik dan berguna: model itu berulang kali menyebut mantan pemberi kerja seorang peneliti sebagai pemberi kerja mereka saat ini. Evaluasi ini diposting pada 14 Oktober 2026 oleh akun @scaling01; ini adalah satu tes yang diposting, bukan tolok ukur independen, dan belum ada yang mereproduksinya. Ketiga model itu usianya sangat berbeda — Gemini 4 Argon mulai tersedia secara umum di tier berbayar pada 13 Oktober 2026 setelah diumumkan pada 30 September, Claude Opus 5.5 dirilis 22 September, GPT-6.1 Sol 29 September — jadi satu-satunya hal yang benar-benar baru di sini adalah temuannya sendiri, yang muncul dua hari setelah tier berbayar Argon dibuka.

Ini adalah masalah atribut usang, dan layak dipahami dengan benar, karena ini bukan kelas kegagalan yang sama dengan kutipan yang dihalusinasikan atau makalah yang diciptakan dengan penuh keyakinan. Model yang menyebutkan bekas pemberi kerja seorang peneliti tidak mengarang sesuatu. Model itu mengembalikan fakta yang pernah benar, dari snapshot yang telah bergerak maju. Alasan internal yang dikutip untuk kesenjangan ini adalah bahwa semakin "baik" sebuah model dalam mengutip informasi usang sebagai informasi terkini, semakin berguna model itu untuk beberapa tugas dan semakin berbahaya untuk tugas yang ini. Itu adalah perumusan yang bersih tentang pertukaran tersebut, dan itulah alasan evaluasi khusus ini lebih menarik daripada yang disarankan oleh ukuran sampelnya.

Apa yang sebenarnya diukur oleh postingan itu, dalam kata-katanya sendiri: 448 peneliti nyata ditampilkan kepada masing-masing model hanya sebagai nama, sekali, tanpa akses web dan tanpa alat. Jawaban diperiksa terhadap sumber publik — halaman pribadi, bio lab, makalah — pada 14 Oktober 2026. Bagan itu memisahkan dua hal yang biasanya digabung menjadi satu skor. Batang penuh berarti "mengenali orang yang benar." Bagian padat pada batang berarti "seluruh jawabannya juga akurat." Kesenjangan antara keduanya adalah mode kegagalan: orang benar, detail salah. Pembagian kohortnya adalah 131 peneliti OpenAI, 166 Anthropic, 151 Google. Afiliasi lab ditetapkan dari 298 profil atau halaman lab terkini, 148 byline lab sejak Oktober 2025, dan 2 orang yang berpindah antar-lab. Dikecualikan: 2 orang yang meninggalkan lab-lab ini, 13 orang yang tidak dapat dikonfirmasi, dan 22 peneliti terkemuka yang bekerja di luar ketiga lab tersebut. Ketiga model menolak semua 50 nama rekaan yang diberikan kepada mereka — tak satu pun dari ketiganya mengarang seseorang, yang merupakan kontrol yang lebih sulit dan berhasil mereka lalui.

Apa yang sebenarnya harus Anda tanggung akibat kesalahan "mantan pemberi kerja"

Jika Anda menggunakan model terdepan untuk menyiapkan pengarahan, menyusun daftar kontak untuk penjangkauan, atau merangkum siapa bekerja di mana, inilah bentuk persis kesalahan yang akan Anda dapatkan. Namanya akan benar. Perannya akan tampak masuk akal. Organisasinya akan organisasi yang telah ditinggalkan orang itu. Tidak ada yang tampak salah dari keluarannya, itulah sebabnya kesalahan ini lolos dari peninjauan, dan itulah sebabnya jawaban yang salah tentang pemberi kerja lebih buruk daripada jawaban yang jelas-jelas salah.

Itu juga menjelaskan dari mana perbedaan antar model berasal. Kesalahan atribusi semacam ini melacak bagaimana pengetahuan sebuah model di-snapshot dan bagaimana ia merumuskan jawaban ketika data pelatihannya memuat afiliasi lama dan baru. Model yang telah melihat kedua fakta dan memilih yang lebih baru mendapat nilai baik di sini. Model yang telah melihat keduanya dan memilih yang lebih umum di korpusnya — yang bagi peneliti yang sudah lama berkarier biasanya adalah yang lebih lama — mendapat nilai buruk tanpa keliru tentang apa pun yang sebenarnya pernah diberitahukan kepadanya. Pembingkaian evaluasinya sendiri selaras: evaluasi ini mengukur apakah sebuah model memperlakukan "siapa orang ini" sebagai pertanyaan tentang masa kini.

Apa arti tiga model berbeda bagi hasil ini, dan apa yang tidak

Ini adalah satu evaluasi yang diposting oleh satu akun, dan pembacaan yang jujur harus dimulai dari sana. Sampelnya 448 nama, penilaiannya dilakukan sendiri oleh pengunggah terhadap sumber publik, angka batang per model tidak sepenuhnya dapat direproduksi dari gambar bagan, dan tidak ada lab atau evaluator lain yang menjalankan protokol yang sama. Anggap ini sebagai sinyal bahwa ada mode kegagalan spesifik pada tingkat yang terukur di salah satu dari ketiganya, bukan sebagai peringkat untuk dijadikan acuan memilih.

Yang membuat ini lebih dari sekadar kebisingan adalah kontrolnya yang luar biasa baik untuk evaluasi media sosial. Memberi setiap model hanya sebuah nama, sekali saja, tanpa akses web, menghilangkan jalur pengambilan yang biasanya menutupi afiliasi usang — model dengan penjelajahan web akan langsung mencari orang tersebut. Mengecualikan peneliti yang telah meninggalkan lab, dan secara terpisah mengecualikan orang-orang terkemuka di luar lab, menghilangkan kasus-kasus ketika jawaban "pemberi kerja saat ini yang salah" bisa dibilang benar. Dan 50 nama yang diciptakan adalah ujian yang memisahkan "pengetahuan usang" dari "bersedia mengarang," yang dilalui ketiga model bersama-sama.

Ada ketegangan yang layak disebut: tingkat omong kosong yang dilaporkan — proporsi jawaban yang salah di bagian pinggir — pada dasarnya nol, sementara ketidakakuratan yang dapat dikenali hampir seluruhnya terkonsentrasi di bidang afiliasi. Model yang tampil sebersih itu pada nama-nama rekaan tetapi masih salah mengaitkan pemberi kerja tidak sedang bingung. Ia basi tepat pada satu dimensi.

Ketiga model tersebut bukan produk yang dapat dibandingkan, jadi bacalah hasilnya dengan mempertimbangkan hal itu.

• Gemini 4 Argon — diumumkan pada 30 September 2026, tersedia secara umum di paket berbayar mulai 13 Oktober dengan tarif yang dinyatakan sebesar $2.00 per juta token input dan $10.00 per juta token output; evaluasi yang sama yang menandai kesalahan atribusinya adalah evaluasi yang memberinya peringkat tinggi dalam hal pengenalan.

• Claude Opus 5.5 — dirilis pada 22 September 2026 dengan harga $4,00 per juta input dan $20,00 per juta output, turun dari $5/$25 yang dibawa Claude Opus 5.

• GPT-6.1 Sol — dirilis 29 September 2026 dengan harga $2.00 per juta input dan $10.00 per juta output.

Selisih usia penting untuk cara Anda membaca hasilnya. Argon adalah yang terbaru dari ketiganya dengan selisih yang jauh, dan jika mode kegagalannya adalah snapshot usang, model dengan pengetahuan paling baru adalah model yang paling mungkin membawa dua afiliasi yang bertentangan untuk orang yang sama tanpa sinyal kuat tentang mana yang terkini. Itu adalah hipotesis yang tidak diuji oleh evaluasi tersebut dan tidak dapat mengujinya, mengingat desainnya, tetapi itu adalah hal pertama yang perlu diperiksa jika Anda menjalankannya kembali.

Jika Anda akan menggunakan model untuk fakta tentang orang, ujilah sebelum Anda mempercayainya.

Evaluasi ini mudah didekati dengan data Anda sendiri, dan pendekatan itu lebih berguna daripada angka agregatnya. Ambil dua puluh nama dari domain Anda sendiri — orang-orang yang Anda tahu telah berganti pemberi kerja dalam delapan belas bulan terakhir — dan tanyakan kepada model peran terkini setiap orang, sekali saja, tanpa alat bantu apa pun. Hitung berapa banyak yang menjawab dengan organisasi lama. Satu angka itu memberi tahu Anda lebih banyak tentang penerapan Anda daripada seluruh uji 448 nama, karena kegagalannya spesifik domain: model yang andal pada peneliti lab AI bisa jadi lemah pada industri Anda, atau sebaliknya.

Dua detail protokol dari versi asli layak ditiru, karena keduanya itulah yang membuat hasilnya bermakna. Pertama, tanpa akses web. Model dengan alat pencarian akan langsung mencari orang tersebut, yang merupakan perilaku yang benar dan berarti uji itu berhenti mengukur apa pun tentang pengetahuan yang tersimpan di dalamnya. Kedua, berikan nama saja. Menambahkan konteks ("orang ini bekerja di bidang robotika") memungkinkan model menyimpulkan jawaban dari konteks alih-alih mengambilnya, yang membuat hasil tampak lebih baik tanpa memperbaiki kelemahannya.

Jika Anda menjalankan ini dalam jumlah besar di beberapa model, bukan hanya satu, perbandingannya adalah bagian yang mahal — nama-nama yang sama harus dikirim ke setiap model dengan cara yang sama, dan di situlah lapisan routing membuktikan tempatnya, bukan sekadar menjadi kemudahan.

Di mana pemeriksaan semacam ini seharusnya ditempatkan dalam sebuah pipeline

Fakta tentang orang adalah salah satu dari sedikit kategori di mana jawaban yang salah murah untuk dideteksi setelah kejadian dan mahal untuk dideteksi sebelumnya, jadi langkah praktisnya adalah memperlakukan kolom afiliasi sebagai belum terverifikasi secara default dan memeriksanya terhadap sumber yang Anda kendalikan. Itu tidak berarti kurang mempercayai model secara menyeluruh. Artinya, menyadari bahwa "mengenali orang yang tepat" dan "menggambarkannya dengan benar" adalah dua pengukuran yang berbeda, dan bahwa yang kedua adalah yang sebenarnya Anda inginkan.

Di OrcaRouter, ini adalah jenis pemeriksaan yang dijalankan di beberapa model dengan kunci yang sama, bukan satu per satu. GPT-6.1 Sol dan Claude Opus 5.5 — dua model yang oleh evaluasi ini dinilai paling tidak rentan terhadap kesalahan afiliasi usang — keduanya dapat dirutekan di sini melalui endpoint yang sama, sehingga dua puluh nama yang sama dikirim ke keduanya hanya dengan mengubah string model, bukan dengan kontrak kedua, dan penyedia yang sedang mengalami hari buruk tidak akan membuat perbandingan ikut tumbang. Gemini 4 Argon tidak ada di OrcaRouter; model itu dapat dijangkau melalui tingkat berbayar milik vendor sendiri dan platform pihak ketiga lainnya, dan tidak ada apa pun di sini yang boleh dibaca sebagai tawaran untuk merutekannya. Model yang kami sediakan dihargai sesuai harga daftar penyedia tanpa mark-up, sehingga perubahan harga vendor sampai ke tagihan Anda pada hari yang sama saat dipublikasikan.

Apa yang perlu diperhatikan, dan apa yang akan mengubah pembacaan ini

Hasilnya adalah evaluasi satu akun dengan kontrol yang baik dan sampel kecil, yang diposting pada 14 Oktober 2026, dan langkah berikutnya yang jujur bukanlah bertindak berdasarkan hasil itu, melainkan mencari uji kedua. Dua hal akan mengubahnya dari sinyal menjadi temuan: evaluator independen yang mengulang protokol dengan daftar nama yang lebih besar dan penilaian yang dipublikasikan, atau vendor yang mengakui bahwa atribusi antara mantan pemberi kerja dan pemberi kerja seseorang saat ini merupakan kelas kegagalan tersendiri yang layak disasar. Kontrol 50 nama rekaan yang lulus di ketiga model adalah detail yang membuat hal itu masuk akal — ini berarti masalahnya bukan fabrikasi, yang sulit, melainkan refresh, yang dapat ditangani.

Sampai saat itu, ringkasan yang berguna lebih sempit daripada papan peringkat dan lebih dapat ditindaklanjuti daripada itu. Model yang dengan yakin melaporkan pemberi kerja yang sudah usang tidak sedang berbohong kepada Anda. Model itu menjawab pertanyaan tentang masa lalu seolah-olah Anda bertanya tentang masa kini, dan satu-satunya cara untuk menangkapnya adalah mengajukan pertanyaan yang sebenarnya Anda maksud.

Hasil seperti ini juga menjadi pengingat bahwa kesalahan model sudah terdokumentasi: insiden AI dan kegagalan agen di balik model di kelas ini dikumpulkan dalam OrcaRouter AI Incident Archive, di mana setiap entri mencantumkan sumbernya sendiri, tingkat keparahan, nilai keyakinan, dan tanda diperdebatkan.