Kartu judul yang dihasilkan untuk Drex Max v1.1 dengan subjudul 'peringkat pertama pada Artificial Analysis Decision Index v2, dengan selisih 0,56 poin', dengan chip yang bertuliskan 73,4 Decision Index, 275 ms per tugas, $102 per 1 juta tugas, dan batas permintaan 262.144 token, plus strip papan peringkat yang menampilkan 73,4, 72,8, dan 72,4 untuk tiga model keputusan teratas.
Guides & Insights

Drex Max v1.1 Memuncaki Decision Index — dan Rincian dari Dewan Sendiri Memberi Catatan atas Kemenangan Itu

Penulis

Gideon Frost

Tanggal Terbit

Model terbaru · 20Lihat semua model →
Benchmark: Artificial Analysis · diperbarui setiap hari
Kembali ke semua artikel

Drex Max v1.1, model keputusan multimodal dari Nace.AI, menempati posisi pertama pada Artificial Analysis Decision Index v2 dengan skor 73.4. Selisihnya 0.56 poin di atas GLiDE v1.2 dari Fastino Labs pada 72.8, dan 0.94 poin di atas Mammoth 27B pada 72.4. Ketiga angka itu adalah keseluruhan cerita di puncak papan peringkat, dan juga alasan judul berita ini perlu kalimat kedua: evaluasi yang sama menyatakan GLiDE lebih akurat daripada Drex Max v1.1, dan bahwa Mammoth 27B mempertahankan jawaban yang sama di berbagai parafrase jauh lebih sering.

Model itu sendiri bukan hal baru hari ini. Referensi model milik Nace sendiri mencantumkan drex-max-v1.1 sebagai dirilis pada 28 Oktober 2026, dan id drex-max yang sudah pensiun telah dijawab oleh v1.1 sejak 8 November. Yang baru adalah pengukurannya. Artificial Analysis menerbitkan Decision Index v2 pada 8 November 2026, dua hari sebelum tulisan ini, dan itu adalah papan independen pertama yang menilai checkpoint ini terhadap bagian lain dari bidang model keputusan dengan satu instrumen. Itulah beritanya: bukan peluncuran, melainkan angka eksternal pertama untuk model yang selama ini hanya menyediakan angka milik vendornya sendiri.

Apa yang sebenarnya diukur oleh dewan saat ini

Decision Index v2 adalah instrumen yang berbeda dari instrumen yang menghasilkan angka 64 yang dibawa Drex Max pada Oktober, jadi keduanya tidak dapat dibandingkan dan tidak seorang pun seharusnya menyandingkannya. Indeks v2 adalah rata-rata tertimbang dari enam evaluasi, dan 45% di antaranya kini dibangun di atas data privat, naik dari 25% pada v1 — langkah yang disengaja untuk melawan overfitting benchmark.

Screenshot of the Artificial Analysis Decision Index v2 page, showing the leaderboard navigation, the index name, and the board's own definition: a composite index testing decision models across document decisions and extraction, tool calling, knowledge, reasoning and invariance, combining six evaluations including AA-Paperclip's 1,500 resumes, receipts and invoices.

• AA-Paperclip, 30% dari indeks — 1.500 dokumen privat (CV, kuitansi, faktur, makalah penelitian), masing-masing memuat lima keputusan dan sepuluh fakta untuk diekstrak, dinilai sebagai satu dokumen yang hanya dihitung jika kelima belas jawabannya benar.

• EvalSafe-O*NET-AA, 15% — penilaian dokumen tempat kerja, dibangun berdasarkan tolok ukur O*NET milik T​ypeSafe.

• AA-Omniscience-Decision v1.1, 15% — pengetahuan dan halusinasi, dengan opsi "Saya tidak tahu" yang dirumuskan ulang dalam sepuluh variasi.

• HLE-MultiChoice v1.1, 15% — Humanity's Last Exam pilihan ganda, juga dengan opsi menolak.

• AA-Symmetry, 15% — 120 pertanyaan diperluas menjadi 440 variasi dengan mengubah urutan opsi, menukar label, dan menegasikan pertanyaan ya/tidak.

• When2Call, 10% — evaluasi tool-calling NVIDIA, turun dari 25% di v1.

Metrik utamanya juga baru. Setiap pertanyaan diberi skor 50 × (1 + c − (p − c)²), dengan p adalah probabilitas yang diberikan model pada jawabannya dan c adalah apakah jawaban itu benar. Secara agregat, itu berarti 50 × (1 + akurasi − skor Brier). Sebuah model diberi imbalan karena benar dan karena mengetahui seberapa benar dirinya, serta dihukum lebih berat atas kesalahan yang percaya diri dibandingkan kesalahan yang ragu-ragu. Itu penting di sini, karena tawaran Drex adalah probabilitas terkalibrasi, bukan prosa, dan ini adalah papan pertama yang menilai kalibrasi secara langsung alih-alih memperlakukannya sebagai catatan kaki.

Di mana Drex Max v1.1 menang, dengan margin berapa, dan melawan siapa

Komposit menyembunyikan bidang yang terbelah. Jika dipisahkan, keunggulan Drex Max v1.1 berasal dari dua dari enam komponen, dan salah satunya adalah komponen yang menjadi alasan Nace membangun model tersebut.

• AA-Paperclip (dokumen) — Drex Max v1.1 memperoleh 72,8 pada skor keputusan dengan 63,0% dokumen sepenuhnya benar; d1-ultra dari Liquid AI berada pada 64,7 dan 51,3%, Microsoft-Decision-1 pada 51,8 dan 20,9%.

• When2Call (pemanggilan alat) — Drex Max v1.1 95,26 dibandingkan dengan Jev 1.14 84,39 dan Microsoft-Decision-1 87,95, selisih evaluasi tunggal terlebar dalam kumpulan perbandingan.

• AA-Symmetry — Drex Max v1.1 84.96, Jev 1.14 79.31, d1-ultra 77.81, Microsoft-Decision-1 75.25. GLiDE v1.2 berada di 84.18, secara efektif setara.

• AA-Omniscience-Decision — Drex Max v1.1 60.27, d1-ultra 64.39. Yang ini bergerak ke arah sebaliknya, dan ini adalah evaluasi tentang mengetahui berbagai hal, bukan memutuskan berbagai hal.

• HLE-MultiChoice — Drex Max v1.1 46.61 dibandingkan dengan 44.47 milik Jev 1.14, tetapi d1-ultra berada pada 47.39 dan akurasi mentahnya 8.25% dibandingkan dengan 12.77% milik Jev.

• Waktu per tugas — 275 ms untuk Drex Max v1.1, 92 ms untuk Jev 1.14, 295 ms untuk d1-ultra. Drex adalah model keputusan berskala frontier tercepat di papan peringkat dan sekitar tiga kali lebih lambat daripada incumbent yang paling murah untuk dijalankan.

A generated component breakdown headed 'Drex Max v1.1 vs GLiDE v1.2 vs Mammoth 27B — where the points come from', with five weighted rows: document decisions at 30 percent weight scoring 72.8, 76.0 and 66.0; workplace judgement at 15 percent scoring 88.3, 84.1 and 79.9; tool calling at 10 percent scoring 95.3, 90.1 and 87.0; paraphrase symmetry at 15 percent scoring 85.0, 84.2 and 99.0; and knowledge and abstention at 15 percent scoring 60.3, 58.6 and 59.0, footnoted to the Artificial Analysis Decision Index v2 of 8 November 2026.

Empat kualifikasi yang dipublikasikan dewan dan tidak dipublikasikan dalam siaran pers

Artificial Analysis secara luar biasa eksplisit tentang apa yang tidak dimaksudkan oleh skor tertingginya sendiri, dan artikel yang mengumumkan v2 menyatakan masing-masing hal ini dalam bahasa yang lugas.

Yang pertama adalah akurasi. "GLiDE v1.2 memimpin Drex Max v1.1 pada metrik akurasi (60 vs 58), sementara Drex Max v1.1 sedikit unggul pada Decision Index." Drex memenangkan komposit karena kalibrasinya lebih baik, bukan karena lebih banyak jawaban yang benar. Jika pipeline Anda membuang probabilitas dan hanya menyimpan argmax, Anda telah membeli bagian dari model yang tidak dihargai oleh dewan.

Yang kedua adalah konsistensi terhadap parafrase. Mammoth 27B memilih jawaban yang sama di seluruh variasi AA-Symmetry pada 99% pertanyaan; Drex Max v1.1 melakukannya pada 91%, GLiDE pada 88%. Drex masih jauh lebih unggul dibandingkan posisinya sebelumnya, dan lebih unggul dari Jev, tetapi "pertanyaan yang sama yang diutarakan dengan dua cara mendapatkan jawaban yang sama" adalah properti yang dimiliki Mammoth dan belum sepenuhnya dimiliki Drex.

Yang ketiga adalah uji dokumen semua-atau-tidak sama sekali. Drex Max v1.1 menjawab benar 97% jawaban individual pada AA-Paperclip tetapi hanya lulus 63% dokumen, karena satu jawaban salah dari lima belas membuat dokumen gagal. Ia membuat kelima keputusan dengan benar pada 71% dokumen dan kesepuluh ekstraksi pada 88%. Claude Haiku 5.5 (Max), model bahasa serbaguna, lulus 92%. Kesenjangan antara 97% jawaban dan 63% dokumen adalah biaya merangkai lima belas panggilan dependen tanpa pemeriksa.

Yang keempat adalah abstensi. Pada evaluasi kemahatahuan, d1-ultra menolak menjawab alih-alih menebak pada 88,6% pertanyaan yang tidak dapat dijawabnya; Drex Max v1.1 pada 65,3%; Microsoft-Decision-1 pada 21,7%. Drex adalah model yang lebih memilih berkomitmen daripada abstain, yang tidak masalah ketika manusia meninjau ekor keyakinan rendah dan mahal ketika tidak ada yang meninjaunya.

Kolom biaya adalah hal terkuat yang dimiliki Nace.

Biaya per 1 juta tugas pada papan yang sama: Celeris-1.1 Decision $14, Decider v1.2 $68, Drex Max v1.1 $102, d1-ultra $132, Microsoft-Decision-1 $142, Jev 1.14 $156, GLiDE v1.2 $780, Clef $859. Di atas model-model keputusan, GPT-6 Luna (Max) berbiaya $1,530 dan Claude Haiku 5.5 (Max) $6,240 untuk tiga hingga empat poin indeks.

Sebagian dari selisih itu berasal dari harga token dan sebagian dari skema penagihan, dan papan evaluasi tersebut memisahkan keduanya. Drex Max v1.1 dan Decider v1.2 mengevaluasi dokumen satu kali dan menjawab setiap pertanyaan dari satu kali proses itu, sehingga tugas AA-Paperclip menggunakan sekitar 9.000 token masukan. GLiDE v1.2 dan Decider Flash v1.2 menagih input lagi untuk setiap pertanyaan, sekitar 63.000 token per tugas, yang membuat GLiDE berada di $780 pada harga daftar $0,04 — hampir delapan kali biaya Drex pada tarif token 33% lebih tinggi. Tabel Nace sendiri melaporkan "$0,03 per 1.000 keputusan" dan papan evaluasi tersebut melaporkan $102 per 1 juta tugas; itu adalah satuan berbeda yang mengukur beban kerja berbeda, dan hanya yang kedua memungkinkan Anda membandingkan lintas model.

Halaman produk Nace juga menampilkan judul utama "118× lebih cepat daripada Claude Haiku 5.5 (Max)". Anggap itu sebagai klaim vendor dengan penyebut dari vendor. Unit papan adalah waktu per tugas, di mana Drex Max v1.1 adalah 275 ms dan tulisan AA menempatkan GPT-6 Luna (Max) pada 11,34 s — sekitar 40×. Kedua angka bisa sama-sama benar karena yang satu menghitung satu keputusan dan yang lain menghitung satu dokumen berisi lima belas pertanyaan. Rencanakan kapasitas berdasarkan angka per tugas.

id adalah bagian yang akan membuat integrasi Anda gagal.

Tiga hal dalam dokumentasi Nace akan memakan waktu satu sore jika Anda baru menemukannya setelah menghubungkan klien.

• drex-latest tidak mengarah ke model Max. Itu mengarah ke drex-v2.0, sebuah mixture of experts text-only dengan bobot terbuka yang mencetak skor 63.43 pada board yang sama. Permintaan yang sama sekali tidak menyertakan model juga dijawab oleh drex-v2.0. Jika Anda menyalin quickstart yang menetapkan TYPESAFE_DEFAULT_MODEL=drex-latest — dan instruksi kompatibilitas Jev milik Nace sendiri memberi tahu Anda untuk melakukannya — Anda memanggil model yang salah dan akan melihat penurunan indeks 10 poin tanpa error.

• {{1}}drex-max{{/1}} dihentikan per 8 November 2026 dan dilayani oleh {{2}}drex-max-v1.1{{/2}} pada batas dan harga v1.1. Klien yang sudah ada tetap berfungsi; respons melaporkan id penerusnya. Pekerjaan baru harus mengirim drex-max-v1.1 secara eksplisit.

• Angka konteks disebutkan dua kali, secara berbeda. Panduan API menyebutkan 131,072 token per pertanyaan dengan token gambar ikut dihitung; referensi model menyebutkan batas input 262,144 token untuk keseluruhan permintaan yang dipadatkan, termasuk state, kedelapan gambar, setiap pertanyaan, dan pemformatan model. Sesuaikan ukuran dengan angka yang lebih kecil kecuali Anda telah menguji angka yang lebih besar.

Screenshot of Nace's Drex model reference page, showing the documentation sidebar covering the Drex API, guides, the Drex Max section and the Drex reference pages for Models, Errors, Limits and Pricing, with the Models page open and described as the table of models Drex serves, their API ids, prices and token limits.

Tidak satu pun dari ini merupakan cacat. Itu adalah sisa-sisa biasa dari pembuatan versi di tempat, dan itulah alasan tanggal rilis pada model lebih penting daripada nomor versi pada namanya.

Apa artinya ini jika Anda memilih hari ini

Drex Max v1.1 tidak ada di rute mana pun yang kami layani. Katalog OrcaRouter tidak memuatnya, dan tidak ada apa pun di sini yang boleh ditafsirkan sebagai klaim ketersediaan — Nace menjualnya melalui API dan konsolnya sendiri, seharga $0,03 per juta token input selama periode peluncuran, diskon 50% dari harga daftar $0,06. Yang ada di katalog adalah petahana yang menjadi tolok ukur model ini: TypeSafe Jev 1.14 adalah rute terdaftar dengan harga $0,042 per juta token input, dengan bentuk permintaan pertanyaan bertipe yang sama dan 66,96 pada papan yang sama. Menjalankan keduanya berarti dua kontrak dan dua SDK, itulah biaya nyata dari uji banding, dan itu alasan umum orang menempatkan perbandingan di balik router.

Pembacaan jujur atas 73,4 lebih sempit daripada "model keputusan terbaik". Drex Max v1.1 memiliki skor komposit terbaik pada papan peringkat yang 45% privat dan berusia dua hari; model ini adalah model tercepat pada skor tersebut dengan selisih yang lebar, dan merupakan yang termurah ketiga di frontier Pareto. Model ini bukan yang paling akurat, bukan yang paling konsisten, dan bukan yang paling bersedia abstain. Mana di antara keempat hal itu yang penting sepenuhnya bergantung pada apakah manusia melihat ekor keyakinan rendah — dan pertanyaan itu tidak ada di papan peringkat mana pun.

Apa yang akan mengubah pembacaan ini: board independen kedua yang mereproduksi 73,4, atau v1.2 yang menaikkan akurasi HLE-MultiChoice di atas 12,77% milik Jev. Keduanya belum ada. Sampai salah satunya ada, angka yang dikutip adalah 73,4 dengan kata "narrow" disertakan.