Mercury 3 vs Mistral Large 4: Dua Model yang Belum Selesai dan Janji yang Melekat pada Masing-Masing

Tidak satu pun dari model-model ini yang selesai, dan cara keduanya belum selesai justru berlawanan. Mercury 3 dirilis oleh Inception Labs pada 19 Oktober 2026 sebagai produk yang sudah dijual dengan harga $0,20 per juta token masukan dan $0,70 per juta token keluaran, dan model ini tidak memiliki evaluasi independen dalam bentuk apa pun — tidak ada skor Artificial Analysis, tidak ada harness pihak ketiga, tidak ada apa pun. Mistral Large 4 diumumkan oleh Mistral pada 6 Oktober 2026 sebagai pratinjau publik dengan harga $1,36 dan $4,18 per juta token, dan model ini memiliki skor independen 38 pada Artificial Analysis Intelligence Index dan biaya terukur $1,13 per tugas indeks, tetapi bobotnya — yang dijanjikan Mistral akan dirilis "pada akhir bulan" — belum dipublikasikan di Hugging Face saat tulisan ini dibuat, dan proses reinforcement learning dari pratinjau itu sendiri masih berjalan saat pengumuman. Kegagalan AI dan insiden agen terdokumentasi di balik rilis seperti ini dikumpulkan di OrcaRouter AI Incident Archive yang setiap entrinya memuat sumbernya sendiri, tingkat keparahan, tingkat keyakinan, dan penanda status dipersengketakan.

Jadi perbandingannya adalah antara model yang semua angkanya dilaporkan vendor dan model yang angkanya belum semuanya final. Keduanya juga berada di kategori produk yang berbeda: Mercury 3 adalah model bahasa difusi yang hanya menangani teks dengan konteks satu juta token dan klaim throughput 1.068 token per detik, sedangkan Mistral Large 4 adalah mixture-of-experts multimodal native dengan 1 triliun parameter dan 52 miliar parameter aktif, yang dilatih pada 3.800 GPU NVIDIA Grace Blackwell di pusat data Prancis dan diposisikan secara eksplisit pada kedaulatan AI Eropa. Jika beban kerja Anda berupa teks dan kendala Anda adalah biaya, perbedaan itu menentukan sebelum benchmark apa pun dirujuk. Jika bukan, kedua model nyaris tidak bersaing.

Mercury 3, dan hal spesifik yang hilang

Model Inception adalah generasi ketiga dari taruhan decoding paralelnya. Alih-alih satu token per forward pass, Mercury men-denoise satu blok posisi dan menetapkannya bersama-sama, yang menjadi asal 1.000-plus token per detik. Menurut Inception, Mercury 3 memiliki jumlah parameter total lebih dari 40 kali Mercury 1, dengan jendela konteks yang tumbuh dari 260.000 menjadi 1.000.000 token dan batas keluaran 131.072 token, dan berjalan pada 1.068 token per detik di perangkat keras NVIDIA yang tidak disebutkan.

Yang tidak ada adalah pengukuran apa pun yang tidak dilakukan Inception. Satu-satunya hasil kualitas terstruktur dalam pengumuman itu adalah uji agen di situs langsung: 50 tugas navigasi Mind2Web terhadap situs web nyata di dalam harness produksi milik Inception sendiri, di mana Mercury 3 menyelesaikan 50% — 25 tugas — yang menurut Inception "jauh lebih banyak daripada GPT-6.1-Sol" pada volume token dan jumlah langkah yang sama. Itu lebih menarik daripada tabel benchmark karena situsnya langsung, dan kurang dapat dipercaya karena alasan yang sama seperti demo vendor selalu begitu: Inception memilih harness, target, dan penilaiannya. Tidak ada halaman Artificial Analysis untuk Mercury 3 per 20 Oktober 2026, jadi tidak ada angka throughput netral, tidak ada biaya netral per tugas, dan tidak ada kurva recall netral untuk jendela satu juta token itu.

Konsekuensinya konkret, bukan filosofis. Konteks satu juta token dengan kurva recall yang belum diukur hanyalah klaim kapasitas: tokennya muat, dan belum ada yang memastikan berapa banyak dari token itu yang benar-benar digunakan model. Mercury 2.5 mendapat skor 12 pada Artificial Analysis Intelligence Index, yang menunjukkan posisi generasi sebelumnya dan tidak menjelaskan apa pun tentang generasi ini.

Mistral Large 4, dan hal spesifik yang belum selesai

Model Mistral adalah proposisi yang sepenuhnya berbeda dan pengumumannya luar biasa spesifik tentangnya. Ini adalah model multimodal secara native dengan 1 triliun parameter dan 52 miliar parameter aktif — sparse mixture-of-experts, sehingga sebagian besar dari satu triliun itu tidak bekerja pada token mana pun. Model ini menangani dokumen, bagan, gambar alami, gambar teknik, dan citra satelit gigapiksel, dan dilatih pada data yang mencakup lebih dari 160 bahasa termasuk semua bahasa resmi UE.

• Pengkodean — 61,7% pada DeepSWE v1.1, 59,4% pada SWE-Atlas-QnA, 28,3% pada Terminal-Bench 4, untuk Indeks Agen Pengkodean gabungan sebesar 49,8%. Semua dilaporkan oleh Mistral.

• Agen dan siber — 59,9% pada AutomationBench, 1.393 Elo pada AA-Briefcase, 82% pada uji reproduksi dan penambalan kerentanan nyata yang menurut Mistral memimpin semua model, 93% pada Cybench, dan 93,3% ketahanan terhadap serangan pada B3 milik Lakera.

• Visi — 42% pada visual grounding Dense 200, sedikit lebih unggul daripada GPT-6 Astra dengan 41%.

• Evaluasi manusia — 3,74 dari 5 pada asesmen pengodean buta Surge AI, peringkat kedua dari lima model di bawah Claude Opus 5 dengan 4,22. Pihak ketiga menjalankan studi tersebut; Mistral memesan dan menerbitkannya.

• Agregat independen — 38 pada Artificial Analysis Intelligence Index, berada di peringkat 66 dari 217, dengan biaya $1,13 per tugas indeks, 67,5 token output per detik, dan waktu ke token pertama 1,65 detik.

• Status — pratinjau, bobot dijanjikan pada akhir Oktober 2026, proses RL masih berlangsung saat pengumuman.

Klasifikasi ini layak diperhatikan dengan hati-hati. Dokumentasi Mistral sendiri mencantumkan generasi v26.10 sebagai "Open" dan open-weight; halaman Artificial Analysis, yang dibaca pada 20 Oktober, masih menyebut "proprietary" dan "bobot modelnya belum tersedia untuk publik". Keduanya benar pada waktu yang berbeda: lisensinya adalah niat, sedangkan bobotnya belum ada di disk. Siapa pun yang membangun deployment dengan asumsi bahwa Mistral Large 4 akan dapat diunduh pada November harus mencatat bahwa janji itu sudah punya tanggal tetapi belum punya repositori.

Dua kartu tarif, dan angka yang membuat selisihnya lebih kecil daripada yang terlihat

Secara hitungan di atas kertas, Mercury 3 jauh lebih murah: $0.70 per juta output dibandingkan $4.18, dan $0.20 input dibandingkan $1.36. Itu selisih 6 kali lipat pada harga daftar, atau 12 kali lipat selama periode peluncuran Mercury pada $0.10 dan $0.35, dengan harga promosi Mistral sendiri di $0.68 dan $2.09 mempersempitnya menjadi sekitar 6 kali lipat.

Angka per jawaban adalah titik di mana ia terkompresi lebih jauh, dan itu adalah satu-satunya angka dalam artikel ini yang diukur oleh pihak selain vendor yang menjual model tersebut. Artificial Analysis mencatat Mistral Large 4 Preview pada $1,13 per tugas Intelligence Index. Mercury 3 tidak memiliki padanan, jadi satu-satunya cara menyusunnya adalah dengan mengasumsikan volume token — dan perbandingan Mercury sebelumnya menunjukkan mengapa asumsi itu penting: model yang menghabiskan 31.000 token output sementara model lain menghabiskan 193.000 bisa 20 kali lebih mahal per token namun tetap lebih murah per jawaban. Pada $0,70 per juta, Mercury 3 memerlukan sekitar 1,6 juta token output agar biayanya $1,13 untuk satu tugas. Ia tidak akan menghabiskan sebesar itu. Pada volume realistis apa pun, ia jauh di bawah $1,13, yang merupakan inti jujur dari argumennya: keunggulan per token bertahan terhadap koreksi per jawaban di sini dengan cara yang tidak terjadi saat melawan GPT-6 Sol.

• Konteks — Mercury 3: 1.000.000 token menurut dokumentasi Inception. Mistral Large 4: 1.000.000 menurut daftar model Mistral, dibandingkan dengan 524.288 pada konfigurasi yang diuji Artificial Analysis.

• Multimodalitas — Mercury 3: teks masuk, teks keluar, tidak ada gambar apa pun alasannya. Mistral Large 4: dokumen, bagan, foto, gambar teknik, citra satelit.

• Kecepatan — Mercury 3: 1.068 token per detik, diukur oleh vendor. Mistral Large 4: 67,5 token per detik menurut Artificial Analysis, dengan waktu ke token pertama 1,65 detik yang benar-benar cepat untuk model seukuran ini.

• {{1}}Bobot{{/1}} — Mercury 3: tidak ada yang dipublikasikan, dan organisasi Hugging Face milik Inception tidak memiliki repositori model. Mistral Large 4: dijanjikan pada akhir Oktober, belum dipublikasikan.

• Tata kelola — Mercury 3: tidak ada pernyataan yang dipublikasikan tentang data pelatihan atau penerapan di UE. Mistral Large 4: dilatih di pusat data Eropa, penerapan yang dioperasikan di Eropa, semua bahasa resmi UE.

Baris konteks panjang adalah yang perlu dibaca dua kali. Dokumentasi Mistral mencantumkan satu juta token; Artificial Analysis menguji pada 524.288. Itu bukan kontradiksi — penyedia menguji pada pangkat dua berapa pun yang didukung harness mereka — tetapi itu adalah pengingat bahwa angka konteks adalah maksimum, bukan kemampuan yang telah diuji, dan recall konteks panjang Mistral Large 4 juga belum dipublikasikan pada jendela penuh.

Di mana argumen Eropa benar-benar mengena

Narasi kedaulatan bukan sekadar hiasan pada model ini; itulah alasan sejumlah pembeli akan memilihnya ketimbang opsi yang lebih murah dan lebih baik. Dilatih pada Blackwell GPUs di pusat data Prancis, dioperasikan dari Eropa, multibahasa di seluruh bahasa resmi UE — bagi pembeli sektor publik atau perusahaan Eropa yang teregulasi, kombinasi itu bisa lebih unggul daripada dua belas poin indeks kecerdasan, karena alternatifnya mungkin sama sekali tidak dapat diperoleh.

Mercury 3 tidak menawarkan satu pun dari itu. Inception belum menerbitkan apa pun tentang tempat model dijalankan, data apa yang digunakan untuk melatihnya, atau ketentuan retensi apa yang berlaku, selain menyebutkan bahwa pelanggan enterprise dapat membeli kapasitas khusus, penskalaan otomatis, kontrol kepatuhan, dan retensi yang dapat dikonfigurasi. Itu adalah hal-hal yang tepat untuk dijual kepada pelanggan enterprise dan itu tidak sama dengan posisi pemrosesan data yang telah dipublikasikan.

Ada satu hal lagi dalam kisah Eropa yang layak ditandai alih-alih diselesaikan: janji bobot terbuka. Jika Mistral menerbitkan bobotnya pada akhir Oktober, pembeli Eropa mendapatkan sesuatu yang saat ini tidak ditawarkan lab Amerika mana pun pada skala ini — model multimodal yang mendekati garis depan yang dapat berjalan di dalam perimeter mereka sendiri, pada perangkat keras mereka sendiri, tanpa vendor dalam jalur permintaan. Itu adalah produk yang secara material berbeda dari API pratinjau, dan itulah sebabnya repositori yang hilang lebih penting daripada poin benchmark yang hilang.

Kedua model ini sudah tidak ada di katalog kami, yang mengubah rekomendasi.

Mercury 3 tidak ada di katalog OrcaRouter, begitu juga Mistral Large 4 — API model kami tidak mengembalikan apa pun untuk keduanya, di semua varian slug yang kami coba. Itu cukup tidak biasa untuk dikatakan secara terus terang, karena artinya perbandingan ini tidak bisa berakhir dengan "menaruh keduanya pada satu kunci". Siapa pun yang memanggil salah satu model itu akan langsung ke vendor, atau ke salah satu dari beberapa platform pihak ketiga yang menghostingnya.

Yang masih dilakukan lapisan routing dalam situasi itu adalah bagian yang tidak memerlukan hosting model: lapisan itu menampung model-model yang kita routing di belakang satu endpoint yang kompatibel dengan OpenAI, dan memungkinkan Anda menyatakan aturan tentang lalu lintas mana yang pergi ke mana. Jika bobot Mistral dirilis pada akhir Oktober, arsitektur yang menarik bukanlah "gunakan Mistral Large 4 untuk semuanya" — melainkan jalur Mistral yang di-host sendiri untuk dokumen-dokumen yang tidak boleh keluar dari perimeter Anda, model frontier yang di-routing untuk pekerjaan yang boleh keluar, dan aturan yang memutuskan di antara keduanya. Aturan yang sama menangani Mercury 3 jika Inception merilisnya di tempat yang bisa kita jangkau, dan menangani kasus ketika harga promosi salah satu vendor berakhir, yang untuk Mercury 3 belum ada tanggal pengumumannya.

Siapa yang harus memilih yang mana, dan apa yang akan mengubah jawabannya

Pilih Mercury 3 jika pekerjaannya adalah teks, volumenya tinggi, dan jawabannya murah untuk diverifikasi. Kartu tarifnya enam hingga dua belas kali lebih murah daripada Mistral Large 4 tergantung harga mana yang berlaku, jendela konteksnya sama ukuran utamanya, dan tidak adanya skor netral adalah risiko yang dapat Anda ukur dalam tingkat galat Anda sendiri dalam sehari. Yang Anda lepaskan adalah setiap bentuk masukan yang bukan teks, dan kemampuan apa pun untuk mengaudit perilaku model sebelum menerapkannya.

Pilih Mistral Large 4 jika input menyertakan gambar, ilustrasi, atau hasil pindai; jika pengadaan mensyaratkan pelatihan dan operasi di Eropa; jika waktu ke token pertama 1,65 detik lebih penting daripada throughput mentah; atau jika janji open-weights adalah alasan sebenarnya Anda tertarik, yang dalam hal ini tunggu repositorinya, bukan pengumumannya. Yang Anda korbankan adalah faktor enam pada harga dan klaim apa pun sebagai yang tercepat yang tersedia.

Dua tanggal akan menjawab sebagian besar pertanyaan terbuka dalam artikel ini. Yang pertama adalah akhir Oktober, ketika Mistral mempublikasikan bobotnya atau tidak. Yang kedua adalah kapan pun Artificial Analysis menjalankan Mercury 3, yang akan menggantikan setiap angka vendor di bagian pertama dengan angka hasil pengukuran. Kedua tanggal itu belum diumumkan. Sampai keduanya tiba, ringkasan yang dapat dipertanggungjawabkan adalah bahwa Mercury 3 adalah mesin teks yang lebih murah dan Mistral Large 4 adalah produk yang lebih lengkap, serta keduanya dijual dengan klaim yang saat ini harus diterima pembeli begitu saja.