Ultramarine 1 Flash vs Claude Haiku 4.5: Dua Angka Biaya per Tugas yang Tidak Mengukur Hal yang Sama

Kedua model dalam perbandingan ini sama-sama mempublikasikan biaya per tugas, dan godaannya adalah menyandingkan angka-angka itu lalu menguranginya. Paper Instruments mengatakan Ultramarine 1 Flashmenyelesaikan sebuah pekerjaan dengan biaya $0,13. Artificial Analysis mengukur Claude Haiku 4.5dalam konfigurasi penalarannya, sebesar $0,28 per tugas Intelligence Index yang diselesaikan. Yang satu kurang dari setengah yang lain, dan jika itu adalah gambaran keseluruhan, keputusan itu akan memakan waktu sepuluh detik. Itu bukan gambaran keseluruhan, karena kedua angka itu berasal dari rangkaian pengujian berbeda yang meminta model melakukan hal-hal yang berbeda, dan memahami rangkaian mana yang menyerupai pekerjaan Anda adalah keseluruhan perbandingannya. Tarifnya sendiri bahkan lebih berjauhan lagi: $0,15 per juta input dan $0,50 output untuk model Paper Instruments, dibandingkan $1,00 dan $5,00 untuk milik Anthropic — selisih 6,7x pada input dan 10x pada output.

Ada asimetri kedua. Claude Haiku 4.5 memiliki skor yang dipublikasikan dari sebuah lab yang bukan pembuatnya. Ultramarine 1 Flash memiliki skor yang dipublikasikan dari perusahaan yang melatihnya, pada rangkaian yang dibangun perusahaan itu. Kedua fakta itu lebih penting di sini daripada angka benchmark tunggal mana pun, dan keduanya tidak muncul dalam perbandingan berdampingan.

Dua kartu tarif, dan baris yang tidak sama pada keduanya

Angka Ultramarine adalah harga API yang dipublikasikan Paper Instruments dan evaluasinya sendiri yang dipublikasikan. Harga Claude Haiku 4.5 adalah daftar tarif Anthropic; angka evaluasinya adalah pengukuran Artificial Analysis, yang diberi label demikian.

• Input — Ultramarine 1 Flash $0,15 per juta token vs Claude Haiku 4.5 $1,00. Model Anthropic biayanya 6,7x lebih mahal untuk input.

• Input yang di-cache — $0,03 vs $0,10 per juta, diskon 90% di sisi A​nthropic dibandingkan diskon 80% di sisi Paper Instruments. Selisih absolutnya tetap lebar, yang proporsional menyempit.

• Output — $0.50 vs $5.00 per juta. 10x, dan inilah baris di mana perbedaannya benar-benar terasa, karena pekerjaan dokumen menghasilkan output yang sangat banyak.

• Konteks — 131.072 token dalam konfigurasi pelatihan yang ditetapkan dalam laporan teknis vs 200.000 pada kartu tarif Haiku. A​nthropic memiliki sekitar 1,5x lebih banyak.

• Output maksimum — tidak dipublikasikan oleh Paper Instruments vs 64.000 token untuk Claude Haiku 4.5. Satu sel kosong dalam daftar.

• Input — Claude Haiku 4.5 menerima teks, gambar, dan unggahan file. Ultramarine 1 Flash dibangun di seputar pekerjaan teks dan dokumen; basisnya, GLM-5.3 Flash, secara bawaan multimoda, tetapi Paper Instruments tidak mempublikasikan daftar modalitas untuk turunannya.

• Biaya terukur per tugas yang diselesaikan — $0,13 pada PI Knowledge Work untuk Ultramarine 1 Flash vs $0,28 pada Intelligence Index untuk Claude Haiku 4.5 (penalaran). Angka-angka yang akan dikutip orang satu sama lain. Bagian berikutnya menjelaskan mengapa keduanya bukan satuan yang sama.

Apa yang sebenarnya dicakup oleh setiap skor

Catatan yang dipublikasikan untuk Claude Haiku 4.5 hadir dalam dua konfigurasi dan keduanya layak dibedakan, karena hasil pencarian biasanya akan menunjukkan yang salah. Artificial Analysis mencantumkan konfigurasi non-reasoning pada Indeks Kecerdasan 15 dengan 87,3 token keluaran per detik. Konfigurasi reasoning — yang disertai angka biaya per tugas, dan yang digunakan di seluruh artikel ini — terukur pada Indeks Kecerdasan 17, 90,0 token keluaran per detik, $1,00 input dan $5,00 output per juta, diskon cache 90%, $0,28 per tugas Index yang diselesaikan, dan verbositas 78 juta token keluaran. Jendela konteksnya adalah 200.000 token dengan batas pengetahuan Juli 2025, dan ia menerima teks dan gambar.

The Intelligence Index disusun dari evaluasi matematika, pengodean, penalaran, dan agentik. Tidak ada tes komponennya yang meminta model untuk menghasilkan dek dewan direksi, memo uji tuntas, atau model Excel dengan forecast langsung di dalamnya, karena artefak tersebut tidak memiliki jawaban benar yang tunggal dan tolok ukur yang menilainya akan memerlukan rubrik per tugas.

Itulah tepatnya yang dibangun Paper Instruments, dan itulah tepatnya alasan mengapa perbandingan ini tidak bisa berupa pengurangan. PI Knowledge Work adalah rangkaian hasil kerja siap klien di bidang keuangan, hukum, konsultasi, dan operasi, yang dinilai tugas per tugas oleh model penilai rubrik berdasarkan rubrik yang telah dibuat. Ultramarine 1 Flash memperoleh skor 59,3 di sana dengan biaya $0,13 per tugas. Skor 59,3 pada rubrik hasil kerja dokumen dan skor 17 pada indeks matematika dan pemrograman bukanlah kuantitas yang dapat dibandingkan. Angka biayanya pun tidak, karena sebuah tugas dalam satu rangkaian bisa satu orde besaran lebih panjang daripada tugas dalam rangkaian lainnya.

Yang didukung oleh kombinasi ini memang lebih sempit, tetapi tetap berguna. Claude Haiku 4.5 telah diukur oleh pihak yang tidak memiliki kepentingan terhadapnya, pada tes yang tidak dirancang oleh siapa pun di A​nthropic. Ultramarine 1 Flash belum. Itu bukan kritik terhadap angka-angka Paper Instruments — perusahaan itu mengungkapkan metodenya dengan detail yang tidak biasa — tetapi itu adalah perbedaan dalam jenis bukti yang ditawarkan, dan pembeli yang menyodorkan pilihan itu ke hadapan komite risiko akan langsung menyadarinya.

Di mana Claude Haiku 4.5 menang tanpa perdebatan

Tiga tempat, dan tak satu pun dari itu tentang menjadi lebih pintar.

Input multimodal adalah yang paling jelas. Kontrak yang dipindai, tangkapan layar dari spreadsheet yang rusak, foto papan tulis — semua itu masuk ke Claude Haiku 4.5 melalui antarmuka yang telah mendukungnya, tanpa perubahan, selama setahun. Ultramarine 1 Flash bertumpu pada model dasar yang membaca gambar dan video, tetapi vendor tidak menerbitkan daftar modalitas untuk turunannya, dan tidak ada contoh dalam laporan teknis yang bergantung pada gambar yang harus dilihat oleh model. Jika dokumen Anda datang dalam bentuk pindaian, ini memutuskan pertanyaan itu dengan sendirinya.

Kematangan operasional adalah yang kedua. Pada model yang memiliki pengalaman lalu lintas produksi selama setahun, mode kegagalannya sudah ditemukan dan didokumentasikan oleh orang-orang yang tidak dibayar untuk menemukannya. Model yang diterbitkan pada 14 Oktober 2026 belum demikian, dan minggu pertama dari endpoint baru mana pun adalah saat Anda mempelajari apa yang dilakukannya di bawah beban.

Verifikasi independen adalah yang ketiga, dan itulah yang efeknya berlipat ganda. Setiap bulan tambahan dalam masa hidup Haiku 4.5 adalah bulan lain di mana seseorang menjalankannya pada pekerjaannya sendiri dan mencatat apa yang terjadi.

Ketika kesenjangan menyusut hingga hampir tidak ada — dan mengapa aritmetikanya menyesatkan

Angka menonjol 10x pada output itu nyata, dan pada pekerjaan dokumen panjang hal itu menghasilkan tagihan yang persis seperti yang Anda perkirakan. Yang disembunyikan oleh angka menonjol itu adalah bahwa ekonomi per tugas dari kedua model dapat konvergen, karena satu tugas pada PI Knowledge Work bukanlah kuantitas pekerjaan yang sama dengan satu tugas pada Intelligence Index — dan karena model A​nthropic dalam praktiknya adalah model yang sangat banyak di-cache.

Ada angka kontraintuitif di sisi Paper Instruments yang layak dibaca dengan saksama. Di enam benchmark-nya, Ultramarine 1 Flash menghasilkan 6,5% lebih sedikit token keluaran daripada model GLM-5.3 Flash yang menjadi dasar post-training-nya — 30,5 juta berbanding 32,7 juta, termasuk penalaran — sekaligus mencetak skor lebih baik pada keenamnya. Efisiensi token yang meningkat bukanlah arah lazim dalam proses post-training, dan pada kartu tarif per juta token, ini adalah diskon kedua yang bertumpuk di atas diskon pertama. Itulah satu-satunya perbandingan di halaman Paper Instruments yang kedua sisinya diukur dengan metode yang sama pada suite yang sama, yang menjadikannya angka paling dapat dipercaya dalam rilis ini.

Sebaliknya, Claude Haiku 4.5 adalah model yang lebih murah dalam satu perbandingan yang tidak diiklankan siapa pun: dengan $0,28 per tugas Index yang diselesaikan, harganya cocok untuk suite yang tugasnya lebih pendek dan kurang agentik daripada memo uji tuntas. Hadapkan masing-masing pada hasil kerja hukum atau keuangan yang nyata, dan angka $0,13 itu tidak pernah mengukur unit kerja yang sama dengan angka $0,28.

Kedua model tersedia pada satu kunci melalui OrcaRouter jika Anda ingin menyelesaikannya secara empiris ketimbang dengan membaca. Claude Haiku 4.5 dilayani pada $1,00 dan $5,00 per juta token dengan tidak ada tambahan per token — harga daftar penyedia diteruskan apa adanya, sehingga perubahan tarif vendor langsung berlaku di sisi kami pada hari yang sama, yang bagi model yang harganya pernah berubah bukanlah sifat yang remeh. Menjalankan dua puluh dokumen yang sama melalui keduanya dan membaca tagihannya lebih murah daripada rapat tentang mana yang harus dipilih, dan itu menghasilkan angka, bukan argumen.

Keputusan itu, dinyatakan sebagai sebuah percabangan.

Jika masukannya adalah dokumen yang dipindai seseorang atau tangkapan layar, jawabannya adalah Claude Haiku 4.5 dan tidak ada lagi yang perlu dibahas.

Jika inputnya teks dan outputnya adalah deliverable yang sudah jadi — sebuah model, dek, atau memo — dan volumenya cukup tinggi sehingga $0,15 versus $1,00 pada input mengubah bentuk proyek, Ultramarine 1 Flash layak diuji coba pada pekerjaan Anda sendiri. Usianya baru sehari. Angka $0,13 dilaporkan vendor berdasarkan suite yang dibuat vendor, dan belum ada evaluasi independen. Namun daftar tarifnya nyata, perbandingan efisiensi token diukur dengan satu-satunya cara yang bisa diukur secara jujur, dan peningkatan atas model dasarnya sendiri pada empat benchmark yang dipimpinnya konsisten, bukan dipilih-pilih.

Jika beban kerja Anda mencakup keduanya, langkah yang berguna bukanlah memilih. Aturan perutean dapat mempertahankan jalur dokumen hasil pemindaian pada model Anthropic dan mengirim jalur teks-ke-hasil-akhir ke salah satu dari keduanya yang memenuhi standar kualitas Anda pada sampel — dan jika yang lebih baru tumbang, permintaan dialihkan ke yang lebih lama tanpa perubahan kode dan tanpa kontrak kedua untuk ditandatangani.

Yang akan menyelesaikan pertanyaan terbuka ini adalah satu evaluasi independen atas Ultramarine 1 Flash pada rangkaian uji yang tidak ditulis oleh pembuatnya. Sampai itu ada, posisi yang jujur adalah bahwa Claude Haiku 4.5 adalah model yang perilakunya dapat Anda prediksi dan Ultramarine 1 Flash adalah model yang, dari sisi harga, ingin bisa Anda gunakan. Tidak ada yang diterbitkan hari ini yang mengatakan Anda tidak bisa. Tidak ada yang diterbitkan hari ini, kecuali halaman vendor sendiri, yang mengatakan Anda bisa.

Perbandingan seperti ini juga menjadi tempat munculnya mode kegagalan: insiden AI yang terdokumentasi dan kegagalan agen di balik model di kelas ini dikumpulkan di OrcaRouter AI Incident Archive, di mana setiap entri membawa sumbernya sendiri, tingkat keparahan, nilai keyakinan, dan penanda disengketakan.