Kartu judul yang dihasilkan untuk Ultramarine 1 Flash bertuliskan 'model kerja dokumen Paper Instruments seharga $0,13 per tugas', dengan satu kartu yang mencantumkan biaya per tugas $0,13, harga input $0,15 per 1 juta token, harga output $0,50 per 1 juta, model dasar GLM-5.3 Flash, konteks 131.072, dan bobot model 'segera hadir', diberi pita bertuliskan 'Dilatih untuk menyelesaikan model Excel, dek, atau memo' dan catatan kaki bahwa semua angka adalah milik Paper Instruments sendiri dan belum diaudit.
Guides & Insights

Ultramarine 1 Flash: Paper Instruments Merilis Model yang Dapat Diserahkan dengan Biaya $0,13 per Tugas

Penulis

Gideon Frost

Tanggal Terbit

Model terbaru · 20Lihat semua model →
Benchmark: Artificial Analysis · diperbarui setiap hari
Kembali ke semua artikel

Paper Instruments menerbitkan Ultramarine 1 Flash pada 14 Oktober 2026, dan angka yang dijadikan andalan perusahaan itu bukanlah skor benchmark. Itu adalah harga: $0.13 untuk menyelesaikan satu tugas di PI Knowledge Work, rangkaian internal perusahaan tersebut untuk pekerjaan keuangan, hukum, konsultasi, dan operasi. Model yang memerlukan biaya $8.19 untuk menyelesaikan tugas yang sama — Claude Fable 5 pada penalaran maksimum — memperoleh skor 57.8 di sana. Ultramarine 1 Flash memperoleh skor 59.3. Bacalah pasangan itu sebagaimana vendor membingkainya, dan Anda mendapatkan model yang mengalahkan sistem terdepan dengan biaya sekitar seperenam puluh tiga dari biaya tersebut. Bacalah lebih cermat, dan Anda mendapatkan sesuatu yang lebih sempit dan lebih menarik: model yang dibangun untuk jenis keluaran tertentu, diberi harga sesuai tarif yang dikenakan model dasarnya sendiri, dengan benchmark yang menyatakan hal itu, yang ditulis oleh perusahaan yang menjualnya.

Model dasarnya layak disebutkan di awal, karena itu menjelaskan sebagian besar harga. Ultramarine 1 Flash adalah pasca-pelatihan dari GLM-5.3 Flash, model multimodal native 320B-total / 18B-aktif dari Z.ai, yang ditingkatkan melalui pembelajaran penguatan berskala besar alih-alih dibangun dari nol. Tarif API-nya adalah $0.15 per juta token input, $0.03 input cache, dan $0.50 output — identik dengan milik GLM-5.3 Flash, yang merupakan arti dari "sama seperti GLM-5.3 Flash" pada blok harga vendor itu sendiri.

Apa yang sudah dirilis, dan apa yang masih sebatas janji

Pada hari peluncuran, ada dua hal yang benar, dan jarak di antara keduanya adalah kisah yang akan disederhanakan oleh banyak liputan.

Ultramarine API sudah aktif. Anda dapat mengirimkan pekerjaan ke API ini hari ini dan membayar tarif di atas. Halaman arahan menautkannya di bawah baris sederhana "Ultramarine API →".

Bobotnya tidak. Halaman yang sama mengatakan "Bobot model akan segera hadir," dan laporan teknis menggambarkan GLM-5.3 Flash sebagai "model dasar terbuka yang kuat" — yang merupakan pernyataan tentang dasar, bukan tentang turunannya. Ultramarine 1 Flash, saat ini, adalah endpoint hosted tertutup dengan niat membuka bobot. Apakah pada akhirnya ia benar-benar terbuka adalah pertanyaan terbuka tunggal terbesar tentangnya, dan itulah yang sudah dijawab oleh banyak ringkasan dari sumber kedua dengan asumsi, bukan dengan pemeriksaan.

Yang benar-benar dibuka pada hari peluncuran adalah perancahnya. Feather agent harness, yaitu lingkungan tempat model dilatih dan dievaluasi, diterbitkan sebagai repositori. Begitu pula paper-docx, paper-pptx, dan paper-xlsx, fork Paper Instruments dari pustaka Office Python standar, yang digunakan model untuk membuat buku kerja Excel, dek PowerPoint, dan dokumen Word. Fork-fork itu ada karena, menurut penuturan perusahaan sendiri, agen yang menjalankan python-docx dan kawan-kawan "menemui celah API, masuk ke OOXML mentah, dan menciptakan kerusakan serta regresi yang senyap."

Keenam tolok ukur, termasuk dua yang tidak dimenanginya.

Paper Instruments dievaluasi pada enam suite. Ultramarine 1 Flash unggul pada empat di antaranya dan tidak unggul pada dua, yang merupakan ringkasan yang lebih berguna daripada rata-rata.

• JobBench — 62,9 untuk Ultramarine 1 Flash, unggul dari Gemini 3.8 Flash pada 60,6 dan DeepSeek V4.1 Flash pada 60,4, dengan Claude Fable 5 pada 57,4 dan GPT-5.6 Sol pada 45,4.

• PI Knowledge Work, rangkaian internal — 59.3, unggul dari Claude Fable 5 pada 57.8 dan GPT-5.6 Sol pada 55.1.

• FrontierFinance — 53,3, mengungguli GLM-5.3 Flash pada 50,7 dan Gemini 3.8 Flash pada 50,0.

• AutomationBench — kedua. DeepSeek V4.1 Flash meraihnya di angka 51.3 melawan 50.2 milik Ultramarine.

• DiligenceBench — ketiga. Gemini 3.8 Flash memimpin dengan 53,1, Claude Fable 5 kedua dengan 52,9, Ultramarine 1 Flash berada di 50,6.

• APEX-Agents 1.1 — ketiga. Gemini 3.8 Flash pada 64,3 dan Claude Fable 5 pada 63,6 keduanya melampauinya; Ultramarine 1 Flash berada di 57,0, masih jauh di depan GPT-5.6 Sol pada 51,5 dan DeepSeek V4.1 Flash pada 39,5.

Pola dalam kekalahan-kekalahan itu konsisten dan layak diberi nama: Ultramarine 1 Flash paling kuat ketika hasil yang diserahkan adalah dokumen dan paling lemah ketika tugasnya adalah loop agen langsung atas sistem-sistem. DiligenceBench adalah evaluasi agen riset ekuitas; APEX-Agents adalah rangkaian agentik. AutomationBench adalah otomatisasi. Dua tolok ukur yang dibangun oleh penerbitnya sendiri seputar luaran perkantoran adalah dua yang dimenangkannya dengan margin terlebar.

A generated single-column scoreboard titled 'Ultramarine 1 Flash - the scoreboard' with six rows: cost per task $0.13, JobBench 62.9, PI Knowledge Work 59.3, input price $0.15 per 1M tokens, output price $0.50 per 1M and model weights 'coming soon', footnoted that all six figures are Paper Instruments' own and unaudited with no independent evaluation yet.

Mengapa skornya terlihat seperti itu

Hampir semua pekerjaan profesional tidak dapat diperiksa oleh parser. Memo uji tuntas tidak dikompilasi dan dek dewan tidak memiliki uji unit, jadi tidak ada regex yang dapat mengatakan apakah salah satunya benar. Itulah masalah yang hendak diserang Paper Instruments, dan jawabannya dapat dikutip kata per kata: "kami menskalakan sintesis tugas yang tidak dapat diverifikasi di seluruh pekerjaan pengetahuan agentik."

Mekanismenya adalah kurikulum. Empat domain — keuangan, hukum, konsultasi, operasi — berkembang menjadi 19 bidang praktik dan 88 jenis lingkungan yang berbeda, yang masing-masing mengambil sampel taksonomi sumbu: format keluaran, konflik sumber, pemangku kepentingan, tahap transaksi. Perusahaan menempatkan ruang konfigurasi nominal di suatu tempat antara 10⁷ dan 10¹⁰ kombinasi per bidang praktik, yang merupakan pertahanan terhadap mode-collapse sekaligus klaim skala. Setiap lingkungan adalah ruang kerja nyata: sistem berkas yang dibangun dari berkas SEC EDGAR, laporan analis, dan kontrak sintetis, plus sistem pencatatan langsung — ERP, CRM, WMS, MES, GRC — yang diakses melalui MCP, HTTP, dan CLI.

Penilaian adalah bagian yang membuat ini tidak biasa. Setiap tugas disertai rubrik, dan setiap kriteria ditulis untuk menarik batas atas jawaban yang dapat diterima alih-alih menuntut satu jawaban. Contoh kerja dalam laporan itu sendiri membandingkan kriteria overfit yang menolak dua dari tiga jawaban benar dengan kriteria samar yang menerima tiga jawaban salah, lalu menunjukkan versi yang ditulis ulang sesuai dengan batas tersebut. Deliverable diurai dan diserahkan ke penilai rubrik — paket open-source milik perusahaan, dengan GPT-5.6 Terra sebagai model penilai. Pelatihan berjalan pada konteks 131,072 token dengan batas maksimum agen 250 giliran dan pemadatan pada 85% jendela.

Desain itu adalah sumber dari hasil sekaligus catatan yang perlu diperhatikan. Itulah alasan model semurah ini bisa mencetak skor mendekati sistem frontier pada pekerjaan dokumen: distribusi tugasnya direkayasa agar menyerupai pekerjaan dokumen. Itu juga alasan angka-angka ini perlu diberi label. Ini adalah benchmark milik vendor sendiri, dinilai oleh penilai milik vendor sendiri, pada tugas yang ditulis vendor itu sendiri. Paper Instruments melaporkan bahwa PI Knowledge Work berkorelasi dengan Artificial Analysis Intelligence Index pada r = 0,81, yang merupakan angka serius dan jawaban yang baru sebagian — tetapi korelasi di sisi pagar vendor tetaplah berada di sisi pagar vendor. Belum ada pihak ketiga yang menerbitkan evaluasi independen atas Ultramarine 1 Flash, dan model tersebut baru berumur satu hari.

A screenshot of Paper Instruments' Ultramarine landing page, headed 'Ultramarine 1 Flash - An open model for professional work', carrying the claim that it is 'Fable-class on knowledge work spanning finance, law, consulting, and operations' and '60x cheaper than Fable'.

Klaim yang tidak berlaku pada grafik

Hal yang paling dapat dipertahankan dari rilis ini juga yang paling sedikit dikutip: model ini menghasilkan 6,5% lebih sedikit token keluaran daripada model dasarnya di semua enam tolok ukur. 30,5 juta berbanding 32,7 juta, termasuk penalaran. Dalam tagihan per tugas, itulah perbedaan antara model yang lebih murah dan model yang lebih murah yang juga lebih murah untuk dijalankan, dan itu jenis rekayasa yang muncul di tagihan alih-alih di papan peringkat.

Klaim yang tidak sepenuhnya berlaku adalah frontier biaya-kualitas. Pada PI Knowledge Work, GPT-6 Luna pada penalaran maksimum mencetak skor 58,3 dengan biaya $0,11 per tugas. Skor terbaik Ultramarine 1 Flash adalah 59,3 dengan biaya $0,13. Selisih satu poin dan dua sen cukup sempit sehingga "berada di frontier biaya-kualitas pada titik harga paling menarik" merupakan pernyataan posisi, bukan fakta — yang, patut diakui, ditampilkan oleh bagan milik vendor sendiri bagi siapa pun yang membaca melewati entri utama. Model yang tertinggal satu poin dengan harga dua sen lebih murah adalah alternatif nyata untuk pekerjaan bervolume tinggi, dan versi jujur dari rilis ini adalah bahwa Ultramarine 1 Flash berada di depan sebuah klaster kecil, bukan sendirian di sebuah frontier.

Di mana itu cocok kalau kamu mau menyebutnya begitu

Ultramarine 1 Flash bukan model serbaguna dan tidak berpura-pura menjadi demikian. Inputnya teks, dan outputnya buku kerja Excel, dek PowerPoint, atau dokumen Word, dengan kemampuan untuk bertindak di dalam sistem bisnis saat melakukannya. Jika beban kerja Anda berupa dokumen, ini sekarang menjadi salah satu cara paling murah yang kredibel untuk menghasilkannya.

Ultramarine 1 Flash tidak ada di katalog kami. Model yang menjadi basis post-training-nya adalah: GLM-5.3 Flash disajikan di OrcaRouter dengan harga $0,15 untuk input dan $0,50 untuk output per juta token dengan tanpa tambahan per token, dan tarifnya adalah harga daftar penyedia yang diteruskan apa adanya, jadi jika Z.ai mengubah angkanya, angka yang disajikan ikut berubah pada hari yang sama. Hal itu lebih penting daripada biasanya untuk rilis seperti ini, karena seluruh argumen untuk Ultramarine 1 Flash adalah aritmetika yang dilakukan terhadap kartu tarif model dasar. Secara terpisah, empat dari model yang menjadi pembandingnya — GPT-5.6 Sol, DeepSeek V4.1 Flash, Gemini 3.8 Flash, dan Kimi K3 — dapat diakses dari endpoint yang sama, yang berarti Anda dapat menguji perbandingan dari vendor tersebut pada dokumen Anda sendiri, bukan pada dokumen mereka.

A screenshot of OrcaRouter's model page for z-ai/glm-5.3-flash, headed 'GLM 5.3 Flash', showing 320B total / 18B active parameters, a 1M-token context, text + image + video in and text out, and the served rate of $0.15 input and $0.50 output per 1M tokens.

Apa yang akan mengubah penilaian?

Tiga hal, dalam urutan menurun berdasarkan seberapa besar pengaruhnya.

Satu evaluasi independen pada suite yang tidak ditulis oleh siapa pun di Paper Instruments. Vendor telah mengundang hal ini dengan menerbitkan korelasi dengan indeks pihak ketiga; langkah berikutnya adalah orang lain yang menerbitkan skornya.

Bobotnya. "Segera hadir" hanyalah placeholder, dan sampai itu terwujud, "model terbuka" adalah deskripsi niat yang tidak dibuktikan oleh rilis ini. Jika bobot itu benar-benar hadir, model dengan 18B parameter aktif yang disetel untuk pekerjaan dokumen menjadi sesuatu yang bisa Anda jalankan sendiri, dan angka $0.13 berhenti menjadi satu-satunya cara untuk membeli kemampuan ini.

Tolok ukur yang tidak dimenangkannya secara desain. Empat rangkaian uji tempat ia memimpin memberi tahu Anda bahwa ia bagus pada hal yang dilatihkan kepadanya. Dua rangkaian uji tempat ia tertinggal memberi tahu Anda di mana agen umum masih mengalahkan spesialis. Siapa pun yang merencanakan pipeline agen hukum atau keuangan harus membaca kedua baris itu dan baris $0.13 bersama-sama, lalu memutuskan mana yang menggambarkan beban kerja mereka.

Perbandingan seperti ini juga menjadi tempat munculnya mode kegagalan: insiden AI yang terdokumentasi dan kegagalan agen di balik model di kelas ini dikumpulkan di OrcaRouter AI Incident Archive, di mana setiap entri membawa sumbernya sendiri, tingkat keparahan, nilai keyakinan, dan penanda disengketakan.

Dibandingkan dalam artikel ini3

Terdeteksi dari artikel ini · Benchmark: Artificial Analysis · diperbarui setiap hari