Ultramarine 1 Flash vs GPT-5.6 Luna: Dua Model yang Tidak Pernah Muncul di Papan Skor yang Sama

Hal pertama yang perlu diperhatikan tentang pasangan ini adalah apa yang hilang dari bagan vendor itu sendiri. Paper Instruments menerbitkan Ultramarine 1 Flash pada 14 Oktober 2026 dengan enam tabel tolok ukur dan plot biaya-kualitas yang mencakup sekitar tiga puluh konfigurasi model. GPT-5.6 Luna tidak ada di plot. Bukan pada upaya rendah, bukan pada upaya sedang, bukan pada upaya maksimum. Model sekerabatnya, GPT-5.6 Sol, ada di sana pada setiap tingkat upaya; sebuah model bernama GPT-6 Luna ada di sana pada 58,3 untuk $0,11 per tugas; GPT-5.6 Luna tidak muncul sama sekali. Dan di sisi lain, Artificial Analysis memiliki entri untuk GPT-5.6 Luna — Indeks Kecerdasan 37, $0,18 per tugas yang diselesaikan, 115,4 token keluaran per detik — dan tidak ada entri untuk Ultramarine 1 Flash sama sekali. Dua model yang dirilis dengan selisih tiga bulan, keduanya ditujukan untuk pekerjaan murah bervolume tinggi, dan tidak ada pihak ketiga yang pernah mengukur salah satunya pada tolok ukur yang memuat yang lain.

Ketiadaan itu adalah perbandingannya. GPT-5.6 Luna adalah tier cepat dan hemat biaya milik OpenAI dari keluarga GPT-5.6, dirilis pada 9 Juli 2026, membawa skor independen dalam komposit sepuluh evaluasi. Ultramarine 1 Flash adalah pasca-pelatihan reinforcement learning dari GLM-5.3 Flash, dengan harga $0.15 untuk input / $0.50 untuk output per juta token, dibangun untuk menghasilkan buku kerja Excel, dek slide, dan memo Word alih-alih jawaban, serta hanya membawa angka dari pembuatnya. Semua yang ada di bawah ini adalah tentang apa yang dapat dan tidak dapat disimpulkan dari susunan tersebut.

Di mana kedua catatan itu sebenarnya berada

Angka Luna adalah pengukuran Artificial Analysis pada API milik OpenAI sendiri. Angka Ultramarine adalah tarif yang dipublikasikan Paper Instruments dan evaluasi yang dipublikasikan sendiri olehnya, dengan angka konteksnya diambil dari konfigurasi pelatihan dalam laporan teknisnya.

• Skor independen — Intelligence Index 37 pada upaya maksimum, keempat dari 148 model di kelasnya, untuk GPT-5.6 Luna vs tanpa evaluasi independen dalam bentuk apa pun untuk Ultramarine 1 Flash.

• Harga input, pada kartu tarif — $0,20 per juta token vs $0,15. Model Paper Instruments 25% lebih murah di sisi input.

• Harga output — $1,20 vs $0,50 per juta. 2,4x, selisih terlebar dalam pasangan ini.

• Input yang di-cache — $0.02 per juta (diskon 90%) untuk Luna vs $0.03 (diskon 80%). Selisih satu sen, yang menguntungkan OpenAI.

• Konteks — 1.050.000 token pada kartu tarif Luna vs 131.072 dalam konfigurasi pelatihan Ultramarine. Delapan kali lipat jendelanya, dan satu-satunya baris di mana selisihnya tidak tipis.

• Output maksimum — 128.000 token vs tidak dipublikasikan

• Biaya terukur per tugas yang diselesaikan — $0,18 pada Intelligence Index untuk Luna (upaya maksimal) vs $0,13 pada PI Knowledge Work untuk Ultramarine 1 Flash. Dua rangkaian pengujian yang berbeda, dua jenis tugas yang berbeda, dua angka yang tampak sebanding tetapi tidak.

• Token pertama — 121,46 detik untuk Luna pada upaya maksimum di API OpenAI, dibandingkan dengan median 1,85 detik untuk kelas harganya; tidak dipublikasikan untuk Ultramarine 1 Flash dalam bentuk apa pun.

Token pertama dua menit, dan mengapa itu adalah pengaturan bukan cacat

Angka 121,46 detik itu pantas mendapat bagiannya sendiri, karena angka semacam itulah yang dikutip sebagai cacat padahal sebenarnya merupakan sebuah parameter.

GPT-5.6 Luna pada upaya penalaran maksimum menjalankan deliberasinya sebelum mengeluarkan apa pun. Pada Intelligence Index, ia menghasilkan 115,4 token keluaran per detik begitu mulai dan total 150 juta token keluaran untuk menyelesaikan suite — peringkat ke-41 dari 60 di kelasnya dalam hal verbositas, digambarkan oleh Artificial Analysis sebagai agak bertele-tele dibandingkan median 95 juta. Skor Intelligence Index sebesar 37 diukur pada pengaturan maksimum tersebut.

Model ini mendukung upaya yang dapat dikonfigurasi, yang berarti bobot yang sama yang butuh dua menit untuk mulai dapat disetel ke tingkat yang merespons segera, dengan skor yang lebih rendah. OpenAI tidak menerbitkan rincian per tingkat upaya pada catatan Artificial Analysis, sehingga besarnya penurunan itu tidak diungkapkan — panggilan default berada di suatu tempat di bawah 37 dengan selisih yang belum diukur oleh siapa pun di luar OpenAI. Untuk langkah fan-out ketika seratus panggilan murah masing-masing menyusun sesuatu yang singkat, itulah konfigurasi yang tepat. Untuk satu tugas sulit di akhir rantai, upaya maksimumlah yang tepat. Keduanya adalah model yang sama dan tidak ada yang salah konfigurasi.

Ultramarine 1 Flash tidak menerbitkan angka latensi, angka throughput, maupun waktu ke token pertama. Laporan teknisnya memang mengungkapkan envelope operasi tempat ia dilatih dan dievaluasi — 131.072 token konteks, batas 250 putaran pada loop agen, pemadatan yang dipicu pada 85% jendela atau ketika tersisa 30.000 token — dan harness yang dibangun untuk memadatkan memori kerjanya sendiri adalah harness yang dibangun untuk pekerjaan panjang. Itu adalah inferensi tentang bentuk tugas, bukan bukti tentang kecepatan, dan posisi yang jujur adalah bahwa satu sisi dari perbandingan ini memiliki masalah latensi yang terukur dan sisi lainnya tidak memiliki pengukuran.

Apa yang diukur oleh tolok ukur deliverable yang tidak dapat diukur oleh indeks kecerdasan

Alasan kedua model itu tidak pernah bertemu bukanlah kebetulan dalam penjadwalan. Benchmark-benchmark tersebut dengan sengaja mengukur hal-hal yang berbeda.

Intelligence Index yang memberi Luna skor 37 adalah komposit dari sepuluh evaluasi — AA-Briefcase, GDPval-AA, AutomationBench, dan lainnya — yang masing-masingnya memiliki jawaban yang dapat diperiksa oleh penilai. Itulah yang membuatnya dapat direproduksi, dan itulah sebabnya evaluator yang tidak memiliki kepentingan pada model mana pun dapat menjalankannya dan mempublikasikan angka yang dapat dibandingkan untuk semua orang.

PI Knowledge Work dibangun justru karena bagian-bagian pekerjaan profesional yang dapat direproduksi bukanlah bagian yang penting. Memo uji tuntas tidak dikompilasi. Dek presentasi dewan tidak punya unit test. Model penetapan harga dengan proyeksi langsung di dalamnya akan salah dengan cara yang tidak dapat dilihat oleh penilai pilihan ganda. Karena itu, Paper Instruments menulis rubrik, satu per tugas, masing-masing kriteria digambarkan sebagai batas atas jawaban yang dapat diterima, bukan sebagai tuntutan akan satu jawaban. Laporannya membandingkan kriteria overfit yang menolak dua dari tiga respons yang benar dengan kriteria samar yang menerima tiga jawaban yang salah, lalu menunjukkan versi yang ditulis ulang yang sesuai dengan batas tersebut — sebuah demonstrasi yang adil tentang mengapa hal ini sulit dan peringatan yang adil tentang seberapa besar bobot yang seharusnya diberikan pada satu skor rubrik.

Yang membuat angka-angka hasilnya bernilai, dinyatakan secara gamblang: Ultramarine 1 Flash mencetak skor 59,3 pada suite itu dengan biaya $0,13 per tugas. GPT-5.6 Sol, saudara lebih besar Luna, mencetak skor 55,1 dengan biaya $2,09, dan muncul di keenam tabel Paper Instruments — 45,4 pada JobBench versus 62,9 milik Ultramarine, 46,8 pada FrontierFinance versus 53,3, 51,5 pada APEX-Agents 1.1 versus 57,0. Vendor itu melaporkan bahwa suite-nya berkorelasi dengan Artificial Analysis Intelligence Index pada r = 0,81, yang merupakan angka serius dan angka yang diperoleh dari pihak kedua. Tidak ada pihak ketiga yang menjalankan Ultramarine 1 Flash pada apa pun.

Perbandingan yang diukur dengan cara yang sama di kedua sisi

Ada tepat satu kelas pengukuran dalam pasangan ini di mana angka masing-masing pihak tidak bergantung pada metodologi pihak lain: efisiensi token, diukur dalam satu suite oleh satu harness.

Artificial Analysis mencatat GPT-5.6 Luna pada 150 juta token keluaran untuk menyelesaikan Intelligence Index, 58% di atas median 95 juta untuk kelasnya. Angka itu berada di balik $0.18 per tugas — model cepat yang menulis sangat banyak bukan cara termurah untuk membeli tugas yang sudah selesai, dan peringkat verbositas membuat alasannya terlihat.

Paper Instruments membuat klaim yang berlawanan tentang modelnya sendiri, dan melakukannya dengan cara yang dapat diperiksa alih-alih sekadar dinyatakan. Di seluruh enam tolok ukurnya, Ultramarine 1 Flash menghasilkan 6,5% lebih sedikit token keluaran daripada GLM-5.3 Flash, model yang menjadi dasar pasca-pelatihannya — 30,5 juta berbanding 32,7 juta, termasuk penalaran — sekaligus mencetak skor lebih tinggi pada keenamnya. Kedua sisi perbandingan itu menggunakan harness yang sama pada tugas yang sama, sehingga tidak rentan terhadap kritik yang membayangi semua hal lain di sini. Ini juga arah yang tidak diperoleh secara cuma-cuma: pasca-pelatihan sama seringnya membuat model jadi lebih cerewet sebagaimana membuatnya lebih pendiam.

Bagi siapa pun yang tagihannya didominasi oleh token keluaran, itulah fakta yang paling dapat ditransfer dalam rilis ini. Ini tidak mengatakan bahwa Ultramarine 1 Flash lebih hemat daripada GPT-5.6 Luna. Ini mengatakan bahwa relasi "yang lebih pendek dari keduanya berdasarkan model dasar" tetap berlaku, pada suite yang belum pernah direproduksi oleh siapa pun di luar perusahaan.

Menjalankan tesnya sendiri

GPT-5.6 Luna disajikan di OrcaRouter dengan harga $0.20 untuk input dan $1.20 untuk output per juta token, dengan tingkat effort yang diatur per permintaan. Itulah harga daftar penyedia yang diteruskan dengan tanpa tambahan apa pun per token, yang penting bagi model yang harganya sudah pernah bergerak sekali — pemotongan 80% yang diterapkan OpenAI pada awal tahun ini tercermin di sini tanpa perlu ada pihak yang menegosiasikan ulang kontrak. Endpoint yang sama juga menjangkau GPT-5.6 Sol, Claude Fable 5, DeepSeek V4 Flash, dan GLM-5.3 Flash, yang terakhir merupakan model dasar tempat Ultramarine 1 Flash dilatih dan disajikan dengan kartu tarif $0.15 / $0.50 yang identik.

Ultramarine 1 Flash tidak ada di katalog kami; jalur menuju produk itu adalah API milik vendor sendiri dan platform pihak ketiga yang menjualnya kembali. Asimetri itulah bentuk praktis dari perbandingan ini. Salah satu dari dua model ini dapat Anda pasang di jalur produksi hari ini dengan fallback yang dirutekan di belakangnya dan p50 terukur di depan Anda. Yang lain Anda uji coba di endpoint vendor dan nilai berdasarkan outputnya sendiri.

Uji mana yang layak dijalankan, dan uji itu murah: kirim kumpulan dokumen yang sama ke keduanya, pada upaya default Luna dan pada upaya maksimumnya, lalu bandingkan artefak dan fakturnya. Seluruh argumen spesialis adalah bahwa outputnya membutuhkan lebih sedikit pengerjaan ulang. Itu dapat diukur dalam satu sore dan itulah satu-satunya bukti yang akan menyelesaikan pemasangan di mana belum ada yang menerbitkan papan skor bersama.

Posisi tersebut, dinyatakan sebagai apa yang diketahui dan apa yang tidak.

Diketahui, dengan sumber: GPT-5.6 Luna mendapat skor 37 pada indeks yang dibangun dari sepuluh evaluasi yang dapat diperiksa, dengan $0.18 per tugas yang diselesaikan, dengan jendela 1.050.000 token dan token pertama yang dapat memakan waktu sedikit lebih dari dua menit pada tingkat usaha yang menghasilkan 37. Model ini murah per token, mumpuni untuk kelasnya, dan — menurut pengukuran Artificial Analysis sendiri — cenderung menulis 58% lebih banyak daripada rekan-rekannya.

Dilaporkan oleh pembuatnya, belum direproduksi: Ultramarine 1 Flash mencetak skor 59,3 pada rangkaian hasil kerja bidang keuangan, hukum, konsultasi, dan operasi yang dinilai dengan rubrik, dengan biaya $0,13 per tugas, dibandingkan $8,19 untuk Claude Fable 5 pada 57,8 dan $2,09 untuk GPT-5.6 Sol pada 55,1, serta mengalahkan model dasarnya sendiri pada keenam rangkaian tersebut sekaligus menghasilkan 6,5% lebih sedikit token.

Tidak diketahui: apakah semua itu tetap bertahan dalam dokumen yang tidak ditulis oleh siapa pun di Paper Instruments, seperti apa latensi model di bawah beban, dan apakah tulisan "Model weights coming soon" di halaman vendor akan berujung pada rilis yang sebenarnya.

Artikel mana pun yang memilih pemenang dari hal itu berarti telah mengarang satu pemenang. Yang dapat dikatakan secara gamblang adalah bahwa jika Anda memerlukan skor terverifikasi sebelum Anda berkomitmen, GPT-5.6 Luna adalah satu-satunya model dalam pasangan ini yang memilikinya, dan jika pekerjaan Anda adalah luaran yang harus diserahkan alih-alih sekadar jawaban, klaim yang menarik sepenuhnya berada di sisi lain dan belum diuji oleh siapa pun yang tidak dibayar untuk mengujinya.

Perbandingan seperti ini juga menjadi tempat munculnya mode kegagalan: insiden AI yang terdokumentasi dan kegagalan agen di balik model di kelas ini dikumpulkan di OrcaRouter AI Incident Archive, di mana setiap entri membawa sumbernya sendiri, tingkat keparahan, nilai keyakinan, dan penanda disengketakan.